Betrouwbaarheid, validiteit en competenties:  wat we er echt over weten

Verschillende soorten (online) tests en assessmentcentertechnieken  zijn in de afgelopen 30 jaar getest op betrouwbaarheid en validiteit.  Ook door professionals die geen ander belang hadden dan uit te vinden wat een test nu daadwerkelijk aan bruikbare informatie oplevert.  Van “bewezen  nut” kunnen we eigenlijk pas spreken wanneer de bruikbaarheid en validiteit over de jaren telkens “bevestigd” worden in de harde praktijk van objectieve testresearch.

Eendagsvliegen,  broodjes aap en beproefde technieken

Eendagsvliegen (dierenkaarten) vallen snel door de mand. Maar ook evergreens zoals de vlekkentest,  het schedelmeten, grafologie en horoscopen.  Ook de populaire online persoonlijkheidsvragenlijsten vind je regelmatig terug in de categorie “twijfelachtig”. De goed geïnformeerde bedrijfspsychologen weten na ongeveer 30 jaar gedegen testresearch heel goed welke soorten testen en assessmentcenters echt werken. Ze weten  welke soorten tests betrouwbaar zijn en niet alleen maar een willekeurige momentopname opleveren. En: welke soorten assessmenttechnieken daadwerkelijk laten zien wat mensen in de werkpraktijk kunnen doen, over vermogens  (competenties) , en niet alleen maar over bedoelingen, voorkeuren en wensen.  Dit soort testen scoren voldoende of goed op predictieve validiteit, op voorspellende waarde voor de werkpraktijk.  Zie Schmidt en Hunter, Roe en Herriot voor gedegen en goed leesbaar onderzoek.

Betrouwbaar en valide

Betrouwbare tests en vragenlijsten geven niet zomaar een momentopname weer.  Karaktertrekken en voorkeuren zie je telkens terug bij het maken van dit soort tests.  Mensen komen er niet zomaar ineens als slim, of juist beperkt, als zelfverzekerd, of juist schuchter uit naar voren. Maar naast betrouwbaarheid is validiteit belangrijk: de voorspellende waarde voor de werkpraktijk . Die moet goed zijn. En wat blijkt, telkens weer? Soms in weerwil van trends en hypes? Dat het lijstje van beproefde tests inzichtelijk en overzichtelijk is. Met schoolcijfers ziet het er ongeveer zo uit:  

Soort testSoort assessmenttechniekSoort interviewtechniek	ValiditeitVoorspellende waarde in de werkpraktijk
GrafologieInktvlekkenHandlezen, iriscopie, schedelmeten	O Geen
Ongestructureerde interviewsStressgesprekkenAnamnesegesprekken	3 Beperkt
Gestructureerde interviewsCompetentiegerichte interviewsSituationele interviews	7 Net voldoende
PersoonlijkheidsvragenlijstenTypologieën (Enneagram, Myers Briggs)EQ vragenlijsten	4 Zwak
Denktests, praktijkgerelateerdGecombineerde denktestsAlgemene intelligentietests	8 Goed
Praktijkrelevante werksimulatiesRollenspelenNiet hypothetische casuïstiek	7 Ruim voldoende
AssessmentcentersEen combinatie van denktests, praktijkrelevante werksimulaties, gestructureerde interviews en (soms) persoonlijkheidsvragenlijsten	9 Goed tot uitstekend

(kijk voor de precieze validiteitcoëfficiënten in de genoemde publicaties van Schmidt en Hunter, Roe, Herriot of in onze eigen recente publicatie over integriteitstesten)

Een vuistregel voor HR-mensen en beoordelaars van assessmentcenterprojecten

Die is eigenlijk vrij helder af te lezen uit dit lijstje van telkens terugkerende onderzoeksbevindingen: voorspellend in de werkpraktijk zijn vooral de denk- en doetests.  Niet onlogisch, wanneer we stilstaan bij het belang van denken en doen in werk. Wat velen ook niet verbaast is dat sterrenbeelden, associaties bij inktvlekken en de hoogte van een voorhoofd geen houvast bieden bij het voorspellen van werkprestaties.  Heftiger protesten roept de bevinding op dat de antwoorden op vragen in persoonlijkheidsvragenlijsten zwakke voorspellers zijn voor de werkpraktijk. Toch is dit gegeven in de wetenschap en praktijk inmiddels ruim erkend.

Eén van de nestoren van de personeelsselectie, de Groninger hoogleraar Willem Hofstee, was er 25 jaar geleden al niet meer verbaasd over: een competentie, het vermogen om iets in de werkpraktijk goed te doen, wordt verworven door leren en ervaring (denken en doen) en daarbij staan karaktertrekken zoals introversie en een zekere mate van gevoeligheid mensen maar in beperkte mate in de weg. Er zijn eigenlijk maar twee persoonskenmerken waarvan is aangetoond dat ze mensen een blijvende voorsprong geven bij het ontwikkelen van competenties:  intelligentie en ijver. Intelligentie verwijst daarbij niet naar beweterigheid of kamergeleerdheid, maar juist wel naar slimheid en snapvermogen in de werkpraktijk. En ijver verwijst daarbij naar conscientiousness, een factor die ook wel “hard work” wordt genoemd, de min of meer aangeboren geneigdheid om zorgvuldig en vasthoudend te werk te gaan en projecten af te maken.

Denken en doen

We zien dus dat vooral (of alleen) denken en doen centraal staan in tests en assessmenttechnieken die relevant zijn voor de toekomstige werkpraktijk. Voldoende bruikbaar zijn verder Interviews over relevante ervaringen in  werksituaties, waarbij doorgevraagd wordt naar concrete acties. Veel minder bruikbaar zijn gesprekken over wat mensen beweegt, wat ze willen bereiken, hoe zij het zouden aanpakken, uit welk nest ze komen en wat ze van zichzelf vinden. De antwoorden op persoonlijkheidsvragenlijsten (waartoe ook de geroemde EQ test behoort, die niets met intelligentie te maken heeft) kunnen interessant zijn als startpunt voor zelfreflectie en exploratieve gesprekken over gewenste loopbaanpaden, maar ze zijn niet echt bruikbaar als instrument om helder in kaart te brengen wat iemand in de praktijk kan, doet, of nog kan ontwikkelen.

Competenties

Wat wordt eigenlijk bedoeld met competenties? De letterlijke betekenis van het woord verwijst naar het vermogen om iets goed te doen. Ook in de meest gangbare arbeidspsychologische werkdefinitie (die van de Delftse hoogleraar Robert Roe) is een competentie geen karaktertrek, geen motief, bedoeling, of wens, maar een (door leren en werken) verworven vermogen om iets daadwerkelijk, in de werkpraktijk goed te doen, ook onder moeilijke omstandigheden. Persoonijkheidskenmerken, houdingen en wensen spelen soms een (bescheiden) rol  bij het vlugger of langzamer ontwikkelen van competenties. Snapvermogen, doorzettingsvermogen en hands-onervaring des te meer.

Om deze redenen zetten wij bij Hermans Nieuwenhuis veel praktijksimulaties in bij assessmentcenters die competenties en leervermogen in beeld moeten brengen. Ook praktijkgerelateerde denkopgaven worden ingezet.  Persoonlijkheids- en motivatievragenlijsten gebruiken we voorzichtig en selectief, met name bij ontwikkelassessments waarbij deelnemers zelf in staat zijn om mee te denken over het soort werk dat hen blijvend aanspreekt. Ook dan combineren we dit type instrument met veel praktijkcases en interviews over concrete werksituaties.

Voor onze collega bedrijfspsychologen: sign  en sample tests

We schetsen denktests hier als doe-opgaven, als sample tests, tests die een represenatieve steekproef opleveren van werkgedrag, van doen in de praktijk, net als rollenspelen en arbeidsproeven. In een kenniseconomie hoeft dit geen verbazing (meer) op te wekken. Maar vreemd genoeg is het is nog steeds traditie om intelligentietests in te delen bij de sign-tests, bij de instrumenten die slechts indirect een indicatie geven van competenties, bij persoonlijkheidsvragenijsten.  Voor deze traditie is in de praktijk van testresearch nooit veel basis geweest. En wie goed naar het werk van vakkenvullers en putjesscheppers kijkt  (participeren kan daarbij geen kwaad) zal  ontdekken dat ook bij hun werk veel denkwerk en snapvermogen komt kijken. Werken is denken en doen. Succesvolle werkers zijn slim en ijverig. Hun voorkeuren, hun persoonlijkheid en hun wensenpatroon doen er minder toe, wat men (zelf) ook denkt.