Vi satte oss ner med Anders Sjöberg som är fil.dr och docent i psykologi på Stockholms Universitet och är en av Sveriges främsta experter inom urval och testutveckling. Han har bland annat tillsammans med Sofia Sjöberg och Sara Henrysson-Eidvall skrivit boken ”Personlighet i arbete” som kom ut 2021, han driver bloggen Psychometrics och har även startat testföretaget Assessment Engine tillsammans med Sofia Sjöberg. 

Anders är alltid en väldigt kunnig och nyanserad röst i samtalet kring urval och tester, väldigt uppdaterad kring den senaste forskningen på områdena. Vi tog ett snack om bland annat hur tester har utvecklats de senaste 30 åren, Chat GPT:s inträde och vilka trender som man kanske inte riktigt ska ta på allvar.  – Jonathan Söderling

Vill du berätta lite om dig och din bakgrund?

Min bakgrund är att jag doktorerade 1997 på Stockholms universitet och innan dess gick jag PAO (personal, arbete, organisation) -programmet.  Jag fastnade för psykologin och under resans gång blev jag extra intresserad av mätning av psykologiska fenomen. Efter ett tag blev jag trött på endast det akademiska och fick jobb på dåvarande Psykologiförlaget och kom då i kontakt med psykologisk testning. På Psykologiförlaget jobbade jag mycket med klinisk testutvckling men sedan såldes den delen och förlaget blev Assessio och där vi utvecklade alla de test som Assessio säljer idag. Jag har sedan dess gått tillbaka till Stockholms universitet för att undervisa och handleda på alla nivåer och driver tillsammans med Sofia Assessment Engine. Jag gillar att vara mellan det akademiska och tillämpningen och brinner verkligen för att föra ut det jag läser till praktiker.

 

Som du nämnde doktorerade du 1997. Vad skulle du säga är skillnaden hur man såg på och arbetade med tester då mot nu 2023?

Det har förändrats väldigt mycket, framför allt i två stora delar. Den första delen är att man förr endast såg att legitimerade psykologer kunde handskas med testning och man såg snett på att andra skulle göra det. Jag jobbade en del med Psykologförbundet för att öppna upp detta synsätt så att fler skulle kunna använda sig av tester och det är ju helt annorlunda idag. Den andra stora delen är digitaliseringen. Förr satt man ju och gjorde testerna med papper och penna och mötte upp kandidaten fysiskt. Det var ju då så klart en väldigt dyr och kostsam verksamhet. Sedan kom första vågen av datorisering av test där man fortfarande träffade kandidaten på samma sätt, men man använde datorn för att poängsätta testerna och idag görs ju allt i digitala molntjänster.

Jag tycker dock man alltid ska ha ett kritiskt förhållningssätt gentemot alla bedömningsmetoder. Idag ser man dock en väldig bredd av synsätt i form av att allt ifrån att hata psykologiska tester till att älska test. Men bedömningar för rekrytering handlar ju inte bara om psykologiska tester, utan hur man tar fram en kravprofil, hur man ställer frågor i intervjuer osv. Idag är det fler som använder standardiserade metoder i jämförelse med 90-talet.

 

Apropå att det förr bara var psykologer som ansågs vara de som kan administrera tester, skulle du säga att psykologer idag är bättre lämpade att arbeta med tester?

Nej generellt inte. Psykologer får bättre utbildning i att bedöma andra människor, hjälpa andra människor som har problem, men ett standardiserat test är ett standardiserat test där resultatet inom arbetslivets psykologi ska stå på egna ben.

 

Hur ser du på Chat GPT:s inträde och hur påverkar det arbetet med psykologiska tester?

Den rör om hela akademiska systemet. Jag ser tentafrågor som den löst och det är ju en stor diskussion inom det akademiska. Det finns ju AI som kan skriva artiklar som kan bli publicerade och man kan därtill lägga in sin vetenskapliga artikel och få fyra, fem förslag på rubriker. På Assessment Engine säger vi att om vi skulle välja så skulle vi ju helst testa kandidater face to face, men detta får ju vägas mot andra aspekter så som tid och pengar. Men allt detta kommer så klart stöka om väldigt mycket kring hur vi tänker. I dagsläget tror jag dock inte det kommer göra samma skillnad vad gäller personlighetstester, utan snarare tester som mäter en maximal prestation, så som begåvningstester.

 

Hur kommer det sig att du och Sofia startade Assessment Engine?

Vi såg att man fokuserade väldigt mycket på vilket test som var bäst snarare än vad man ska använda testet till. I vår plattform bestämmer man vad man vill beskriva eller förutsäga först och sedan sätter vi ihop tester bäst löser problemet. På ett enkelt sätt skräddarsyr vi lösningar för våra kunder. Vi utvecklar nya test hela tiden och anpassar oss till ny forskning vilket får konsekvenser för hur testerna är uppbyggda.

I Assessment Engines portal kan man välja om man vill mäta mer generellt ”Job Performance” (applicerbart på i princip alla jobb) eller om man mer vill fokusera på ”Sales”, ”Service” eller ”Functional Leadership”. Resultaten från begåvningstest och personlighetstest vägs sedan ihop till en totalpoäng för just det man har valt att mäta, baserat på hur betydande olika faktorer i dessa test är för det som mäts.

 

Utöver de ”vanliga” testerna med personlighet och begåvning som grund, så har ni ju även ett test som heter ”Interest and Motivations”. Kan du berätta mer om det?

Anledningen till att vi gjorde detta är att jag tycker det saknas en tradition att vägleda andra personer in i jobb och utbildning. Det finns något som heter Vägvisaren i Sverige som ska användas när någon kommer och säger att den inte vet vad den vill göra i sin karriär. Det kanske är någon som vill hitta något nytt jobb eller möjligtvis någon som jobbat som chef i tio år och vill hitta något helt nytt spår, eller unga, arbetssökande personer. Då svarar man på ett antal frågor kopplat till intresse och motivation. Då är ju tanken att intresse driver motivation. Man svarar alltså på dessa frågor kring vad man är intresserad av, vilket å sin sida inte har någonting att göra vad man är bra på, i ett så kallat ipsativt test. Det betyder att man rangordnar sina intressen, så som intresse för människor, organisation, miljö eller hälsa för att nämna några. Meningen är att detta ska matchas mot ett jobb. Vi har kunder som använder det i rekrytering, till exempel telefonsäljare för att säkerställa vissa intresseområden exempelvis att vara intresserad av människor eller att påverka andra, men ursprungstanken är inte att detta används i urvalsprocesser då det inte finns några normgrupper. Men har man kandidater som ligger väldigt lika i personlighet och begåvning exempelvis så kan man ha ett sådant test som avgörande. Men i första hand är detta test till för vägledning.

 

I en metaanalys du hänvisar till på din blogg av Sackett m.fl. (2021) så lyfts ju intresse som en parameter som ser ut att ha mer relevant för arbetsprestation än vad man trodde innan?

Den senaste metaanalysen menar att detta gäller om man gör en matchning mot en arbetsanalys. Alltså om man till exempel ser till ett specifikt jobb och identifierar vad det primära i jobbet är för att sedan se hur det matchar med testresultatet. Generellt har vi i Sverige varit väldigt konservativa att använda de metoder man alltid gjort. Men här har vi ju en mätmetod som är skiljt från personlighet.

 

Men hur ska vi rekryterare tänka kring att en kandidat i en intervju visar mycket intresse för tjänsten?

Det faller inte under de standardiserade måtten. Man kan mycket väl ställa liknande frågor i en intervju som i ett intressetest. Vi har exempelvis en kund som valt att använda metoden att ställa standardiserade frågor om intressen i intervjuer i stället för att använda tester. Men i så fall ska kandidaten gradera mellan olika områden precis som i testet.

 

Vi börjar komma in på Anders tankar generellt kring vilka urvalsmetoder som är de bästa i rekryteringssammanhang och vad forskningen säger om det. Schmidt och Hunter (1998) som ofta refereras till är en sammanställning av data från fram till 90-talet som många som har studerat området stött på och som refererats väldigt ofta till även om det kommit mycket ny forskning sedan dess. Det har bland annat kommit en ny sammanställning sk metaanalys från Sackett m.fl. (2021) som är sammanfattad i Anders blogginlägg länkad till i förra frågan. Ett av de stora fynden i den metaanalysen är att begåvningstest gick från att se ut att vara den starkast enskilda urvalsmetoden till att vara en metod ”i mängden”.

 

Generellt kring urval i rekryteringsprocesser och vilka metoder som fungerar, vad är de senaste rönen?

Detta är just nu en väldig diskussion inom det akademiska och det gäller att sitta lite lugnt i båten. Man bör fortfarande använda begåvningstest trots att vi överskattat den validiteten. Men det blir ännu viktigare att använda det tidigare i processen och även analysera hur komplexa arbetsuppgifterna är då begåvning bör viktas högre när krav på komplext lärande är viktigt.

Det andra är att kontextualisera personlighetstestet, alltså fråga om hur kandidaten är på arbetet snarare än rent generellt som person. Det ska gå att svara på frågorna utifrån hur de är på jobbet och detta ska matchas mot en kravprofil. Men det är viktigare att matcha sådant som intresse och motivation mot kravprofil än personlighet, för personlighet är generaliserbara. Viktigare än någonsin är också arbetsanalysen så att de mest valida metoderna, så som kunskapstest, intervjuer osv är nära knutna till jobbet. Det är alltså inte samma vikt på psykologiska variabler, utan mer kunskap och färdigheter och sådant som gör att man kanske tonar ner de psykologiska variablerna, där man mer tittar på vad denna person kan. Jag tror det kommer bli mer fokus på mer skräddarsydda test som arbetsprov. Vi jobbar exempelvis med att ta fram ett sådant till Åklagarmyndigheter med frågor som är kopplade till brott och straff.

Begåvning är mer kopplat till att lära sig saker på jobbet snarare än arbetsprestation. Det är inte nödvändigtvis så att kognitiv förmåga är korrelerat till arbetsprestation utan snarare lärande. Handlar det mer om typiskt beteende, som att vara trevlig och jobba på men inte lösa nya uppgifter så blir det inte lika viktigt, men desto viktigare om det är hög komplexitet i jobbet.

 

Du nämnde att man till följd av den nya forskningen att det är ännu viktigare att ha begåvningstester tidigt i processen. Varför då?

I och med att korrelationen mellan begåvning och arbetsprestation har överskattats så blir det ju små och inte så avgörande skillnader om man gör dessa tester endast på ett par tre slutkandidater. Om man istället kör tidigt så kommer man få en större fördelning mellan resultaten och det kommer i och med detta vara större skillnad mellan kandidater och därmed enklare att ha som beslutsunderlag.

 

Du sa att det har blivit lite mer tonvikt på kunskap och färdigheter snarare än psykologiska variabler. Hur kan man se på begreppet potential utifrån detta?

Man kan ju titta på om denna person ska prestera från dag ett eller om man som arbetsgivare har möjlighet att lära upp individen. Om man ska lära upp en individ så ska vi lägga mer vikt på Conscientiousness och begåvning snarare än vad de kan idag. Men här kommer vi tillbaka till att fokusera mer och mer på just arbetsanalysen.

Vi kommer in och prata om så kallad G, alltså generell intelligens, som är tänkt att mätas i begåvningstester. De flesta sådana test bygger på matriser, alltså olika figurer där användaren ska försöka lista ut vilken nästa logiska figur är. Detta har påståtts i många sammanhang mäta G, alltså generell intelligens, vilket är en bild Anders utmanar.

 

Jag såg en artikel på din blogg som jag fastnade för gällande Matriser och generell intelligens (g)?

Ja, här kan man se att affärsmodeller styr en hel del, exempelvis leverantörer som har matristest och säger att de mäter g. Om du bara måste välja en problemlösningsuppgift är matriser bäst, men ska man fånga denna generella intelligensen behöver man helst många olika typer av problemlösningsgrupper. Assessment Engine har talserier, instruktioner och matriser. Korrelationer mellan matristest och andra uppgifter är mellan 40-60%. Du kan alltså exempelvis vara bra på ett matristest men dålig på talserier. Mycket av vår arbetsprestation handlar om verbala saker likväl som numeriska, skriva, räkna och så vidare. Då är det ganska självklart att det blir ett bättre mått att ha fler olika typer av problemlösning snarare än ett. Men, det viktiga är att dessa ska summeras ihop till ett mått, då får du g.

 

Jag uppfattar också att det tas emot bättre hos kandidater att mäta fler olika former av problemlösning?

Ja, man vill ju gärna att det ska kännas väldigt nära det man sedan ska jobba med. Till exempel för en uppdragsgivare som vi jobbar har vi utvecklat ett kognitivt test som känns väldigt nära det de ska arbeta med vilket ger ett väldigt bra intryck hos kandidaterna. Det upplevs som ett arbetsprov av kandidaterna.

 

Avslutningsvis, vad finns det för trender där ute att hålla utkik på? Vad är värt att ta på allvar och vad är värt att scrolla förbi?

Man ska vara försiktig med artificiell intelligens. Det är ju den stora trenden nu att många pratar om till exempel maskininlärning. Vi har testat det lite på vår data och det har sina fördelar absolut, men om vi tänker på maskininlärning kan vi idag samla in betydligt mer information och använda den i urvalsprocessen. Men vi ska också komma ihåg GDPR och vår etik kring detta, så man bör vara försiktig med det. En annan sak som kommit upp är digital referenstagning. Det kan ju vara en bra metod som sparar tid, men det är ju också en metod som måste valideras. Man pratar dessutom mycket om att strunta i saker så som CV:n och personliga brev. Men vad gör man istället då? Man kanske ställer några frågor i ansökan istället, men hur tolkar man dem istället? Alla nya metoder bör utvärderas innan de börjar användas, vilket ofta glöms bort i Sverige.

Vi konstaterar att visionära utspel på LinkedIn inte alltid går i linje med praktiserande rekryterares vardag.

 

Jonathan Söderling
Head of Operations
Wrknest