När det gäller att uppskatta hur bra vi är på något visar forskning konsekvent att vi tenderar att betygsätta oss själva som något bättre än genomsnittet. Denna tendens är starkare hos personer som presterar dåligt på kognitiva tester. Det kallas Dunning-Kruger-effekten (DKE): Ju sämre människor är på något, desto mer tenderar de att överskatta sina förmågor, och ju ”smartare” de är, desto mindre inser de sina verkliga förmågor.
En studie ledd av Aalto-universitetet visar dock att när det gäller AI, särskilt stora språkmodeller (LLM), gäller inte DKE. Forskarna fann att alla användare uppvisade en betydande oförmåga att bedöma sin prestation korrekt när de använde ChatGPT. Faktum är att människor överlag överskattade sin prestation. Utöver detta identifierade forskarna en omvändning av Dunning-Kruger-effekten – en identifierbar tendens hos de användare som ansåg sig vara mer kunniga inom AI att anta att deras förmågor var större än de egentligen var.
”Vi fann att när det gäller AI försvinner DKE. Det som verkligen är överraskande är att högre AI-kunskap leder till större övermod”, säger professor Robin Welsch. ”Vi skulle förvänta oss att personer med AI-kunskap inte bara är lite bättre på att interagera med AI-system, utan också på att bedöma sin prestation med dessa system – men så var inte fallet.”
Upptäckten bidrar till en snabbt växande mängd forskning som tyder på att blind tillit till AI-resultat medför risker som att människors förmåga att hitta tillförlitlig information försämras och till och med att arbetskraften blir mindre kompetent. Även om människor presterade bättre när de använde ChatGPT, är det oroande att de alla överskattade den prestationen.
”AI-kunskap är verkligen viktigt idag, och därför är detta en mycket slående effekt. AI-kunskap kan vara mycket teknisk, och den hjälper inte människor att faktiskt interagera fruktbart med AI-system”, säger Welsch.
”Nuvarande AI-verktyg är inte tillräckliga. De främjar inte metakognition [medvetenhet om sina egna tankeprocesser] och vi lär oss inte av våra misstag”, tillägger doktoranden Daniela da Silva Fernandes. ”Vi måste skapa plattformar som uppmuntrar vår reflektionsprocess.”
Artikeln publiceras i Computers in Human Behavior.
Varför en enda prompt inte räcker
Forskarna utformade två experiment där cirka 500 deltagare använde AI för att lösa logiska resonemangsuppgifter från det berömda amerikanska Law School Admission Test (LSAT). Hälften av gruppen använde AI och hälften gjorde det inte. Efter varje uppgift ombads deltagarna att kontrollera hur bra de hade presterat, och om de gjorde det korrekt lovades de extra ersättning.
”Dessa uppgifter kräver mycket kognitiv ansträngning. Nu när människor använder AI dagligen är det vanligt att man ger något sådant här till AI att lösa, eftersom det är så utmanande”, säger Welsch.
Data visade att de flesta användare sällan uppmanade ChatGPT mer än en gång per fråga. Ofta kopierade de helt enkelt frågan, lade in den i AI-systemet och var nöjda med AI:s lösning utan att kontrollera eller ifrågasätta den.
”Vi tittade på om de verkligen reflekterade över AI-systemet och fann att människor bara trodde att AI skulle lösa saker åt dem. Vanligtvis krävdes bara en enda interaktion för att få resultaten, vilket innebär att användarna blint litade på systemet. Det är vad vi kallar kognitiv avlastning, när all bearbetning görs av AI”, förklarar Welsch.
Denna ytliga nivå av engagemang kan ha begränsat de signaler som behövs för att kalibrera förtroendet och möjliggöra noggrann självkontroll. Därför är det troligt att uppmuntran eller experimentellt krav på flera uppmaningar skulle kunna ge bättre återkopplingsloopar och förbättra användarnas metakognition, säger han.
Så vad är den praktiska lösningen för vardagliga AI-användare?
”AI skulle kunna fråga användarna om de kan förklara sitt resonemang ytterligare. Detta skulle tvinga användaren att engagera sig mer i AI, att konfrontera sin illusion av kunskap och att främja kritiskt tänkande”, säger Fernandes.
Mer information: Daniela Fernandes et al, AI gör dig smartare men inte klokare: Kopplingen mellan prestanda och metakognition, Computers in Human Behavior (2026). DOI: 10.1016/j.chb.2025.108779
