Ny studie: Populära källor väger tyngre än pålitliga när AI-modeller bedömer information

Stora språkmodeller som ChatGPT, Gemini och andra AI-assistenter blir allt vanligare som verktyg för informationssökning och faktakontroll. Men en ny studie visar att modellerna fortfarande har svårt att skilja mellan en populär källa och en verkligt tillförlitlig källa.

Forskarna bakom studien testade 13 ledande språkmodeller i närmare 670 000 olika scenarier och fann att modellerna ofta låter en källas popularitet påverka bedömningen mer än dess faktiska trovärdighet. Resultaten pekar på en grundläggande svaghet som kan påverka hur AI-system hanterar information inom allt från nyhetsrapportering till forskning och beslutsstöd.

Nära slumpmässiga resultat

Forskarna ville undersöka om språkmodeller verkligen kan avgöra när en källa är mer pålitlig än en annan, eller om de i praktiken påverkas av hur välkänd eller ofta citerad källan är.

Resultaten var nedslående.

I många av testerna presterade modellerna nästan på slumpnivå när de skulle avgöra både vilken källa som var mest tillförlitlig och vilket påstående som faktiskt var korrekt. Samtidigt visade analyserna att modellerna gav ungefär dubbelt så stor vikt åt en källas popularitet som åt dess tillförlitlighet när de uppdaterade sina slutsatser.

Påverkas även av felaktig information

Studien avslöjade ytterligare ett problem.

När modellerna fick ny information ändrade de sina ”uppfattningar” nästan lika mycket oavsett om den nya informationen förde dem närmare sanningen eller längre ifrån den.

Det innebär att språkmodeller inte alltid verkar kunna avgöra om ny information faktiskt förbättrar deras förståelse eller om den riskerar att göra svaret mindre korrekt. Forskarna menar att detta är en viktig utmaning för framtida AI-system som ska användas i miljöer där korrekt information är avgörande.

Popularitet är inte samma sak som kvalitet

Att en webbplats eller publikation är välkänd innebär inte automatiskt att den är den mest tillförlitliga källan.

Forskarna menar att dagens språkmodeller ofta verkar använda popularitet som en genväg när de väger olika informationskällor mot varandra. Det kan fungera i många fall, men riskerar också att förstärka felaktigheter om missvisande eller vinklad information sprids brett och blir ofta citerad.

För användare innebär det att AI-genererade svar kan påverkas mer av hur dominerande en källa är i informationsflödet än av dess faktiska kvalitet.

Viktigt när AI används för informationssökning

Språkmodeller används i dag inom allt fler områden.

De hjälper människor att sammanfatta forskning, söka nyheter, analysera dokument och besvara komplicerade frågor. Ju mer dessa system används som kunskapskälla, desto viktigare blir deras förmåga att skilja mellan starka och svaga informationskällor.

Forskarna betonar därför att framtida AI-system behöver bli bättre på att bedöma källkritik, inte bara innehållet i en enskild text. Ett svar bör bygga på de mest trovärdiga bevisen – inte nödvändigtvis de mest välkända webbplatserna.

Kan påverka forskning, journalistik och beslutsfattande

Problemet är särskilt viktigt inom områden där felaktig information kan få stora konsekvenser.

Inom medicin, juridik, forskning och journalistik räcker det inte att en uppgift är populär eller ofta citerad. Informationen måste också kunna verifieras genom pålitliga källor och tydlig dokumentation.

Om AI-system inte gör den skillnaden riskerar de att sprida felaktiga slutsatser med hög säkerhet, något som tidigare studier också har pekat på när det gäller generativa AI-modeller och deras hantering av källor och faktauppgifter.

Forskarna vill se mer källkritiska AI-modeller

Forskarna hoppas att resultaten ska bidra till utvecklingen av språkmodeller som inte bara blir bättre på att skriva övertygande texter utan också på att värdera kvaliteten hos den information de använder.

Det kan innebära nya träningsmetoder där modeller lär sig väga in faktorer som vetenskaplig kvalitet, redaktionell trovärdighet och oberoende granskning, snarare än enbart hur ofta en källa förekommer i träningsdata eller på internet.

I takt med att AI blir en allt vanligare del av människors informationssökning menar forskarna att just förmågan att skilja mellan populära och pålitliga källor kommer att vara en av de viktigaste egenskaperna för framtidens språkmodeller.