Enligt en ny studie ledd av TU Darmstadt är AI-modeller som ChatGPT uppenbarligen mindre kapabla att lära sig självständigt än vad som tidigare antagits.
Enligt studien finns det inga bevis för att så kallade stora språkmodeller (LLM) börjar utveckla ett allmänt ”intelligent” beteende som skulle göra det möjligt för dem att gå vidare på ett planerat eller intuitivt sätt eller att tänka på ett komplext sätt.
Studien, som har publicerats på preprint-servern arXiv, kommer att presenteras i augusti vid den årliga konferensen för Association for Computational Linguistics (ACL) i Bangkok, den största internationella konferensen om automatisk språkbehandling.
Forskningen fokuserar på oförutsedda och plötsliga språng i språkmodellernas prestanda, som kallas ”emergent abilities”. Efter att modellerna introducerats upptäckte forskarna att de blev mer kraftfulla med ökande storlek och den växande mängden data som de tränades med (skalning).
I takt med att verktygen skalades upp kunde de lösa ett större antal språkbaserade uppgifter – till exempel att känna igen falska nyheter eller dra logiska slutsatser.
Å ena sidan väckte detta förhoppningar om att ytterligare uppskalning skulle göra modellerna ännu bättre. Å andra sidan fanns det också en oro för att dessa förmågor skulle kunna bli farliga, eftersom LLM:erna skulle kunna bli självständiga och eventuellt undkomma mänsklig kontroll. Som svar på detta infördes AI-lagar över hela världen, bland annat i Europeiska unionen och USA.
Författarna till den aktuella studien har dock nu kommit fram till att det inte finns några bevis för den förmodade utvecklingen av differentierat tänkande i modellerna. Istället förvärvade LLM:erna den ytliga färdigheten att följa relativt enkla instruktioner, vilket forskarna visade. Systemen är fortfarande långt ifrån vad människor är kapabla till.
Studien leddes av Iryna Gurevych, professor i datavetenskap vid TU, och hennes kollega Dr. Harish Tayyar Madabushi från University of Bath i Storbritannien.
”Våra resultat innebär dock inte att AI inte är ett hot alls”, säger Gurevych.
”Snarare visar vi att den påstådda uppkomsten av komplexa tankeförmågor i samband med specifika hot inte stöds av bevis och att vi trots allt kan kontrollera inlärningsprocessen hos LLM:er mycket väl. Framtida forskning bör därför fokusera på andra risker som modellerna medför, t.ex. att de kan användas för att generera falska nyheter.”
Och vad innebär resultaten för användare av AI-system som ChatGPT? ”Det är förmodligen ett misstag att förlita sig på att en AI-modell ska tolka och utföra komplexa uppgifter utan hjälp”, förklarar Gurevych, som leder Ubiquitous Knowledge Processing (UKP) Lab vid Computer Science Department på TU Darmstadt.
”Istället bör användarna uttryckligen ange vad systemen ska göra och om möjligt ge exempel. Det viktiga är: Tendensen hos dessa modeller att producera rimligt klingande men falska resultat – så kallad konfabulation – kommer sannolikt att kvarstå, även om kvaliteten på modellerna har förbättrats dramatiskt på senare tid.”
Mer information: Sheng Lu et al, Are Emergent Abilities in Large Language Models just In-Context Learning?, arXiv (2023). DOI: 10.48550/arxiv.2309.01809
