Chansen är stor att du utan att veta om det har stött på intressant innehåll online som helt eller delvis har skapats av någon version av en stor språkmodell (LLM). I takt med att dessa AI-resurser, som ChatGPT och Google Gemini, blir allt bättre på att generera texter av nästan mänsklig kvalitet, har det blivit svårare att skilja mellan texter som är skrivna av människor och innehåll som har modifierats eller skapats helt av LLM.
Denna ökning av tvivelaktigt författarskap har väckt oro inom den akademiska världen att AI-genererat innehåll i smyg har letat sig in i peer-review-publikationer.
För att belysa hur utbrett LLM-innehåll är i akademiska texter har ett team av amerikanska och tyska forskare analyserat mer än 15 miljoner biomedicinska sammanfattningar på PubMed för att avgöra om LLM har haft en märkbar inverkan på specifika ordval i tidskriftsartiklar.
Deras undersökning visade att sedan LLM:er dök upp har det skett en motsvarande ökning av frekvensen av vissa stilistiska ordval inom den akademiska litteraturen. Dessa data tyder på att minst 13,5 % av de artiklar som publicerades 2024 skrevs med någon form av LLM-bearbetning. Resultaten publiceras i den fritt tillgängliga tidskriften Science Advances.
Sedan ChatGPT släpptes för mindre än tre år sedan har förekomsten av artificiell intelligens (AI) och LLM-innehåll på webben exploderat, vilket har väckt oro över noggrannheten och integriteten i viss forskning.
Tidigare försök att kvantifiera ökningen av LLM i akademiska texter har dock varit begränsade eftersom de baserats på text som genererats av människor och LLM. Författarna påpekar att denna metod ”kan leda till partiskhet, eftersom den kräver antaganden om vilka modeller forskarna använder för sitt LLM-assisterade skrivande och hur de exakt ger dem uppgiftsformuleringar”.
För att undvika dessa begränsningar undersökte författarna till den senaste studien istället förändringar i överanvändningen av vissa ord före och efter den offentliga lanseringen av ChatGPT för att upptäcka eventuella avslöjande trender.
Forskarna baserade sin undersökning på tidigare forskning om folkhälsan i samband med covid-19, där man kunde dra slutsatser om covid-19:s inverkan på dödligheten genom att jämföra överdödligheten före och efter pandemin.
Genom att tillämpa samma före-och-efter-metod analyserade den nya studien mönster av överanvändning av ord före och efter framväxten av LLM. Forskarna fann att efter lanseringen av LLM skedde en signifikant förskjutning från överanvändning av ”innehållsord” till överanvändning av ”stilistiska och blomstrande” ordval, såsom ”showcasing”, ’pivotal’ och ”grappling”.
Genom att manuellt tilldela varje överflödigt ord en ordklass kunde författarna fastställa att före 2024 var 79,2 % av de överflödiga ordvalen substantiv. Under 2024 skedde en tydlig förändring. 66 % av de överflödiga ordvalen var verb och 14 % var adjektiv.
Teamet identifierade också märkbara skillnader i LLM-användningen mellan olika forskningsområden, länder och forum.
