Sedan lanseringen i november 2022 har användningen av ChatGPT och andra stora språkmodeller (LLM) spridit sig inom många discipliner och erbjuder skrivhjälp för allt från tal till kontrakt. Det är därför inte förvånande att vissa forskare använder ChatGPT för att snabba upp publiceringen av sin forskning.
Det finns lite kunskap om hur användningen av AI-genererat innehåll kan påverka mångfalden, kvaliteten och tillförlitligheten i forskningsartiklar. Eftersom dessa tekniker fortfarande är nya och ständigt utvecklas finns det ännu inget säkert sätt att upptäcka användningen av LLM, och många institutioner håller fortfarande på att ta fram riktlinjer för att begränsa användningen.
För att få en bättre förståelse för hur ChatGPT har använts i vetenskaplig skrivande under de senaste åren har en grupp forskare nyligen genomfört en studie där de analyserat 1 121 912 vetenskapliga artiklar och preprints från arXiv, bioRxiv och Nature-portföljtidskrifter. Studien, som publicerades i Nature Human Behaviour, använde ett nytt ramverk på populationsnivå baserat på förändringar i ordfrekvens för att uppskatta ökningen av LLM-modifierat innehåll mellan januari 2020 och september 2024.
Studien fann att sammanfattningar och inledningar var mest påverkade, medan metoder och experimentavsnitt visade mindre användning av AI, troligen på grund av LLM:s sammanfattningsförmåga. En stadig ökning av den troliga användningen av ChatGPT observerades inom flera studieämnen, med den mest dramatiska ökningen inom datavetenskap – en disciplin som ligger nära AI.
Analysen visade att LLM sannolikt användes i 22,5 % av abstrakt inom datavetenskap och 19,5 % av introduktioner inom datavetenskap i september 2024. I november 2022 var dessa siffror endast cirka 2,4 % och liknande för alla artikeltyper vid den tidpunkten. Användningen av LLM var också relativt hög inom elektroteknik och systemvetenskap 2024, med 18,0 % för abstrakt och 18,4 % för introduktioner.
Användningen av LLM var betydligt lägre inom områden som matematik, med 7,7 % för abstrakt och 4,1 % för introduktioner. Nature-tidskriftsportföljen visade också en lägre ökning av AI-användningen, med 8,9 % för sammanfattningar och 9,4 % för inledningar.
Utöver forskningsområdet stratifierades analysen ytterligare efter författarnas preprintfrekvens, artikelens längd och geografisk region, där forskarna fann att LLM-modifiering var vanligare i några olika fall. Författare som publicerade preprints oftare använde LLM i högre utsträckning i sina artiklar, möjligen på grund av ökad press att publicera fler artiklar i snabbare takt. Kortare artiklar – mindre än 5 000 ord – var också förknippade med mer hjälp från LLM, liksom artiklar inom mer konkurrensutsatta forskningsområden, såsom datavetenskap.
Det är svårare att upptäcka AI-genererad text i icke-engelsktalande geografiska regioner, och vissa fördomar har påpekats i tidigare metoder för AI-detektering av icke-engelsktalande författare i vetenskapliga artiklar. Denna studie visade visserligen en högre användning av LLM i artiklar från Kina och Kontinentaleuropa jämfört med Nordamerika och Storbritannien, men mycket av detta beror sannolikt på hjälp med engelska.
Eftersom AI-landskapet kommer att utvecklas snabbt under de kommande åren har det potential att förändra hur vetenskap skrivs och kommuniceras, vilket i sin tur väcker frågor om transparens, originalitet och framtiden för vetenskaplig publicering.
Författarna till studien pekar på många frågor som bör besvaras i takt med att vetenskapen fortsätter att integrera dessa tekniker: ”Våra observationer av ökningen av genererade eller modifierade artiklar väcker många frågor för framtida forskning. Hur kan sådana artiklar jämföras i termer av noggrannhet, kreativitet eller mångfald? Hur reagerar läsarna på LLM-genererade sammanfattningar och introduktioner? Hur kan citeringsmönstren för LLM-genererade artiklar jämföras med andra artiklar inom liknande områden? Hur kan dominansen av ett begränsat antal vinstdrivande organisationer i LLM-branschen påverka oberoendet i den vetenskapliga produktionen?
”Vi hoppas att våra resultat och vår metodik inspirerar till ytterligare studier av LLM-modifierade texter och diskussioner om hur man kan främja transparent, mångsidig och högkvalitativ vetenskaplig publicering.”
Mer information: Weixin Liang et al, Quantifying large language model usage in scientific papers, Nature Human Behaviour (2025). DOI: 10.1038/s41562-025-02273-8
