Verktyg upptäcker AI-genererad text i vetenskapliga tidskrifter

Graphical abstract. Credit: Cell Reports Physical Science (2023).
Graphical abstract. Credit: Cell Reports Physical Science (2023).

I en tid av ökad oro inom den akademiska världen för AI-genererade uppsatser finns det lugnande nyheter från University of Kansas.

Forskare har utvecklat en AI-textdetektor för vetenskapliga uppsatser som kan skilja mellan mänskligt skrivet och datorgenererat innehåll nästan 100% av tiden.

I en studie som publicerades den 6 november i Cell Reports Physical Science noterade professor Heather Desaire att även om det för närvarande finns flera AI-detektorer för allmänt innehåll, är ingen särskilt bra när den tillämpas på vetenskapliga artiklar.

”De flesta inom området textanalys vill ha en riktigt allmän detektor som fungerar på vad som helst”, säger Desaire. Istället riktade hennes team in sig på rapporter som skrivits specifikt för vetenskapliga tidskrifter inom ämnet kemi.

”Vi var verkligen ute efter noggrannhet”, säger hon.

Teamets detektor tränades på tidskrifter som publicerades av American Chemical Society. De samlade in 100 inledningar som skrivits av yrkesverksamma och programmerade sedan ChatGPT att skriva egna inledningar baserade på antingen sammanfattningar av tidskrifter eller helt enkelt på titlarna på rapporter.

När ChatGPT-detektorn skannade de tre kategorierna av rapporter identifierade den korrekt de mänskligt författade passagerna 100% av tiden, liksom rapporter som genererats från uppmaningar som endast innehöll rapporttitlar. Resultaten var nästan lika bra med rapporter som förlitade sig på inledande passager, med korrekt identifiering 98% av tiden.

En konkurrerande klassificerare som ZeroGPT, som har 98% noggrannhet för att upptäcka allmänna AI-skrivna uppsatser, gjorde det dock dåligt när det gällde de kemirelaterade rapporterna. Den uppnådde endast en genomsnittlig noggrannhet på 37% på samma rapporter baserade på titlar, och endast några procentenheter bättre på rapporter baserade på inledande text.

En annan konkurrent, OpenAI, lyckades ännu sämre och misslyckades med att korrekt identifiera författarskapet till uppsatser i genomsnitt 80 % av tiden.

”Akademiska förlag kämpar med den snabba och genomgripande användningen av nya textgeneratorer med artificiell intelligens”, säger Desaire. ”Den här nya detektorn kommer att göra det möjligt för vetenskapssamhället att bedöma infiltrationen av ChatGPT i kemitidskrifter, identifiera konsekvenserna av dess användning och snabbt införa begränsningsstrategier när problem uppstår.”

Vetenskapliga tidskrifter skriver om sina regler för artikelinlämning, där de flesta förbjuder AI-genererade rapporter och kräver att alla andra AI-processer som används för att sammanställa en rapport ska redovisas.

Desaire listade flera farhågor kring riskerna med att AI-genererat innehåll infiltrerar vetenskapliga tidskrifter: ”Om de används för mycket kan det leda till en översvämning av marginellt värdefulla manuskript. De kan leda till att högt citerade artiklar blir överrepresenterade och att nya arbeten, som ännu inte är välkända, ignoreras.”

”Mest oroande”, tillade hon, ”är dessa verktygs tendens till ’hallucinationer’, att hitta på fakta som inte är sanna.”

Som illustration inkluderade Desaire en personlig anekdot om resultaten av en ChatGPT-skriven biografisk skiss om henne. Där stod det att hon ”tog examen från University of Minnesota, är medlem i Royal Society of Chemistry och vann Biemann-medaljen”. Imponerande prestationer, men alla falska.

”Även om detta exempel är underhållande”, säger Desaire, ”är det långt ifrån roligt att infiltrera den vetenskapliga litteraturen med osanningar.”

Men hon är fortfarande optimistisk. Vissa säger att det är oundvikligt att motstå uppkomsten av AI-genererat innehåll, sa hon, och de hävdar att ”att utveckla verktyg som det här är att delta i en kapprustning [mot AI] som människor inte kommer att vinna.”

Hon sa att redaktörer måste ta ledningen när det gäller att upptäcka AI-kontaminering.

”Tidskrifter bör vidta rimliga åtgärder för att säkerställa att deras policy om AI-skrivande följs, och vi tror att det är fullt genomförbart att ligga steget före problemet med att upptäcka AI”, sa hon.

Ytterligare information: Heather Desaire et al, Accurately detecting AI text when ChatGPT is told to write like a chemist, Cell Reports Physical Science (2023). DOI: 10.1016/j.xcrp.2023.101672

Bli först med att kommentera

Lämna ett svar

Din e-postadress kommer inte att publiceras.