Forskare visar att ChatGPT och andra AI-verktyg kan manipuleras för att producera skadlig kod

Kredit: arxiv (2022). DOI: 10.48550/arxiv.2211.15363
Kredit: arxiv (2022). DOI: 10.48550/arxiv.2211.15363

Artificiell intelligens (AI)-verktyg som ChatGPT kan luras att producera skadlig kod, som kan användas för att starta cyberattacker, enligt forskning från University of Sheffield.

Studien, som utförts av akademiker från universitetets avdelning för datavetenskap, är den första som visar att Text-to-SQL-system – AI som gör det möjligt för människor att söka i databaser genom att ställa frågor på vanligt språk och som används i en mängd olika branscher – kan utnyttjas för att attackera datorsystem i den verkliga världen.

Forskningsresultaten har avslöjat hur AI kan manipuleras för att stjäla känslig personlig information, manipulera eller förstöra databaser eller sänka tjänster genom Denial-of-Service-attacker.

Som en del av studien hittade akademikerna från Sheffield säkerhetsproblem i sex kommersiella AI-verktyg och attackerade framgångsrikt vart och ett av dem.

De AI-verktyg som studerades var följande:

  • BAIDU-UNIT – en ledande kinesisk plattform för intelligent dialog som används av högprofilerade kunder inom många branscher, inklusive e-handel, bank, journalistik, telekommunikation, bilindustri och civil luftfart
  • ChatGPT
  • AI2SQL
  • AIHELPERBOT
  • Text2SQL
  • VerktygSKE

Forskarna upptäckte att om de ställde specifika frågor till var och en av AI:erna så producerade de skadlig kod. När koden hade körts kunde den läcka konfidentiell databasinformation, störa databasens normala drift eller till och med förstöra den. På Baidu-UNIT kunde forskarna få tillgång till konfidentiella Baidu-serverkonfigurationer och gjorde en servernod ur funktion.

Xutan Peng, doktorand vid University of Sheffield, som ledde forskningen, säger: ”I verkligheten är många företag helt enkelt inte medvetna om dessa typer av hot och på grund av chatbotarnas komplexitet finns det saker som inte är helt förstådda, inte ens inom communityn.

”För närvarande får ChatGPT mycket uppmärksamhet. Det är ett fristående system, så riskerna för själva tjänsten är minimala, men vad vi upptäckte var att den kan luras att producera skadlig kod som kan göra allvarlig skada på andra tjänster.”

Resultaten från studien belyser också farorna med hur människor använder AI för att lära sig programmeringsspråk, så att de kan interagera med databaser.

Xutan Peng tillade: ”Risken med AI som ChatGPT är att fler och fler människor använder dem som produktivitetsverktyg snarare än som en konversationsbot, och det är här som vår forskning visar att sårbarheterna finns. En sjuksköterska kan till exempel be ChatGPT att skriva ett SQL-kommando så att de kan interagera med en databas, till exempel en databas som lagrar kliniska journaler. Som framgår av vår studie kan den SQL-kod som ChatGPT producerar i många fall vara skadlig för en databas, så sjuksköterskan i detta scenario kan orsaka allvarliga fel i datahanteringen utan att ens få en varning.”

Som en del av studien upptäckte Sheffield-teamet också att det är möjligt att genomföra enkla bakdörrsattacker, som att plantera en ”trojansk häst” i Text-till-SQL-modeller genom att förgifta träningsdata. En sådan bakdörrsattack skulle inte påverka modellens prestanda i allmänhet, men kan utlösas när som helst för att orsaka verklig skada för alla som använder den.

Mark Stevenson, universitetslektor i forskargruppen Natural Language Processing vid University of Sheffield, säger: ”Användare av Text-to-SQL-system bör vara medvetna om de potentiella risker som lyfts fram i detta arbete. Stora språkmodeller, som de som används i Text-till-SQL-system, är extremt kraftfulla men deras beteende är komplext och kan vara svårt att förutsäga. Vid University of Sheffield arbetar vi för närvarande för att bättre förstå dessa modeller och möjliggöra att deras fulla potential kan realiseras på ett säkert sätt.”

Forskarna från Sheffield presenterade sitt arbete vid ISSRE – en stor akademisk och industriell konferens för programvaruteknik – tidigare denna månad och arbetar med intressenter inom cybersäkerhetsområdet för att åtgärda sårbarheterna, eftersom Text-till-SQL-system fortsätter att användas i allt större utsträckning i samhället.

Deras arbete har redan uppmärksammats av Baidu, vars Security Response Centre officiellt klassade sårbarheterna som ”mycket farliga”. Som svar på detta har företaget åtgärdat alla rapporterade sårbarheter och belönat forskarna ekonomiskt.

Forskarna från Sheffield delade också sina resultat med OpenAI, som i februari 2023 har åtgärdat alla specifika problem som de hittade med ChatGPT.

Forskarna hoppas att de sårbarheter de har upptäckt ska fungera som ett proof of concept och i slutändan som en uppmaning till forskarna inom naturlig språkbehandling och cybersäkerhet att identifiera och åtgärda säkerhetsproblem som hittills har förbisetts.

Xutan Peng tillade: ”Våra ansträngningar erkänns av industrin och de följer våra råd för att åtgärda dessa säkerhetsbrister. Men vi öppnar en dörr till en oändlig väg – vad vi nu behöver se är stora grupper av forskare som skapar och testar patchar för att minimera säkerhetsrisker genom öppen källkod.

”Det kommer alltid att finnas mer avancerade strategier som utvecklas av angripare, vilket innebär att säkerhetsstrategierna måste hålla jämna steg. För att göra det behöver vi en ny gemenskap för att bekämpa nästa generations attacker.”

Artikeln är publicerad på arXiv preprint server.

Ytterligare information: Xutan Peng et al, On the Security Vulnerabilities of Text-to-SQL Models, arXiv (2022). DOI: 10.48550/arxiv.2211.15363

Bli först med att kommentera

Lämna ett svar

Din e-postadress kommer inte att publiceras.