Tidigare i år skickade en anställd på ett multinationellt företag 25 miljoner dollar till bedragare. Instruktionerna om att överföra pengarna kom – trodde den anställde – direkt från företagets finanschef. I själva verket hade brottslingarna använt ett AI-program för att generera realistiska videor av finanschefen och flera andra kollegor i ett utstuderat system.
Videor som skapats av AI har blivit så realistiska att människor (och befintliga detekteringssystem) har svårt att skilja mellan riktiga och falska videor. För att ta itu med detta problem har Columbia Engineering-forskare, under ledning av datavetenskapsprofessorn Junfeng Yang, utvecklat ett nytt verktyg för att upptäcka AI-genererad video som heter DIVID, förkortning för DIffusion-generated VIdeo Detector. DIVID bygger vidare på det arbete som teamet släppte tidigare i år – Raidar, som upptäcker AI-genererad text genom att analysera själva texten, utan att behöva komma åt det inre arbetet i stora språkmodeller.
Ett papper om det nya verktyget visas på arXiv preprint-servern.
DIVID upptäcker en ny generation av generativa AI-videor
DIVID förbättrar tidigare befintliga metoder för att upptäcka generativa videor som effektivt identifierar videor som genererats av äldre AI-modeller som generativa adversariala nätverk (GAN). Ett GAN är ett AI-system med två neurala nätverk: Ett skapar falska data och ett annat utvärderar dem för att skilja mellan falska och riktiga data. Genom kontinuerlig återkoppling förbättras båda nätverken, vilket resulterar i en mycket realistisk syntetisk video. Nuvarande AI-detekteringsverktyg letar efter tecken som ovanliga pixelarrangemang, onaturliga rörelser eller inkonsekvenser mellan bildrutor som normalt inte förekommer i riktiga videor.
Den nya generationen generativa AI-videoverktyg, som Sora från OpenAI, Runway Gen-2 och Pika, använder en diffusionsmodell för att skapa videor. En diffusionsmodell är en AI-teknik som skapar bilder och videor genom att gradvis förvandla slumpmässigt brus till en tydlig, realistisk bild. För videor förfinas varje bildruta individuellt samtidigt som mjuka övergångar säkerställs, vilket ger högkvalitativa och verklighetstrogna resultat. Denna ökande sofistikering av AI-genererade videor utgör en betydande utmaning när det gäller att upptäcka deras äkthet.
Yangs grupp använde en teknik som kallas DIRE (DIffusion Reconstruction Error) för att upptäcka diffusionsgenererade bilder. DIRE är en metod som mäter skillnaden mellan en ingångsbild och motsvarande utgångsbild som rekonstruerats med en förtränad diffusionsmodell.
Utvidgning av Raidars AI-genererade texter till video
Yang, som är meddirektör för Software Systems Lab, har undersökt hur man kan upptäcka AI-genererad text och videor. Tidigare i år, med lanseringen av Raidar, möjliggör Yang och medarbetare ett sätt att upptäcka AI-genererad text genom att analysera själva texten, utan att behöva komma åt det inre arbetet i stora språkmodeller som chatGPT-4, Gemini eller Llama. Raidar använder en språkmodell för att omformulera eller ändra en given text och mäter sedan hur många redigeringar systemet gör i den givna texten. Många ändringar innebär att det sannolikt är människor som skrivit texten, medan färre ändringar innebär att texten sannolikt är maskingenererad.
”Insikten i Raidar – att resultatet från en AI ofta anses vara av hög kvalitet av en annan AI, så att den gör färre ändringar – är verkligen kraftfull och sträcker sig längre än bara till text”, säger Yang. ”Med tanke på att AI-genererad video blir mer och mer realistisk ville vi ta Raidars insikt och skapa ett verktyg som kan upptäcka AI-genererade videor exakt.”
Forskarna använde samma koncept för att utveckla DIVID. Denna nya generativa videodetekteringsmetod kan identifiera video som genererats av diffusionsmodeller. Forskningsrapporten, som innehåller kod och dataset med öppen källkod, presenterades vid Computer Vision and Pattern Recognition Conference (CVPR) i Seattle den 18 juni 2024.
Hur DIVID fungerar
DIVID fungerar genom att rekonstruera en video och analysera den nyligen rekonstruerade videon mot den ursprungliga videon. Den använder DIRE-värden för att upptäcka diffusionsgenererade videor eftersom metoden fungerar på hypotesen att rekonstruerade bilder som genereras av diffusionsmodeller bör likna varandra eftersom de samplas från diffusionsprocessfördelningen. Om det finns betydande förändringar är originalvideon sannolikt genererad av en människa. Om inte, är den sannolikt AI-genererad.
Ramverket bygger på idén att AI-genereringsverktyg skapar innehåll baserat på den statistiska fördelningen av stora datamängder, vilket resulterar i mer ”statistiska medel”-innehåll, t.ex. pixelintensitetsfördelningar, texturmönster och brusegenskaper i videobilder, subtila inkonsekvenser eller artefakter som förändras onaturligt mellan bilderna, eller ovanliga mönster som är mer sannolika i diffusionsgenererade videor än i verkliga.
Däremot uppvisar mänskliga videoskapelser individualitet och avviker från den statistiska normen. DIVID uppnådde en banbrytande detekteringsnoggrannhet på upp till 93,7% för videor från deras referensdataset med diffusionsgenererade videor från Stable Vision Diffusion, Sora, Pika och Gen-2.
För närvarande är DIVID ett kommandoradsverktyg som analyserar en video och visar om den är AI- eller människogenererad och kan endast användas av utvecklare. Forskarna konstaterar att deras teknik har potential att integreras som ett plugin till Zoom för att upptäcka deepfake-samtal i realtid. Teamet överväger också att utveckla en webbplats eller ett webbläsarplugin för att göra DIVID tillgängligt för vanliga användare.
”Vårt ramverk är ett betydande steg framåt när det gäller att upptäcka AI-genererat innehåll”, säger Yun-Yun Tsai, en av författarna till artikeln och doktorand hos Yang. ”Det finns alldeles för många bedragare som använder AI-genererad video, och det är viktigt att stoppa dem och skydda samhället.”
Vad händer härnäst?
Forskarna arbetar nu med att förbättra ramverket för DIVID så att det kan hantera olika typer av syntetiska videor från videogenereringsverktyg med öppen källkod. De använder också DIVID för att samla in videor till DIVID-datasetet.
Mer information om DIVID: Qingyuan Liu et al, Turns Out I’m Not Real: Towards Robust Detection of AI-Generated Videos, arXiv (2024). DOI: 10.48550/arxiv.2406.09601
