Ny AI-teknik avslöjar inte bara falska videor – den hittar även källan

AI-genererade videor blir allt mer realistiska och används i dag inom allt från filmproduktion och marknadsföring till sociala medier. Samtidigt ökar oron för att tekniken ska användas för bedrägerier, desinformation och politisk påverkan.

Nu har forskare vid University of California, Riverside, tillsammans med experter från YouTube och Google DeepMind, utvecklat ett nytt verktyg som inte bara kan avgöra om en video är AI-genererad. Systemet kan även identifiera vilken AI-modell som skapade videon, vilket kan bli ett viktigt verktyg i kampen mot deepfakes och digital manipulation.

Varje AI-modell lämnar ett digitalt fingeravtryck

Forskarna utgår från att olika AI-videogeneratorer oavsiktligt lämnar efter sig små visuella mönster i de videor de skapar.

Dessa mönster är oftast osynliga för människor men kan upptäckas genom avancerad analys. Forskarna liknar dem vid digitala fingeravtryck – unika signaturer som avslöjar vilken AI-modell som ligger bakom innehållet.

Det nya systemet, som fått namnet SAGA (Source Attribution of Generative AI Videos), analyserar både enskilda bildrutor och hur videons innehåll förändras över tid för att identifiera dessa karakteristiska mönster.

Analyserar rörelser mellan bildrutorna

Till skillnad från många tidigare verktyg tittar SAGA inte enbart på enskilda bilder.

I stället analyserar systemet även de små förändringarna mellan videons bildrutor – så kallad temporal information. Olika AI-modeller skapar rörelser och övergångar på något olika sätt, och dessa skillnader kan användas för att identifiera ursprunget.

En central del av tekniken är en metod som forskarna kallar Temporal Attention Signatures (T-Sigs). Genom att jämföra många videor från samma AI-generator kan systemet skapa en unik profil som fungerar som ett kännetecken för just den modellen.

Testades på 19 olika AI-videomodeller

Forskarna utvärderade SAGA med hjälp av offentliga databaser som innehöll videor skapade av 19 olika AI-videogeneratorer.

Systemet kunde inte bara avgöra om en video var äkta eller AI-genererad. Det lyckades också skilja mellan text-till-video- och bild-till-video-modeller, identifiera olika versioner av samma AI-system och i många fall även koppla videon till rätt utvecklingsteam.

Det gör tekniken betydligt mer användbar än traditionella deepfake-detektorer, som oftast endast avgör om en video är manipulerad eller inte.

Kan hjälpa myndigheter och sociala plattformar

Forskarna ser flera praktiska användningsområden.

Möjligheten att identifiera vilken AI-modell som skapat en video kan hjälpa rättsvårdande myndigheter att spåra organiserade desinformationskampanjer. Sociala medieplattformar kan få bättre verktyg för att analysera hur syntetiskt innehåll sprids, medan tillsynsmyndigheter kan använda tekniken för att kontrollera att regler om transparens följs.

Det kan också ge AI-utvecklare bättre kunskap om hur deras modeller används och om de missbrukas i bedrägerier eller annan skadlig verksamhet.

Ett ständigt kapplöpning mot bedragarna

Forskarna betonar att utvecklingen av AI innebär ett ständigt kapplöpning mellan de som skapar generativa modeller och de som försöker upptäcka missbruk.

När AI-videogeneratorer förbättras kommer även deras digitala ”fingeravtryck” att förändras, vilket innebär att detektionsverktyg som SAGA kontinuerligt måste uppdateras för att behålla sin träffsäkerhet.

Trots detta ser forskarna tekniken som ett viktigt steg framåt inom digital forensik, eftersom fokus nu flyttas från att enbart upptäcka falskt innehåll till att även kunna fastställa dess ursprung.

Ett viktigt verktyg i AI-eran

Generativ AI utvecklas i mycket hög takt och gör det allt enklare att skapa övertygande videor utan avancerade tekniska kunskaper. Det ökar möjligheterna inom film, utbildning och kreativt skapande, men också risken för manipulation och vilseledande information.

Den nya forskningen visar att AI samtidigt kan användas för att stärka möjligheterna att avslöja sådant innehåll. Genom att identifiera de unika digitala spår som olika AI-modeller lämnar efter sig kan framtidens forensiska verktyg göra det betydligt svårare att sprida anonyma deepfakes.

Om tekniken fortsätter att utvecklas kan den bli ett viktigt stöd för myndigheter, teknikföretag och medieplattformar i arbetet med att skapa större transparens och förtroende i en tid då gränsen mellan äkta och AI-genererat innehåll blir allt svårare att se med blotta ögat.