Kraftfulla nya modeller för artificiell intelligens blir ibland, som bekant, fel – oavsett om de hallucinerar falsk information eller memorerar andras arbete och erbjuder det som sitt eget. För att komma till rätta med det senare har forskare under ledning av ett team vid University of Texas i Austin utvecklat ett ramverk för att träna AI-modeller på bilder som är korrumperade bortom igenkänning.
DALL-E, Midjourney och Stable Diffusion är några av de generativa AI-modellerna för text-till-bild-diffusion som kan förvandla godtycklig användartext till mycket realistiska bilder. Alla tre står nu inför stämningar från konstnärer som hävdar att genererade prover replikerar deras arbete. Modellerna är tränade på miljarder bild-textpar som inte är allmänt tillgängliga och kan generera högkvalitativa bilder från textmeddelanden men kan dra nytta av upphovsrättsskyddade bilder som de sedan replikerar.
Det nyligen föreslagna ramverket, kallat Ambient Diffusion, kommer runt detta problem genom att träna diffusionsmodeller genom tillgång endast till korrupta bildbaserade data. Tidiga försök tyder på att ramverket kan fortsätta att generera högkvalitativa prover utan att någonsin se något som är igenkännligt som de ursprungliga källbilderna.
Ambient Diffusion presenterades ursprungligen vid NeurIPS, en maskininlärningskonferens, 2023 och har sedan dess anpassats och utökats. Uppföljningsartikeln ”Consistent Diffusion Meets Tweedie”, som finns tillgänglig på arXivs preprint-server, accepterades till 2024 International Conference on Machine Learning. I samarbete med Constantinos Daskalakis vid Massachusetts Institute of Technology utvidgade teamet ramverket för att träna diffusionsmodeller på datamängder av bilder som skadats av andra typer av brus, snarare än genom att helt enkelt maskera pixlar, och på större datamängder.
”Ramverket kan visa sig användbart även för vetenskapliga och medicinska tillämpningar”, säger Adam Klivans, professor i datavetenskap, som deltog i arbetet. ”Det skulle gälla för i princip all forskning där det är dyrt eller omöjligt att ha en fullständig uppsättning okorrumperade data, från avbildning av svarta hål till vissa typer av MR-skanningar.”
Klivans; Alex Dimakis, professor i elektro- och datorteknik; och andra medarbetare i multi-institution Institute for Foundations of Machine Learning under ledning av de två UT-fakultetsmedlemmarna experimenterade först genom att träna en diffusionsmodell på en uppsättning av 3 000 bilder av kändisar och sedan använda den modellen för att generera nya prover.
I experimentet kopierade diffusionsmodellen som tränades på rena data uppenbart träningsexemplen. Men när forskarna korrumperade träningsdata, slumpmässigt maskerade upp till 90% av enskilda pixlar i en bild och tränade om modellen med sin nya metod, förblev de genererade proverna av hög kvalitet men såg väldigt annorlunda ut. Modellen kan fortfarande generera mänskliga ansikten, men de genererade ansiktena skiljer sig tillräckligt mycket från träningsbilderna.
”Vårt ramverk gör det möjligt att kontrollera avvägningen mellan memorering och prestanda”, säger Giannis Daras, en doktorand i datavetenskap som ledde arbetet. ”I takt med att graden av korruption som uppstår under träningen ökar, minskar memoreringen av träningsuppsättningen.”
Forskarna säger att detta pekar på en lösning som, även om den kan ändra prestanda, aldrig kommer att ge brus. Ramverket är ett exempel på hur akademiska forskare utvecklar artificiell intelligens för att möta samhällets behov, ett huvudtema i år vid University of Texas i Austin, som har förklarat 2024 som ”Year of AI”.
I forskargruppen ingick medlemmar från University of California, Berkeley och MIT.
Ytterligare information: Giannis Daras et al, Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data, arXiv (2024). DOI: 10.48550/arxiv.2404.10177
