Inom artificiell intelligens (AI) har det nyligen gjorts betydande framsteg inom generativa modeller, en typ av maskininlärningsalgoritm som ”lär sig” mönster från datamängder för att generera nya, liknande datamängder. Generativa modeller används ofta för att t.ex. rita bilder och generera naturligt språk – ett känt exempel är de modeller som användes för att utveckla chatGPT.
Generativa modeller har haft anmärkningsvärda framgångar i olika tillämpningar, från bild- och videogenerering till komposition av musik och språkmodellering. Problemet är att vi saknar teori när det gäller de generativa modellernas möjligheter och begränsningar. Det är förståeligt att denna brist allvarligt kan påverka hur vi utvecklar och använder dem i framtiden.
En av de största utmaningarna har varit förmågan att effektivt plocka prover från komplicerade datamönster, särskilt med tanke på begränsningarna hos traditionella metoder när man hanterar den typ av högdimensionella och komplexa data som ofta förekommer i moderna AI-applikationer.
Nu har ett team av forskare under ledning av Florent Krzakala och Lenka Zdeborová vid EPFL undersökt effektiviteten hos moderna neurala nätverksbaserade generativa modeller. Studien, som publicerades i PNAS, jämför dessa moderna metoder med traditionella provtagningstekniker, med fokus på en specifik klass av sannolikhetsfördelningar relaterade till spinnglasögon och statistiska inferensproblem.
Forskarna analyserade generativa modeller som använder neurala nätverk på unika sätt för att lära sig datadistributioner och generera nya datainstanser som efterliknar originaldata.
Teamet tittade på flödesbaserade generativa modeller, som lär sig från en relativt enkel datafördelning och ”flödar” till en mer komplex; diffusionsbaserade modeller, som tar bort brus från data; och generativa autoregressiva neurala nätverk, som genererar sekventiella data genom att förutsäga varje ny bit baserat på de tidigare genererade.
Forskarna använde sig av ett teoretiskt ramverk för att analysera modellernas prestanda vid sampling från kända sannolikhetsfördelningar. Detta innebar att de mappade samplingsprocessen för dessa neurala nätverksmetoder till ett Bayes-optimalt denoising-problem – i huvudsak jämförde de hur varje modell genererar data genom att likna det vid ett problem med att ta bort brus från information.
Forskarna hämtade inspiration från den komplexa världen av spinnglasögon, material med spännande magnetiskt beteende, för att analysera moderna datagenereringstekniker. Detta gjorde det möjligt för dem att utforska hur neurala nätverksbaserade generativa modeller navigerar i de intrikata datalandskapen.
Metoden gjorde det möjligt för dem att studera de generativa modellernas nyanserade möjligheter och begränsningar i förhållande till mer traditionella algoritmer som Monte Carlo Markovkedjor (algoritmer som används för att generera urval från komplexa sannolikhetsfördelningar) och Langevin Dynamics (en teknik för urval från komplexa fördelningar genom att simulera partiklars rörelse under termiska fluktuationer).
Studien visade att moderna diffusionsbaserade metoder kan möta utmaningar när det gäller sampling på grund av en första ordningens fasövergång i algoritmens denoising-väg. Vad detta innebär är att de kan stöta på problem på grund av plötsliga förändringar i hur de tar bort brus från de data de arbetar med. Trots att forskningen identifierade regioner där traditionella metoder överträffar, framhävde den också scenarier där neurala nätverksbaserade modeller uppvisar överlägsen effektivitet.
Denna nyanserade förståelse ger ett balanserat perspektiv på styrkorna och begränsningarna hos både traditionella och moderna samplingsmetoder. Forskningen är en guide till mer robusta och effektiva generativa modeller inom AI; genom att tillhandahålla en tydligare teoretisk grund kan den hjälpa till att utveckla nästa generations neurala nätverk som kan hantera komplexa datagenereringsuppgifter med oöverträffad effektivitet och noggrannhet.
Ytterligare information: Zdeborová, Lenka, Sampling with flows, diffusion, and autoregressive neural networks from a spin-glass perspective, Proceedings of the National Academy of Sciences (2024). DOI: 10.1073/pnas.2311810121. doi.org/10.1073/pnas.2311810121
