Forskare når nytt AI-riktmärke för datorgrafik

Illustration av våra spatialt glesa neurala fält (SSNF) i 2D. I vårt ramverk för NFM-simulering använder vi SSNF för att representera ett kontinuerligt spatiotemporalt hastighetsfält. För att hämta hastigheten med givna koordinater (𝑥, 𝑦, 𝑡) interpolerar vi först det spatialt glesa funktionsnätet med flera upplösningar med (𝑥, 𝑦) för att få en funktionsvektor för varje upplösning (de två vänstra kolumnerna). Vi omorganiserar dessa vektorer till 4 temporala ankarvektorer och interpolerar dem med 𝑡 för att få den slutliga funktionsvektorn (mittenkolumnen). Slutligen avkodar vi funktionsvektorn med neurala nätverk för att få fram hastighetskomponenterna (de två högra kolumnerna). Kredit: arXiv: DOI: 10.48550/arxiv.2312.14635
Illustration av våra spatialt glesa neurala fält (SSNF) i 2D. I vårt ramverk för NFM-simulering använder vi SSNF för att representera ett kontinuerligt spatiotemporalt hastighetsfält. För att hämta hastigheten med givna koordinater (𝑥, 𝑦, 𝑡) interpolerar vi först det spatialt glesa funktionsnätet med flera upplösningar med (𝑥, 𝑦) för att få en funktionsvektor för varje upplösning (de två vänstra kolumnerna). Vi omorganiserar dessa vektorer till 4 temporala ankarvektorer och interpolerar dem med 𝑡 för att få den slutliga funktionsvektorn (mittenkolumnen). Slutligen avkodar vi funktionsvektorn med neurala nätverk för att få fram hastighetskomponenterna (de två högra kolumnerna). Kredit: arXiv: DOI: 10.48550/arxiv.2312.14635

Datorgrafiska simuleringar kan återge naturfenomen som tornador, undervattensvågor, virvlar och vätskeskum på ett mer exakt sätt tack vare framsteg i skapandet av neurala nätverk med artificiell intelligens (AI).

I samarbete med ett forskarlag från flera institutioner har Bo Zhu, biträdande professor vid Georgia Tech, kombinerat datorgrafiska simuleringar med maskininlärningsmodeller för att skapa förbättrade simuleringar av kända fenomen. Det nya riktmärket kan leda till att forskare kan konstruera representationer av andra fenomen som ännu inte har simulerats.

Zhu var medförfattare till artikeln ”Fluid Simulation on Neural Flow Maps”. Association for Computing Machinery’s Special Interest Group in Computer Graphics and Interactive Technology (SIGGRAPH) gav den ett pris för bästa artikel i december vid SIGGRAPH Asia-konferensen i Sydney, Australien.

Artikeln har publicerats i ACM Transactions on Graphics, och den fullständiga texten finns tillgänglig på preprint-servern arXiv.

Författarna menar att utvecklingen kan få lika stor betydelse för datorgrafiksimuleringar som introduktionen av neurala strålningsfält (NeRFs) fick för datorseende 2020. NeRFs introducerades av forskare vid University of California-Berkley, University of California-San Diego och Google och är neurala nätverk som enkelt omvandlar 2D-bilder till navigerbara 3D-scener.

NeRFs har blivit ett riktmärke bland forskare inom datorseende. Zhu och hans medarbetare hoppas att deras skapelse, neurala flödeskartor, kan göra samma sak för simuleringsforskare inom datorgrafik.

”En naturlig fråga att ställa är, kan AI i grunden övervinna den traditionella metodens brister och skapa generationssprång för simulering som det har gjort för naturlig språkbehandling och datorseende?” sade Zhu. ”Simuleringens noggrannhet har varit en stor utmaning för forskare inom datorgrafik. Inget befintligt arbete har kombinerat AI med fysik för att ge avancerade simuleringsresultat som överträffar traditionella system i noggrannhet.”

Inom datorgrafik är simuleringspipelines motsvarigheten till neurala nätverk och gör att simuleringar kan ta form. De är traditionellt konstruerade genom matematiska ekvationer och numeriska system.

Zhu säger att forskare har försökt att utforma simuleringspipelines med neurala representationer för att konstruera mer robusta simuleringar. Försöken att uppnå högre fysisk noggrannhet har dock misslyckats.

Zhu förklarar problemet med att pipelines inte kan matcha kapaciteten hos AI-algoritmer inom strukturerna för traditionella simuleringspipelines. För att lösa problemet och låta maskininlärning få inflytande föreslog Zhu och hans medarbetare ett nytt ramverk som omformar simuleringspipelinen.

De kallade dessa nya pipelines för neurala flödeskartor. Kartorna använder maskininlärningsmodeller för att lagra spatiotemporala data mer effektivt. Forskarna anpassar sedan dessa modeller till sitt matematiska ramverk för att uppnå en högre noggrannhet än tidigare pipeline-simuleringar.

Zhu säger att han inte anser att maskininlärning bör användas för att ersätta traditionella numeriska ekvationer. Snarare bör de komplettera dem för att låsa upp nya fördelaktiga paradigm.

”Istället för att försöka använda moderna AI-tekniker för att ersätta komponenter i traditionella pipelines, har vi tillsammans utformat simuleringsalgoritmen och maskininlärningstekniken i tandem”, säger Zhu.

”Numeriska metoder är inte optimala på grund av deras begränsade beräkningskapacitet. De senaste AI-drivna kapaciteterna har tagit bort många av dessa begränsningar. Vår uppgift är att omforma befintliga simuleringsrörledningar för att dra full nytta av dessa nya AI-kapaciteter.”

I artikeln konstaterar författarna att de en gång ouppnåeliga algoritmiska designerna kan låsa upp nya forskningsmöjligheter inom datorgrafik.

Neurala flödeskartor erbjuder ”ett nytt perspektiv på införlivandet av maskininlärning i numerisk simuleringsforskning för både datorgrafik och beräkningsvetenskap”, står det i tidningen.

”Framgången med Neural Flow Maps är inspirerande för hur fysik och maskininlärning bäst kombineras”, tillade Zhu.

Ytterligare information: Yitong Deng et al, Fluid Simulation on Neural Flow Maps, ACM Transactions on Graphics (2023). DOI: 10.1145/3618392. On arXiv: DOI: 10.48550/arxiv.2312.14635

Bli först med att kommentera

Lämna ett svar

Din e-postadress kommer inte att publiceras.