Eyetracking spelar en avgörande roll i de senaste headseten för virtuell och förstärkt verklighet och är en viktig teknik inom underhållningsindustrin, vetenskaplig forskning, medicin och beteendevetenskap, förarassistans i bilar och industriteknik. Att spåra det mänskliga ögats rörelser med hög noggrannhet är dock en stor utmaning.
Forskare vid University of Arizona Wyant College of Optical Sciences har nu visat på ett innovativt tillvägagångssätt som kan revolutionera eyetracking-tillämpningar.
Deras studie, som publiceras i Nature Communications, visar att integrering av en kraftfull 3D-bildteknik som kallas deflektometri med avancerad beräkning har potential att avsevärt förbättra den senaste tekniken för ögonspårning.
”Nuvarande eyetracking-metoder kan bara fånga upp riktningsinformation om ögongloben från ett fåtal glesa ytpunkter, som mest ett dussintal”, säger Florian Willomitzer, docent i optik och studiens huvudforskare.
”Med vår deflektometribaserade metod kan vi använda informationen från mer än 40.000 ytpunkter, teoretiskt sett till och med miljontals, som alla extraheras från en enda, omedelbar kamerabild.”
”Fler datapunkter ger mer information som potentiellt kan användas för att avsevärt öka noggrannheten i uppskattningen av blickriktningen”, säger Jiazhang Wang, postdoktoral forskare i Willomitzers laboratorium och studiens försteförfattare.
”Detta är avgörande, till exempel för att möjliggöra nästa generations applikationer inom virtual reality. Vi har visat att vår metod enkelt kan öka antalet förvärvade datapunkter med en faktor på mer än 3.000 jämfört med konventionella metoder.”
Deflektometri är en 3D-bildteknik som gör det möjligt att mäta reflekterande ytor med mycket hög noggrannhet. Vanliga tillämpningar av deflektometri är att skanna stora teleskopspeglar eller annan högpresterande optik för att hitta minsta lilla fel eller avvikelse från den föreskrivna formen.
Att utnyttja deflektometriens kraft för tillämpningar utanför inspektion av industriella ytor är ett viktigt forskningsfokus för Willomitzers forskargrupp i U of A Computational 3D Imaging and Measurement Lab. Teamet kombinerar deflektometri med avancerade beräkningsmetoder som vanligtvis används inom datorseendeforskning.
Det resulterande forskningsspåret, som Willomitzer kallar ”computational deflectometry”, omfattar tekniker för analys av målningar och konstverk, tablettbaserade 3D-avbildningsmetoder för att mäta formen på hudlesioner och ögonspårning.
Jiazhang Wang, postdoktoral forskare i Willomitzers labb och studiens försteförfattare, demonstrerar experimentuppställningen: En stereokamera registrerar reflektioner av ett ljusgaller som reflekteras av ögat, medan försökspersonen observerar en punkt (rött kors) som rör sig på en skärm. Kredit: Florian Willomitzer
”Den unika kombinationen av exakta mättekniker och avancerade beräkningar gör det möjligt för maskiner att ’se det osynliga’, vilket ger dem en ’övermänsklig syn’ bortom gränserna för vad människor kan uppfatta”, säger Florian Willomitzer.
I den här studien genomförde forskargruppen experiment med mänskliga deltagare och en realistisk, artificiell ögonmodell. Teamet mätte försökspersonernas synriktning och kunde spåra deras blickriktning med en noggrannhet på mellan 0,46 och 0,97 grader. Vid tester på modellen med det konstgjorda ögat var felet bara cirka 0,1 grader.
Istället för att vara beroende av ett fåtal infraröda punktljuskällor för att få information från reflektioner på ögats yta, använder den nya metoden en skärm som visar kända strukturerade ljusmönster som belysningskälla. Var och en av de mer än 1 miljon pixlarna på skärmen kan därmed fungera som en individuell punktljuskälla.
Genom att analysera deformationen av de visade mönstren när de reflekteras av ögats yta kan forskarna få exakta och täta 3D-ytdata från både hornhinnan, som överlappar pupillen, och det vita området runt pupillen, som kallas sclera, förklarar Wang.
”Vår beräkningsrekonstruktion använder sedan dessa ytdata tillsammans med kända geometriska begränsningar kring ögats optiska axel för att exakt förutsäga blickriktningen”, säger han.
I en tidigare studie har teamet redan undersökt hur tekniken sömlöst kan integreras med virtual reality- och augmented reality-system genom att potentiellt använda ett fast inbäddat mönster i headsetramen eller det visuella innehållet i själva headsetet – oavsett om det är stillbilder eller video – som det mönster som reflekteras från ögats yta.
Detta kan minska systemkomplexiteten avsevärt, menar forskarna. Dessutom skulle framtida versioner av denna teknik kunna använda infrarött ljus istället för synligt ljus, vilket gör att systemet kan fungera utan att distrahera användarna med synliga mönster.
Hur tekniken fungerar: En kamera registrerar ljusmönster när de reflekteras av ögats yta. En algoritm använder en så kallad ytnormalvektor – den riktning som är vinkelrät mot ögats yta – för att mäta ögats form, som sedan kan användas för att uppskatta blickriktningen. ”FoV” står för ’field of view’. Credit: Florian Willomitzer och Jiazhang Wang
”För att få så mycket riktningsinformation som möjligt från ögats hornhinna och sklera utan några tvetydigheter använder vi stereo-deflektometri i kombination med nya algoritmer för ytoptimering”, säger Wang. ”Tekniken bestämmer blicken utan att göra starka antaganden om ögats form eller yta, som vissa andra metoder gör, eftersom dessa parametrar kan variera från användare till användare.”
Som en önskvärd ”bieffekt” skapar den nya tekniken en tät och exakt ytrekonstruktion av ögat, vilket potentiellt skulle kunna användas för att i realtid diagnostisera och korrigera specifika ögonsjukdomar i framtiden, tillägger forskarna.
Siktar mot nästa tekniksprång
Även om detta är första gången deflektometri används för ögonspårning – såvitt forskarna vet – säger Wang: ”Det är uppmuntrande att vår tidiga implementering redan har visat sig ha en noggrannhet som är jämförbar med eller bättre än kommersiella ögonspårningssystem i verkliga ögonförsök på människor.”
Med ett pågående patent och planer på kommersialisering genom Tech Launch Arizona banar forskningen väg för en ny era av robust och noggrann eyetracking. Forskarna tror att de med ytterligare tekniska förbättringar och algoritmiska optimeringar kan flytta gränserna för eyetracking bortom vad som tidigare har uppnåtts med hjälp av tekniker som passar för verkliga tillämpningar.
Därefter planerar teamet att integrera andra 3D-rekonstruktionsmetoder i systemet och dra nytta av artificiell intelligens för att ytterligare förbättra tekniken.
”Vårt mål är att närma oss de noggrannhetsnivåer på 0,1 grader som uppnåddes i experimenten med modellögon”, säger Willomitzer. ”Vi hoppas att vår nya metod kommer att möjliggöra en ny våg av nästa generations eyetracking-teknik, inklusive andra tillämpningar som neurovetenskaplig forskning och psykologi.”
Medförfattare till artikeln är Oliver Cossairt, adjungerad docent i elektro- och datateknik vid Northwestern University, där Willomitzer och Wang startade projektet, samt Tianfu Wang och Bingjie Xu, båda tidigare studenter vid Northwestern.
Mer information om projektet: Accurate Eye Tracking from Dense 3D Surface Reconstructions using Single-Shot Deflectometry, Nature Communications (2025). DOI: 10.1038/s41467-025-56801-1
