Föreställ dig att du tar dig fram på en stadsgata under rusningstid – bilar och cyklar som susar förbi, fotgängare som skyndar fram på en fullsatt trottoar, medan dina ögon i ett ögonblick anpassar sig till skenet från skyltfönstren och i nästa till en mörk tunnel.
Vår hjärna klarar förstås allt detta utan att vi är medvetna om de komplexa processer som pågår just då. I realtid skapar våra ögon och hjärna en tredimensionell, exakt bild av en dynamisk scen och beräknar ständigt avstånd mellan objekt med otaliga former, storlekar och ytor.
Jakten på övermänskligt 3D-seende för maskiner
Det som människor gör omedvetet och utan ansträngning är en svår nöt att knäcka för maskiner med 3D-sensorsystem – tänk till exempel på självkörande bilar – som har till uppgift att mäta verkliga scener fyllda med objekt som reflekterar ljus på olika sätt. I en artikel publicerad i Nature Communications rapporterar nu en forskargrupp vid Computational 3D Imaging and Measurement Lab vid University of Arizona att de har klarat ett hinder på vägen mot att förse maskiner med ”övermänskligt 3D-seende”, enligt labbets chef, Florian Willomitzer, docent vid U of A Wyant College of Optical Sciences.
I stället för att bara efterlikna förmågan hos mänskligt 3D-seende utvecklar hans team dock metoder för att avsevärt förbättra 3D-sensorer som kan ta bilder med högre upplösning och snabbare hastighet, vilket gör bildtagningsprocessen okänslig för utmanande förhållanden som starkt reflekterande ytor.
”Människor har redan ett inbyggt 3D-kamerasystem – stereoseendet hos våra två ögon”, sa Willomitzer. ”Ett av våra mål är att göra det möjligt för datorer och maskiner att se i 3D bättre än någon människa, vilket är avgörande för en mängd tekniska utmaningar, såsom tillförlitlig navigering av självkörande bilar, exakt styrning under robotkirurgi eller förbättrade avkänningsförmågor inom industriell inspektion och biomedicinsk avbildning.”
Laboratorieexperiment som demonstrerar principen för den nya tekniken. Källa: Aniket Dashpute et al.
Varför scener med blandad reflektans är så svåra
På vägen mot att uppnå dessa mål måste 3D-avbildning övervinna ett svårlöst problem: De flesta toppmoderna 3D-sensorer är optimerade för avbildning av antingen ”diffusa” (matta) eller ”speglande” (reflekterande) ytor. I motsats till detta har scener i den verkliga världen ett brett spektrum av ytreflektiviteter som ligger någonstans mellan dessa två ytterligheter. Det är här de flesta 3D-avbildare misslyckas.
”Tänk på interiören i en bil eller ett vardagsrum”, sa Willomitzer. ”I sådana miljöer finns speglande material, som speglar, glas eller polerade metallytor, tillsammans med diffusa ytor, som väggar, tyg och möbler.”
Detsamma gäller för robotkirurgi, eftersom ett operationsområde vanligtvis innehåller glänsande vätskor och fuktiga vävnader samt diffusa ytor som hud. Det är extremt svårt att utveckla 3D-avkänningstekniker som kan mäta alla dessa ytor lika bra.
Prototypen i laboratoriet. Sensorn, som består av en laserskanner och en händelsekamera (till höger), skannar scenen med blandad reflektans (till vänster). Efter datoriserad separering av matta och speglande delar av scenen utvärderas de matta delarnas 3D-form direkt, och de speglande delarna utvärderas via reflektionssignalen från de matta delarna, vilket i praktiken förvandlar dem till en stor virtuell skärm för mätningen av de speglande delarna. Källa: Aniket Dashpute et al.
Teamets idé bygger på en vidareutveckling av så kallad deflektometri – en väl etablerad teknik som mäter formen på speglande ytor genom att observera hur ett mönster på en skärm deformeras vid reflektion över den speglande ytan. För att mäta mycket komplexa former med deflektometri måste skärmarna dock vara mycket stora för att täcka ett brett vinkelområde av ytorienteringar, förklarade Willomitzer.
För tillämpningar som inspektion av nymålade karosser har detta till och med lett till tunnelliknande skärmkonstruktioner som är tillräckligt stora för att rymma hela bilen. Sådana lösningar är dyra, inte bärbara och tenderar att vara begränsade till specifika uppgifter.
Att förvandla hela rum till virtuella skärmar
Den lösning som Willomitzers team utvecklat är lika enkel som effektiv: Istället för att kräva stora skärmar förvandlas hela omgivningen kring de speglande objekt som ska mätas till en ”virtuell skärm”.
”Vi kan använda en laserskanner för att fånga upp allt i rummet, med allt som finns där inne, inklusive objekt med speglande, glansiga och matta ytor, samt matta väggar. Vi använder sedan våra algoritmer för att separera de diffusa ytorna från de speglande och kan slutligen använda alla uppmätta diffusa delar av scenen som en virtuell skärm för deflektometrimätningen av de speglande delarna”, säger studiens försteförfattare, Aniket Dashpute, som inledde arbetet med Willomitzer vid deras tidigare institution, Northwestern University, och som nu är doktorand vid Rice University.
”Detta gör det i praktiken möjligt för oss att omvandla allt inne i rummet till en gigantisk skärm – i princip blir allt omkring dig en virtuell skärm”, tillägger Willomitzer.
Händelsekameror tar 3D-video ett steg längre
I stället för att förlita sig på en konventionell kamera, som fångar hela scenen bildruta för bildruta, använder forskarna en så kallad neuromorfisk händelsekamera, som endast fångar de viktiga delarna av mätningen med mycket hög tidsupplösning. Detta gör det möjligt för dem att spela in 3D-videor av scener med blandad reflektans och rörliga objekt med höga bildhastigheter.
”Eventkameran klarar av väldigt olika ljusnivåer – från mycket svagt till extremt starkt ljus”, säger artikelns andra författare, Jiazhang Wang, postdoktorand vid Wyant College of Optical Sciences. ”Detta gör det möjligt för oss att mäta alla objektytor i en scen med hög noggrannhet, trots deras stora variationer i ytreflektivitet.”
För närvarande har metoden demonstrerats i en bordslaboratoriemiljö, men Willomitzer säger att tekniken är skalbar efter vad applikationen kräver.
”Skalbarhet är ett viktigt krav för det breda spektrumet av 3D-avbildningsapplikationer”, säger han, ”från att mäta små, glänsande blodkärl under operation till att digitalisera hela rum eller byggnader.”
Publikationsuppgifter
Accurate and fast event-based shape measurement of mixed reflectance scenes, Nature Communications (2026). DOI: 10.1038/s41467-026-72254-6
