Armbandet gör det möjligt för användaren att styra en robothand med sina egna rörelser

Nästa gång du bläddrar på din telefon, ta en stund att uppskatta denna bedrift: Den till synes vardagliga handlingen är möjlig tack vare samspelet mellan 34 muskler, 27 leder och över 100 senor och ligament i din hand.

Våra händer är faktiskt de mest smidiga delarna av våra kroppar. Att efterlikna deras många nyanserade rörelser har länge varit en utmaning inom robotteknik och virtuell verklighet.

Nu har ingenjörer vid MIT utvecklat ett ultraljudsarmband som exakt spårar bärarens handrörelser i realtid. Armbandet skapar ultraljudsbilder av handledens muskler, senor och ligament när handen rör sig, och är kopplat till en AI-algoritm som kontinuerligt översätter bilderna till motsvarande positioner för de fem fingrarna och handflatan.

Forskarna kan träna armbandet att lära sig bärarens handrörelser, vilka enheten kan kommunicera i realtid till en robot eller en virtuell miljö. Teamets forskning publiceras i Nature Electronics.

I demonstrationer har teamet visat att en person som bär armbandet kan styra en robothand trådlöst. När personen gestikulerar eller pekar gör roboten samma sak. I en sorts trådlös marionettinteraktion kan bäraren styra roboten så att den spelar en enkel melodi på piano och skjuter en liten basketboll i en basketkorg på skrivbordet. Med samma armband kan bäraren också hantera objekt på en datorskärm, till exempel genom att nypa ihop fingrarna för att förstora och minimera ett virtuellt objekt.

Teamet använder armbandet för att samla in data om handrörelser från många fler användare med olika handstorlekar, fingerformer och gester. De planerar att bygga upp en stor dataset med handrörelser som kan utnyttjas, till exempel för att träna humanoida robotar i fingerfärdighetsuppgifter, såsom att utföra vissa kirurgiska ingrepp. Ultraljudsbandet skulle också kunna användas för att greppa, manipulera och interagera med objekt i videospel, designapplikationer eller andra virtuella miljöer.

”Vi tror att detta arbete har en omedelbar inverkan på att potentiellt ersätta handspårningstekniker med bärbara ultraljudsband inom virtuell och förstärkt verklighet”, säger Xuanhe Zhao, Uncas och Helen Whitaker-professor i maskinteknik vid MIT. ”Det skulle också kunna tillhandahålla enorma mängder träningsdata för fingerfärdiga humanoida robotar.”

Zhao, Gengxi Lu och deras kollegor presenterar armbandets nya design tillsammans med medförfattare från MIT, däribland de tidigare postdoktoranderna Xiaoyu Chen, Shucong Li och Bolei Deng; doktoranderna SeongHyeon Kim och Dian Li; postdoktoranderna Shu Wang och Runze Li, samt Anantha Chandrakasan, prorektor vid MIT och Vannevar Bush-professor i elektroteknik och datavetenskap. Andra medförfattare är doktoranderna Yushun Zheng och Junhang Zhang, Baoqiang Liu, Chen Gong samt professor Qifa Zhou från University of Southern California.

Ingenjörer vid MIT har utvecklat ett ultraljudsarmband som exakt spårar bärarens handrörelser i realtid. Armbandet skapar ultraljudsbilder av handledens muskler, senor och ligament när handen rör sig. Bild: Melanie Gonick, MIT

Att se trådar

Det finns för närvarande olika metoder för att fånga upp och efterlikna människans handfärdighet hos robotar. Vissa metoder använder kameror för att registrera en persons handrörelser när denne hanterar föremål eller utför uppgifter. Andra innebär att en person bär en handske med sensorer, som registrerar personens handrörelser och överför data till en mottagande robot. Men att sätta upp ett komplext kamerasystem för olika tillämpningar är opraktiskt och utsatt för visuella hinder, och handskar fulla av sensorer kan begränsa en persons naturliga handrörelser och känslor.

En tredje metod använder de elektriska signalerna från musklerna i handleden eller underarmen som forskarna sedan korrelerar med specifika handrörelser. Forskare har gjort betydande framsteg inom denna metod. Dessa signaler påverkas dock lätt av brus i omgivningen. De är inte heller tillräckligt känsliga för att urskilja subtila förändringar i rörelserna. De kan till exempel urskilja om tummen och pekfingret är ihopknäppta eller isärdragna, men inte mycket av det som ligger däremellan.

Zhaos team undrade om ultraljudsavbildning skulle kunna fånga upp mer fingerfärdiga och kontinuerliga handrörelser. Hans grupp har utvecklat olika former av ultraljudsstickers – miniatyriserade versioner av de givare som används på läkarmottagningar, kombinerade med hydrogelmaterial som säkert fäster på huden.

I sin nya studie har teamet integrerat ultraljudsstickern i ett bärbart armband för att kontinuerligt avbilda musklerna och senorna i handleden.

”Senorna och musklerna i handleden är som trådar som drar i marionetter, som är fingrarna”, säger Lu. ”Så tanken är att varje gång man tar en bild av trådarnas tillstånd, vet man hur handen ser ut.”

Kartläggning av rörelser

Teamet designade ett armband med en ultraljudssticker som är stor som en smartklocka och lade till inbyggd elektronik som är ungefär lika liten som en mobiltelefon. De fäste armbandet på en frivilligs handled och bekräftade att enheten producerade tydliga och kontinuerliga bilder av handleden när den frivilliga rörde fingrarna i olika gester.

Utmaningen var sedan att koppla de svartvita ultraljudsbilderna av handleden till specifika positioner för handen. Det visade sig att fingrarna och tummen har 22 frihetsgrader, eller olika sätt att sträcka ut eller vinkla sig. Forskarna fann att de kunde identifiera specifika områden i sina ultraljudsbilder av handleden som korrelerar med var och en av dessa 22 frihetsgrader. Till exempel relaterar förändringar i ett område till tummens utsträckning, medan förändringar i ett annat område korrelerar med pekfingrets rörelser.

För att fastställa dessa samband rörde en frivillig som bar armbandet handen i olika positioner medan forskarna spelade in rörelserna med flera kameror runt frivilliga. Genom att matcha förändringar i vissa områden på ultraljudsbilderna med handpositioner som spelats in av kamerorna kunde teamet märka ut områden på handledsbilderna med motsvarande frihetsgrad i handen. Men att göra denna omvandling kontinuerligt och i realtid skulle vara en omöjlig uppgift för människor.

Därför vände sig teamet till artificiell intelligens. De använde en AI-algoritm som kan tränas att känna igen bildmönster och koppla dem till specifika etiketter, i detta fall handens olika frihetsgrader. Forskarna tränade algoritmen med ultraljudsbilder som de noggrant märkte ut, och antecknade de bildområden som var kopplade till en specifik frihetsgrad. De testade algoritmen på en ny uppsättning ultraljudsbilder och fann att den korrekt förutsåg motsvarande handgester.

När forskarna väl hade kopplat ihop AI-algoritmen med armbandet testade de enheten på fler frivilliga. För den nya studien bar åtta frivilliga med olika hand- och handledsstorlekar armbandet medan de gjorde olika handgester och grepp, inklusive tecknen för alla 26 bokstäverna i amerikanskt teckenspråk. De höll också i föremål som en tennisboll, en plastflaska, en sax och en penna. I varje fall spårade och förutsåg armbandet handens position med precision.

För att demonstrera potentiella tillämpningar utvecklade teamet ett enkelt datorprogram som de kopplade ihop trådlöst med armbandet. När en användare utförde rörelser som att nypa och greppa motsvarade gesterna att zooma in och ut på ett objekt på datorskärmen, samt att virtuellt flytta och manipulera det på ett smidigt och kontinuerligt sätt.

Forskarna testade också armbandet som en trådlös styrenhet för en enkel kommersiell robothand. Medan en volontär bar armbandet utförde hen rörelserna för att spela på ett tangentbord. Roboten imiterade i sin tur rörelserna i realtid för att spela en enkel melodi på ett piano. Samma robot kunde också imitera en persons fingertryckningar för att spela ett basketbollsspel på datorn.

Zhao planerar att ytterligare miniatyrisera armbandets hårdvara, samt träna AI-programvaran på många fler gester och rörelser från frivilliga med ett bredare spektrum av handstorlekar och -former. I slutändan arbetar teamet mot en bärbar handspårare som kan bäras av vem som helst, för att trådlöst manipulera humanoida robotar eller virtuella objekt med hög fingerfärdighet.

”Vi tror att detta är det mest avancerade sättet att spåra fingerfärdiga handrörelser, genom bärbar avbildning av handleden”, säger Zhao. ”Vi tror att dessa bärbara ultraljudsband kan ge intuitiva och mångsidiga kontroller för virtuell verklighet och robothänder.”