Att säga en sak och känna en annan är en del av att vara människa, men att hålla inne med känslor kan få allvarliga psykologiska konsekvenser, som ångest eller panikattacker. För att hjälpa vårdgivare att se skillnaden har ett team lett av forskare vid Penn State skapat ett töjbart, uppladdningsbart klistermärke som kan upptäcka verkliga känslor genom att mäta saker som hudtemperatur och hjärtfrekvens – även när användarna tar på sig ett modigt ansikte.
Forskarna presenterade nyligen det bärbara plåstret som samtidigt och exakt kan spåra flera känslomässiga signaler i en studie som publicerades i tidskriften Nano Letters.
”Det här är ett nytt och förbättrat sätt att förstå våra känslor genom att titta på flera kroppssignaler samtidigt”, säger Huanyu ’Larry’ Cheng, James L. Henderson, Jr. Memorial Associate Professor of Engineering Science and Mechanics vid Penn State och huvudförfattare till artikeln.
”Att bara förlita sig på ansiktsuttryck för att förstå känslor kan vara vilseledande. Människor visar ofta inte synligt hur de verkligen känner sig, så det är därför vi kombinerar analys av ansiktsuttryck med andra viktiga fysiologiska signaler, vilket i slutändan kommer att leda till bättre övervakning och stöd för psykisk hälsa.”
Det klistermärkesliknande plåstret registrerar en rad olika fysiologiska reaktioner, t.ex. hudtemperatur, luftfuktighet, hjärtfrekvens och syrenivåer i blodet, som är förknippade med känslomässiga tillstånd. Cheng förklarade att det viktigaste är att enhetens sensorer är utformade för att fungera oberoende av varandra, vilket minimerar störningar mellan de olika mätningarna.
Enheten kombinerar sin analys av de fysiologiska signalerna med data om ansiktsuttryck för att bättre kunna skilja mellan äkta känslor och spelade känslor. Därefter överförs mätdata i realtid trådlöst till mobila enheter och molnet, där läkare potentiellt kan använda dem för att bättre bedöma patienter virtuellt. Enheten registrerar inte personlig information utan endast signaler, förklarade Cheng, vilket innebär att den personliga integriteten skyddas genom enhetens design.
”Den här tekniken har potential att hjälpa människor som kämpar med sin mentala hälsa, men som kanske inte är helt ärliga mot andra eller ens sig själva om hur mycket de kämpar”, säger Yangbo Yuan, medförfattare till uppsatsen och doktorand vid Penn State som studerar ingenjörsvetenskap och mekanik.
Cheng förklarade att de insamlade uppgifterna också kan bidra till att överbrygga kulturella eller sociala klyftor, vilket kan visa sig genom att en person verkar mer stoisk eller uttrycksfull för sina vårdgivare: ”Genom att hålla koll på dessa signaler skulle det kunna vara möjligt att upptäcka problem som ångest eller depression tidigare i förloppet.”
Forskarna byggde den töjbara enheten i plåsterstorlek genom att vika ihop tunna lager av flexibla metaller som platina och guld och skära dem i vågliknande former som bibehåller känsligheten även när de dras eller vrids. De använde också lager av material som ändrar flödet av elektrisk ström med temperaturen och byggde in ihåliga rör gjorda av kolatomer, som absorberar vatten och spårar fuktighetsnivåer.
De många sensorerna utformades och placerades på enheten på ett sådant sätt att de inte skulle störa varandras mätningar. Forskarna lade till exempel ett styvt lager under temperatur- och fuktighetssensorerna för att skydda dem från den töjning som sensorerna för ansiktsuttryck skulle uppleva. De använde också ett vattentätt lager för att skydda temperatur- och töjningssensorerna från fukt.
”Vi har konstruerat den här enheten så att den kan mäta dessa olika signaler oberoende av varandra, utan att de stör varandra, vilket ger en mycket tydligare och mer exakt bild av vad som händer under ytan”, säger Libo Gao, medförfattare till artikeln och docent vid Xiamen University.
Därefter tränade teamet en modell för artificiell intelligens (AI) att läsa och förstå tecken på utförda och verkliga mänskliga känslor. Forskarna rekryterade åtta personer, en vanlig urvalsstorlek för pilotstudier, för att utföra sex vanliga ansiktsuttryck: lycka, förvåning, rädsla, sorg, ilska och avsky.
Deltagarna visade varje känslouttryck 100 gånger medan enheten spårade deras rörelser. Forskarna matade sedan dessa data till en AI-modell och tränade den för att korrelera specifika ansiktsrörelser med olika känslor. De rekryterade sedan ytterligare tre deltagare för att ytterligare utvärdera modellens förmågor. Den klassificerade utförda ansiktsuttryck med 96,28% noggrannhet.
När det gällde att spåra verkliga känslor testade forskarna hur väl enheten spårade de psykologiska reaktionerna hos samma deltagare när de tittade på videoklipp som var utformade för att framkalla känslor. Enheten identifierade känslorna korrekt med 88,83% noggrannhet, och sensorerna bekräftade att de psykologiska reaktionerna överensstämde med kända kopplingar mellan känslor och psykologiska reaktioner, t.ex. ökad hudtemperatur och hjärtfrekvens vid förvåning och ilska.
Cheng noterade att möjligheten att trådlöst överföra data innebär att vårdpersonal potentiellt skulle kunna övervaka individer på distans och ge känslomässigt stöd i rätt tid genom telemedicin.
”Den här sensorn kan fylla en viktig funktion när det gäller att överbrygga klyftor i tillgången till vård”, säger han. ”Med tanke på de ökande stressnivåerna i det moderna samhället kan möjligheten att övervaka känslor ge tidiga indikatorer på försvagande tillstånd och möjliggöra proaktivt stöd.”
Han förklarade att enheten också öppnar dörren för andra system för artificiell intelligens (AI) -driven sjukdomsdiagnostik och terapi utöver bara känsloigenkänning. Han noterade att det kan finnas potentiella tillämpningar för kliniker för att bättre förstå det mentala och känslomässiga tillståndet hos icke-verbala patienter, bättre identifiera beteendemässiga och psykologiska symptom på demens och känna igen överdosering av opioider.
En dag skulle tekniken till och med kunna användas för övervakning av kroniska sår och sjukdomshantering, tillade han, samt för att spåra utvecklingen av neurodegenerativa sjukdomar och idrottsprestationer.
”Även om den här enheten fortfarande befinner sig i forsknings- och utvecklingsfasen är den ett betydande steg framåt när det gäller vår förmåga att övervaka och förstå mänskliga känslor, vilket kan bana väg för mer proaktiva och individanpassade metoder inom mentalvården ”, säger Cheng.
För mer information: Yangbo Yuan et al, Stretchable, Rechargeable, Multimodal Hybrid Electronics for Decoupled Sensing towards Emotion Detection, Nano Letters (2025). DOI: 10.1021/acs.nanolett.4c06392