Enligt en ny studie från en doktorand vid Cornell Tech, som tränade tekniken på sig själv, riskerar extremt anpassad artificiell intelligens för kommunikationsstöd att dämpa delar av användarens identitet och ibland kränka integriteten.
Doktoranden Tobias Weinberg, som använder kompletterande och alternativ kommunikation (AAC), fick idén till forskningen när han insåg att han kunde träna en modell på sina egna taldata. ”Eftersom jag ändå skriver det kan jag lika gärna se vad jag kan göra med det”, sa han.
I stället för att förlita sig på hypotetiska användare eller laboratoriesimulationer, eller be andra att ta på sig risker för integritet och identitet, använde Weinberg sitt eget tal för att ställa frågor som: ”Vad innebär det att träna en maskin att vara du?”
Den frågan blev grunden för ”I, Robot?”, presenterad i april vid 2026 års CHI-konferens om mänskliga faktorer i datorsystem (CHI 2026), som utforskar möjligheterna och riskerna med ultrapersonlig AI inom AAC. Arbetet har sitt ursprung i Cornell Techs Matter of Tech Lab och är författat av Weinberg tillsammans med Thijs Roumen, biträdande professor vid Cornell Tech; Ricardo Gonzalez Penuela, doktorand i informationsvetenskap vid Cornell Tech; och Stephanie Valencia, biträdande professor vid University of Maryland.
Under sju månader loggade Weinberg sin verkliga AAC-kommunikation och tränade en språkmodell på data. Under tre månader levde han med det resulterande personaliserade systemet i dagliga konversationer. En av Weinbergs mest slående upptäckter var att själva handlingen att logga tal förändrade hans beteende innan någon AI kom in i bilden.
”Jag hade inte förväntat mig obehaget”, sa Weinberg. ”Bara vetskapen om att jag loggade förändrade hur jag talade. Jag talade inte längre bara i stunden. Jag sammanställde en framtida dataset, och det förändrade min känsla av frihet i konversationen.”
”Det finns en intressant spänning mellan hur Tobi ville att hans tal skulle spelas in och uppfattas av andra, och hur han kommunicerar”, sa Roumen, Weinbergs handledare, som också är knuten till Cornell Bowers College of Computing and Information Science. ”Detta spelade en roll i inspelningen, vilket ledde till självcensur, och i att leva med modellen där kontextkänslighet spelade en avgörande roll.”
Det första som försvann, sa Weinberg, var informella, känslomässigt laddade uttryck – mörka skämt, skvaller, avreagering – som filtrerades bort för att förhindra att olämplig text skulle dyka upp igen i professionella sammanhang. Som ett resultat lärde sig AI:n vad han beskrev som en ”rensad” version av sig själv.
”Det väckte en fråga som jag fortfarande inte har ett tydligt svar på”, sa han. ”Kan man bygga en verkligt personlig AAC utan att samtidigt bygga ett övervakningssystem för sitt eget tal?”
Uttalanden som fungerar i en miljö kan vara olämpliga i en annan, men när taldata väl har samlats in och aggregerats förlorar de ofta de sociala signaler som gav dem mening. Roumen sa att detta är en grundläggande designutmaning för dessa AI-system.
”Våra resultat tyder på att ultrapersonlig AAC kräver en hög grad av kontextuell detaljrikedom”, sa Roumen. ”Vem du pratar med, vad syftet med konversationen är och i vilken miljö, allt detta bidrar till vilken typ av förslag som kan vara meningsfulla eller inte.”
Även om den personanpassade modellen fungerade bra i strukturerade sammanhang – och hjälpte till att utveckla idéer smidigt och effektivt – fann Weinberg att den hade svårt i snabba sociala situationer, och ibland styrde konversationerna i riktningar han inte avsåg.
” På barer, vid snabba ämnesbyten eller i blandade samtal som hoppar mellan arbete och privatliv, drev modellen ofta på mot bekanta mönster istället för det jag faktiskt ville säga just då”, sa han.
Konsekvenserna, sa forskarna, sträcker sig bortom AAC.
”Allt vi fann – självcensuren, integritetskränkningarna, omformningen av identiteten – hände med ett system jag byggt för mig själv, som jag hade full kontroll över och kunde stänga av när som helst. De flesta användare kommer inte att ha det”, sa Weinberg.
”Just nu går vi mycket snabbt mot att implementera dessa system i stor skala utan att ha fått klart för oss grunderna: hur man fångar upp kontextuell information utan att kränka integriteten; hur systemet vet när, vad och inför vem det ska lägga fram ett förslag; och hur man ser till att användarna behåller kontrollen över den teknik som förmedlar deras tal.”
Roumen sa att medan tekniken i sig utvecklas snabbt, har det sociala och etiska grundarbetet inte hunnit ikapp.
”Vårt arbete belyser både potentialen och riskerna med personaliserad AI”, sa han. ”Innan dessa system implementeras i stor skala måste vi tänka mycket mer på när inspelningen ska avbrytas, hur sammanhanget bevaras och hur användarna behåller kontrollen över vad som blir deras röst.”
Mer information
Tobias M Weinberg et al, I, Robot? Exploring Ultra-Personalized AI-Powered AAC; an Autoethnographic Account, Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (2026). DOI: 10.1145/3772318.3790310
