Ibland verkar det som om ett AI-system hjälper till, men i själva verket handlar det om en placeboeffekt – människor presterar bättre helt enkelt för att de förväntar sig att de ska göra det – enligt ny forskning från Aalto-universitetet. Studien visar också hur svårt det är att rubba människors förtroende för AI-systemens kapacitet.
I den här studien fick deltagarna en enkel övning i att känna igen bokstäver. De utförde uppgiften en gång på egen hand och en gång med förmodad hjälp av ett AI-system. Hälften av deltagarna fick höra att systemet var tillförlitligt och skulle förbättra deras prestation, medan den andra hälften fick höra att det var opålitligt och skulle försämra deras prestation.
Resultaten publiceras i Proceedings of the CHI Conference on Human Factors in Computing Systems.
”Faktum är att inget av AI-systemen någonsin har existerat. Deltagarna förleddes att tro att ett AI-system hjälpte dem, men i själva verket var det helt slumpmässigt vad sham-AI:t gjorde”, förklarar Agnes Kloft, doktorand i datavetenskap.
Deltagarna fick para ihop bokstäver som poppade upp på skärmen i olika hastigheter. Överraskande nog utförde båda grupperna övningen mer effektivt – snabbare och mer uppmärksamt – när de trodde att en AI var inblandad.
”Det vi upptäckte var att människor har extremt höga förväntningar på de här systemen, och vi kan inte göra dem till AI-doomers bara genom att berätta för dem att ett program inte fungerar”, säger biträdande professor Robin Welsch.
Efter de inledande experimenten genomförde forskarna en replikeringsstudie online som gav liknande resultat. De införde också en kvalitativ komponent och bad deltagarna att beskriva sina förväntningar på att arbeta med en AI. De flesta hade en positiv syn på AI, och förvånansvärt nog hade även skeptiska personer positiva förväntningar på dess prestanda.
Resultaten utgör ett problem för de metoder som vanligtvis används för att utvärdera nya AI-system. ”Det här är den stora insikten som kommer från vår studie – att det är svårt att utvärdera program som lovar att hjälpa dig på grund av den här placeboeffekten”, säger Welsch.
Även om kraftfulla tekniker som stora språkmodeller utan tvekan effektiviserar vissa uppgifter, kan subtila skillnader mellan versioner förstärkas eller maskeras av placeboeffekten – och detta utnyttjas effektivt genom marknadsföring.
Resultaten utgör också en betydande utmaning för forskningen om interaktion mellan människa och dator, eftersom förväntningarna skulle påverka resultatet om inte placebokontrollstudier användes.
”Dessa resultat tyder på att många studier inom området kan ha varit snedvridna till förmån för AI-system”, avslutar Welsch.
Ytterligare information: Agnes Mercedes Kloft et al, ”AI enhances our performance, I have no doubt this one will do the same”: The Placebo effect is robust to negative descriptions of AI, Proceedings of the CHI Conference on Human Factors in Computing Systems (2024). DOI: 10.1145/3613904.3642633
