Användningen av artificiell intelligens (AI) inom offentlig förvaltning ökar över hela världen – även när det gäller tilldelning av sociala tjänster som arbetslöshetsersättning, bostadsbidrag och socialbidrag. Ett internationellt forskarteam från Max Planck-institutet för mänsklig utveckling och Toulouse School of Economics har dock visat att de som är beroende av sådana bidrag är mest skeptiska till automatiserade beslut. För att vinna förtroende och acceptans för AI-stödda system måste de berördas perspektiv beaktas.
För några år sedan testade staden Amsterdam ett AI-program kallat Smart Check, som var utformat för att identifiera potentiella fall av bidragsbedrägeri. Istället för att granska ansökningar slumpmässigt, gick systemet igenom ett stort antal datapunkter från kommunala register – såsom adresser, familjesammansättning, inkomst, tillgångar och tidigare bidragsansökningar – för att tilldela en ”riskpoäng”.
Ansökningar som ansågs vara ”högrisk” märktes som forskningsvärda och vidarebefordrades till administrativ personal för ytterligare granskning. I praktiken flaggade denna process dock oproportionerligt många utsatta grupper, däribland invandrare, kvinnor och föräldrar, ofta utan att ge sökandena en tydlig anledning eller en effektiv väg att bestrida misstanken.
Ökande kritik från intresseorganisationer, jurister och forskare ledde till att staden avbröt programmet tidigare i år, och en nyligen genomförd utvärdering bekräftade systemets betydande brister.
Detta fall belyser ett centralt dilemma i användningen av AI inom socialförvaltningen: även om sådana system lovar ökad effektivitet och snabbare beslut, riskerar de också att förstärka fördomar, urholka förtroendet och oproportionerligt belasta utsatta grupper. Mot denna bakgrund har forskare börjat undersöka hur de direkt berörda uppfattar AI:s ökande roll i fördelningen av sociala förmåner.
I en studie publicerad i Nature Communications genomförde forskare vid Max Planck Institute for Human Development och Toulouse School of Economics tre storskaliga undersökningar med mer än 3 200 deltagare i USA och Storbritannien för att ta reda på hur människor känner inför användningen av AI i fördelningen av sociala förmåner.
Undersökningarna fokuserade på ett realistiskt dilemma: Skulle människor vara villiga att acceptera snabbare beslut fattade av en maskin, även om detta innebar en ökning av andelen oberättigade avslag? Den viktigaste slutsatsen var att medan många medborgare är villiga att acceptera mindre förluster i noggrannhet till förmån för kortare väntetider, har mottagare av sociala förmåner betydligt större reservationer mot AI-stödda beslut.
”Det finns en farlig antagande i politiken att den genomsnittliga opinionen representerar verkligheten för alla intressenter”, förklarar huvudförfattaren Mengchen Dong, forskare vid Center for Humans and Machines vid Max Planck Institute for Human Development, som arbetar med etiska frågor kring användningen av AI.
Studien visar faktiskt på en tydlig klyfta: mottagare av sociala förmåner avvisar AI-stödda beslut betydligt oftare än icke-mottagare – även om systemen lovar snabbare handläggning.
Ett annat problem är att icke-mottagare systematiskt överskattar hur villiga de drabbade skulle vara att lita på AI. Detta gäller även när de får ekonomisk ersättning för att realistiskt bedöma den andra gruppens perspektiv. Utsatta grupper förstår därför majoritetens synpunkt bättre än sin egen.
Metodik: Simulerade beslutsdilemman och perspektivskiften
Forskarna presenterade deltagarna för realistiska beslutsfattningsscenarier: De kunde välja mellan behandling av mänskliga administratörer med längre väntetid (t.ex. åtta veckor) eller ett snabbare beslut av AI – i kombination med en 5–30 % högre risk för felaktiga avslag.
Deltagarna ombads att bestämma vilket alternativ de föredrog – antingen utifrån sitt eget perspektiv eller som en del av en målinriktad perspektivförändring där de ombads att sätta sig in i den andra gruppens situation (förmånstagare eller icke-förmånstagare).
Medan det amerikanska urvalet var representativt för befolkningen (cirka 20 % av respondenterna erhöll för närvarande socialbidrag), syftade den brittiska studien specifikt till ett 50/50-förhållande mellan mottagare av Universal Credit – ett socialbidrag för låginkomsthushåll – och icke-mottagare. Detta gjorde det möjligt att systematiskt registrera skillnader mellan grupperna. Demografiska faktorer som ålder, kön, utbildning, inkomst och politisk inriktning beaktades också.
Vilka är fördelarna med ett perspektivskifte? Och hjälper rätten att invända?
Den brittiska delstudien testade också om ekonomiska incitament kunde förbättra förmågan att anta ett realistiskt perspektiv. Deltagarna fick bonusbetalningar om deras bedömning av den andra gruppen låg nära deras faktiska åsikt. Trots incitamenten kvarstod systematiska felbedömningar, särskilt bland dem som inte fick förmåner.
Ett annat försök att stärka förtroendet för AI hade också endast begränsad framgång: Vissa deltagare informerades om att systemet erbjöd en hypotetisk möjlighet att överklaga AI-beslut till mänskliga administratörer. Även om denna information ökade förtroendet något, förändrade den inte den grundläggande bedömningen av AI-användningen.
Konsekvenser för förtroendet för regering och administration
Enligt studien är acceptansen av AI i socialförsäkringssystemet nära kopplad till förtroendet för statliga institutioner. Ju mer människor ogillar AI i välfärdsbeslut, desto mindre litar de på de regeringar som använder det. Detta gäller både mottagare och icke-mottagare.
I Storbritannien, där studien undersökte den planerade användningen av AI vid tilldelningen av Universal Credit, sa många deltagare att även om AI:s prestanda i fråga om hastighet och noggrannhet var densamma, skulle de föredra mänskliga handläggare framför AI. Omnämnandet av en möjlig överklagandeprocess förändrade inte detta i någon större utsträckning.
Uppmaning till deltagande utveckling av AI-system
Forskarna varnar för att utveckla AI-system för fördelning av sociala förmåner enbart enligt majoritetens vilja eller på grundval av aggregerade data. ” Om utsatta gruppers perspektiv inte aktivt beaktas finns det en risk för felaktiga beslut med reella konsekvenser – såsom oberättigade indragningar av förmåner eller falska anklagelser”, säger medförfattaren Jean-François Bonnefon, chef för avdelningen för social- och beteendevetenskap vid Toulouse School of Economics.
Författarteamet efterlyser därför en omorientering av utvecklingen av offentliga AI-system: bort från rent tekniska effektivitetsmått och mot deltagande processer som uttryckligen inkluderar utsatta gruppers perspektiv. Annars finns det en risk för oönskade utvecklingar som på lång sikt kommer att undergräva förtroendet för administration och teknik.
Med utgångspunkt i detta arbete i USA och Storbritannien kommer ett pågående samarbete att utnyttja Danmarks statistiska instituts infrastruktur för att engagera utsatta befolkningsgrupper i Danmark och ta reda på deras unika perspektiv på bredare offentliga administrativa beslut.
Mer information: Mengchen Dong et al, Heterogeneous preferences and asymmetric insights for AI use among welfare claimants and non-claimants, Nature Communications (2025). DOI: 10.1038/s41467-025-62440-3
