I en ny artikel i Quarterly Journal of Economics konstateras att om vissa funktioner inom rättsväsendets beslutsfattande ersätts med algoritmer kan det förbättra utfallet för de tilltalade genom att eliminera vissa av domarnas systematiska fördomar.
Beslutsfattare gör följdriktiga val baserat på förutsägelser om okända resultat. Domare, i synnerhet, fattar beslut om huruvida de ska bevilja borgen för tilltalade eller hur de ska döma de dömda. Företag använder nu i allt högre grad modeller baserade på maskininlärning i beslut med höga insatser.
Det finns olika antaganden om mänskligt beteende som ligger till grund för användningen av sådana inlärningsmodeller som spelar ut i produktrekommendationer på Amazon, skräppostfiltrering av e-post och förutsägbara texter på ens telefon.
Forskarna här har utvecklat ett statistiskt test av ett sådant beteendeantagande, om beslutsfattare gör systematiska prediktionsmisstag, och vidareutvecklat metoder för att uppskatta hur deras prediktioner är systematiskt partiska.
Forskningen analyserar New York Citys förundersökningssystem och visar att en betydande del av domarna gör systematiska felbedömningar av risken för förseelser under förundersökningen med hänsyn till den tilltalades egenskaper, inklusive ras, ålder och tidigare beteende.
I den här studien användes information från domare i New York City, som i princip slumpmässigt tilldelas mål som definieras i den tilldelade rättssalen efter skift. I studien testades om domarnas frigivningsbeslut återspeglar korrekta uppfattningar om risken för att en tilltalad inte dyker upp till rättegången (bland annat). Studien baserades på information om 1.460.462 mål i New York City, varav 758.027 mål var föremål för ett beslut om frigivning före rättegång.
I artikeln härleds ett statistiskt test för att avgöra om en beslutsfattare gör systematiska fel i sina förutsägelser och det ges metoder för att uppskatta på vilket sätt beslutsfattarens förutsägelser är systematiskt partiska. Genom att analysera de beslut om frigivning före rättegång som fattas av domare i New York City, uppskattar artikeln att minst 20% av domarna gör systematiska felbedömningar av risken för att den tilltalade ska begå brott, givet den tilltalades egenskaper. Med utgångspunkt i denna analys har forskaren här uppskattat effekterna av att ersätta domare med algoritmiska beslutsregler.
I rapporten konstateras att beslut som fattas av minst 32% av domarna i New York City inte stämmer överens med de tilltalades faktiska förmåga att betala en viss borgen och den verkliga risken för att de inte inställer sig till rättegången.
Forskningen här visar att när hänsyn tas till både den tilltalades ras och ålder gör mediandomaren systematiska felbedömningar av cirka 30% av de tilltalade som de tilldelas. När både den tilltalades ras och huruvida den tilltalade anklagades för ett brott beaktas, gör mediandomaren systematiska förutsägelsefel på cirka 24% av de tilltalade som tilldelats dem.
Även om det i rapporten konstateras att effekterna av att ersätta domare med en algoritmisk beslutsregel är tvetydiga och beror på beslutsfattarens mål (är det önskvärda resultatet att fler tilltalade dyker upp till rättegången eller att färre tilltalade sitter i fängelse i väntan på rättegång?) verkar det som att om domare ersätts med en algoritmisk beslutsregel skulle det leda till upp till 20 procents förbättring av rättegångsutfallet, mätt utifrån andelen som inte dyker upp bland frisläppta tilltalade och andelen som sitter i häkte i väntan på rättegång.
”Effekterna av att ersätta mänskliga beslutsfattare med algoritmer beror på avvägningen mellan om människan gör systematiska felbedömningar baserat på observerbar information som är tillgänglig för algoritmen eller om människan observerar någon användbar privat information”, säger Ashesh Rambachan, huvudförfattare till rapporten.
”Det ekonometriska ramverket i detta dokument gör det möjligt för empiriska forskare att ge direkta bevis på dessa konkurrerande krafter.”
Ytterligare information: Ashesh Rambachan, Identifying Prediction Mistakes in Observational Data, Quarterly Journal of Economics (2024). DOI: 10.1093/qje/qjae013. academic.oup.com/qje/article-l … /10.1093/qje/qjae013
