Artificiell intelligens som bygger på berg av potentiellt partisk information har skapat en verklig risk för att diskriminering automatiseras, men finns det något sätt att omskola maskinerna?
För vissa är frågan ytterst angelägen. I denna ChatGPT-era kommer AI att generera allt fler beslut för vårdgivare, banklångivare eller advokater, med vad som helst som skrapats fram från internet som källmaterial.
AI:s underliggande intelligens är därför bara lika bra som den värld den kommer ifrån, som sannolikt kommer att vara fylld av intelligens, visdom och användbarhet, men också av hat, fördomar och raljerande.
”Det är farligt eftersom människor tar till sig och använder AI-programvara och verkligen är beroende av den”, säger Joshua Weaver, chef för Texas Opportunity & Justice Incubator, en juridisk konsultbyrå.
”Vi kan hamna i en återkopplingsslinga där fördomar i oss själva och vår kultur påverkar fördomar i AI och blir en slags förstärkande slinga”, säger han.
Att se till att tekniken på ett mer korrekt sätt återspeglar den mänskliga mångfalden är inte bara ett politiskt val.
Andra användningsområden för AI, som ansiktsigenkänning, har lett till att företag hamnat i blåsväder hos myndigheter på grund av diskriminering.
Detta var fallet med Rite-Aid, en amerikansk apotekskedja, där kameror i butiken felaktigt märkte konsumenter, särskilt kvinnor och färgade, som snattare, enligt Federal Trade Commission.
”Fick det om bakfoten”
Generativ AI i ChatGPT-stil, som kan skapa ett sken av mänskligt resonemang på bara några sekunder, öppnar upp för nya möjligheter att göra fel, menar experter.
AI-jättarna är väl medvetna om problemet, eftersom de är rädda för att deras modeller kan utvecklas till dåliga beteenden eller i alltför hög grad återspegla ett västerländskt samhälle när deras användarbas är global.
”Vi har människor som ställer frågor från Indonesien eller USA”, sa Googles VD Sundar Pichai och förklarade varför förfrågningar om bilder på läkare eller advokater kommer att sträva efter att återspegla rasmångfald.
Men dessa överväganden kan nå absurda nivåer och leda till ilskna anklagelser om överdriven politisk korrekthet.
Det var vad som hände när Googles bildgenerator Gemini spottade ut en bild på tyska soldater från andra världskriget som absurt nog innehöll en svart man och en asiatisk kvinna.
”Uppenbarligen var misstaget att vi överapplicerade … där det aldrig borde ha applicerats. Det var en bugg och vi gjorde fel”, sa Pichai.
Men Sasha Luccioni, forskare på Hugging Face, en ledande plattform för AI-modeller, varnade för att ”om man tror att det finns en teknisk lösning på fördomar är man redan inne på fel väg”.
Generativ AI handlar i huvudsak om huruvida resultatet ”motsvarar vad användaren förväntar sig”, och det är till stor del subjektivt, sa hon.
De enorma modeller som ChatGPT bygger på ”kan inte resonera om vad som är partiskt eller inte, så de kan inte göra något åt det”, varnade Jayden Ziegler, produktchef på Alembic Technologies.
Åtminstone för närvarande är det upp till människor att se till att AI genererar det som är lämpligt eller uppfyller deras förväntningar.
”Inbakad” partiskhet
Men med tanke på den frenesi som råder kring AI är det ingen lätt uppgift.
Hugging Face har cirka 600 000 AI- eller maskininlärningsmodeller tillgängliga på sin plattform.
”Varannan vecka kommer en ny modell ut och vi är lite förvirrade för att försöka bara utvärdera och dokumentera fördomar eller oönskade beteenden”, säger Luccioni.
En metod som är under utveckling är något som kallas algoritmisk disgorgement som skulle göra det möjligt för ingenjörer att ta bort innehåll utan att förstöra hela modellen.
Men det finns allvarliga tvivel på att detta verkligen kan fungera.
En annan metod skulle kunna ”uppmuntra” en modell att gå i rätt riktning, ”finjustera” den, ”belöna för rätt och fel”, säger Ram Sriharsha, teknikchef på Pinecone.
Pinecone är en specialist på retrieval augmented generation (eller RAG), en teknik där modellen hämtar information från en fast betrodd källa.
För Weaver på Texas Opportunity & Justice Incubator är dessa ”ädla” försök att åtgärda fördomar ”projektioner av våra förhoppningar och drömmar om hur en bättre version av framtiden kan se ut”.
Men partiskhet ”är också inbyggt i vad det innebär att vara människa och på grund av det är det också inbyggt i AI”, sa han.
