I takt med att vi mognar från barndomen växer vårt ordförråd – liksom hur vi använder det – och våra erfarenheter blir rikare, vilket gör att vi kan tänka, resonera och interagera med andra med specificitet och avsikt. Följaktligen utvecklas våra ordval så att de överensstämmer med våra personliga värderingar, vår etik, våra kulturella normer och våra åsikter.
Med tiden utvecklar de flesta av oss en intern ”guide” som gör det möjligt för oss att förstå sammanhanget bakom en konversation; den leder oss också ofta bort från att dela information och känslor som är, eller kan vara, skadliga eller olämpliga. Det visar sig att stora språkmodeller (LLM) – som tränas på omfattande, offentliga datamängder och därför ofta har fördomar och giftigt språk inbakat – kan få en liknande förmåga att moderera sitt eget språk.
En ny metod från MIT, MIT-IBM Watson AI Lab och IBM Research, kallad självdisciplinerad autoregressiv provtagning (SASA), gör det möjligt för LLM att avgifta sina egna utdata utan att offra flyt. Arbetet publiceras på arXiv preprint-servern.
Till skillnad från andra avgiftningsmetoder lär sig denna avkodningsalgoritm en gräns mellan toxiska/nontoxiska underutrymmen inom LLM:s egen interna representation, utan att ändra parametrarna i modellen, behovet av omskolning eller en extern belöningsmodell. Under inferensen bedömer algoritmen sedan toxicitetsvärdet för den delvis genererade frasen: tokens (ord) som redan har genererats och accepterats, tillsammans med varje potentiell ny token som rimligen kan väljas för att ligga nära klassificeringsgränsen. Därefter väljs ett ordalternativ som placerar frasen i det icke-toxiska utrymmet, vilket i slutändan erbjuder ett snabbt och effektivt sätt att generera mindre toxiskt språk.
”Vi ville ta reda på ett sätt med alla befintliga språkmodeller [att] under genereringsprocessen kan avkodningen vara föremål för vissa mänskliga värden; exemplet här vi tar är toxicitet”, säger studiens huvudförfattare Ching-Yun ’Irene’ Ko Ph.D. ’24, en tidigare praktikant med MIT-IBM Watson AI Lab och en nuvarande forskare vid IBMs Thomas J. Watson Research Center i New York.
Ko’s medförfattare inkluderar Luca Daniel, professor vid MIT Department of Electrical Engineering and Computer Science (EECS), medlem av MIT-IBM Watson AI Lab och Ko’s doktorandrådgivare; och flera medlemmar av MIT-IBM Watson AI Lab och / eller IBM Research-Pin-Yu Chen, Payel Das, Youssef Mroueh, Soham Dan, Georgios Kollias, Subhajit Chaudhury och Tejaswini Pedapati. Arbetet kommer att presenteras vid International Conference on Learning Representations (ICLR 2025) i Singapore.
Att hitta ”skyddsräckena
Utbildningsresurserna bakom LLM inkluderar nästan alltid innehåll som samlats in från offentliga platser som internet och andra lättillgängliga dataset. Därmed är svordomar och mobbande/olustigt språk en del av innehållet, även om en del av det förekommer i samband med litterära verk. Av detta följer att LLM:er medfött kan producera – eller luras att generera – farligt och/eller partiskt innehåll, som ofta innehåller obehagliga ord eller hatiskt språk, även från oskyldiga uppmaningar.
Dessutom har det visat sig att de kan lära sig och förstärka språk som inte är önskvärt eller till och med skadligt för många applikationer och nedströmsuppgifter – vilket leder till behov av strategier för att mildra eller korrigera.
Det finns många sätt att uppnå en robust språkgenerering som är rättvis och värdeinriktad. Vissa metoder använder LLM-omskolning med en sanerad dataset, vilket är kostsamt, tar tid och kan ändra LLM:s prestanda; andra använder avkodning av externa belöningsmodeller, som sampling eller strålsökning, som tar längre tid att köra och kräver mer minne.
När det gäller SASA utvecklade Ko, Daniel och IBM:s forskargrupp en metod som utnyttjar LLM:s autoregressiva natur och som med hjälp av en avkodningsbaserad strategi under LLM:s inferens gradvis styr generationen – en token i taget – bort från osmakliga eller oönskade resultat och mot ett bättre språk.
Forskargruppen uppnådde detta genom att bygga en linjär klassificerare som arbetar på den inlärda underrymden från LLM:s inbäddning. När LLM:er tränas placeras ord med liknande betydelser nära varandra i vektorrymden och längre bort från olikartade ord; forskarna antog att en LLM:s inbäddning därför också skulle fånga kontextuell information, som skulle kunna användas för avgiftning.
Forskarna använde dataset som innehöll uppsättningar av en uppmaning (första halvan av en mening eller tanke), ett svar (slutförandet av den meningen) och mänskligt tillskrivna kommentarer, som giftigt eller ogiftigt, föredraget eller inte föredraget, med kontinuerliga etiketter från 0-1, vilket betecknar ökande toxicitet. En Bayes-optimal klassificerare användes sedan för att lära sig och bildligt talat dra en linje mellan de binära underutrymmena i meningsinbäddningarna, som representeras av positiva värden (icke-toxiskt utrymme) och negativa tal (toxiskt utrymme).
SASA-systemet fungerar sedan genom att omvikta urvalssannolikheterna för den nyaste potentiella token baserat på dess värde och den genererade frasens avstånd till klassificeraren, med målet att hålla sig nära den ursprungliga urvalsfördelningen.
Om en användare genererar en potentiell token #12 i en mening, kommer LLM att söka igenom hela sitt ordförråd efter ett rimligt ord, baserat på de 11 ord som kom före det, och med hjälp av top-k, top-p, kommer den att filtrera och producera ungefär 10 tokens att välja mellan. SASA utvärderar sedan var och en av dessa tokens i den delvis slutförda meningen för dess närhet till klassificeraren (dvs. värdet av tokens 1-11, plus varje potentiell token 12). Tokens som producerar meningar i det positiva utrymmet uppmuntras, medan de i det negativa utrymmet bestraffas. Ju längre bort från klassificeraren, desto starkare blir dessutom effekten.
”Målet är att ändra den autoregressiva samplingsprocessen genom att omvikta sannolikheten för bra tokens. Om nästa symbol sannolikt kommer att vara giftig med tanke på sammanhanget, kommer vi att minska sannolikheten för de symboler som är benägna att vara giftiga”, säger Ko. Forskarna valde att göra det på det här sättet ”eftersom det vi säger, oavsett om det är godartat eller inte, är beroende av sammanhanget.”
Att dämpa toxicitet för värdematchning
Forskarna utvärderade sin metod mot flera baslinjeinterventioner med tre LLM:er av ökande storlek; alla var transformatorer och autoregressivt baserade: GPT2-Large, Llama2-7b och Llama 3.1-8b-Instruct, med 762 miljoner, 7 miljarder respektive 8 miljarder parametrar. För varje uppmaning fick LLM i uppgift att slutföra meningen/frasen 25 gånger, och PerspectiveAPI poängsatte dem från 0 till 1, där allt över 0,5 var giftigt.
Teamet tittade på två mätvärden: den genomsnittliga maximala toxicitetspoängen över 25 generationer för alla uppmaningar och toxicitetsgraden, som var sannolikheten för att producera minst en toxisk fras över 25 generationer. Minskat flyt, och därmed ökad perplexitet, analyserades också. SASA testades för att slutföra datauppsättningarna RealToxicityPrompts (RPT), BOLD och AttaQ, som innehöll naturligt förekommande, engelska meningsuppmaningar.
Forskarna ökade komplexiteten i sina försök med avgiftning av SASA, och började med icke-toxiska uppmaningar från RPT-datasetet och letade efter skadliga meningsfullständigheter. Därefter eskalerade de till mer utmanande uppmaningar från RPT som var mer benägna att ge oroande resultat, och tillämpade även SASA på den instruktionsanpassade modellen för att bedöma om deras teknik ytterligare kunde minska oönskade resultat.
De använde också BOLD- och AttaQ-riktmärkena för att undersöka den allmänna tillämpligheten av SASA vid avgiftning. Med BOLD-datasetet letade forskarna vidare efter könsförskjutningar i språkgenerationer och försökte uppnå en balanserad toxisk hastighet mellan könen. Slutligen tittade teamet på körtid, minnesanvändning och hur SASA kunde kombineras med ordfiltrering för att uppnå en hälsosam och/eller hjälpsam språkgenerering.
”Om vi tänker på hur människor tänker och reagerar i världen så ser vi ju dåliga saker, så det handlar inte om att låta språkmodellen bara se de goda sakerna. Det handlar om att förstå hela spektrumet – både det goda och det onda”, säger Ko, ”och att välja att upprätthålla våra värderingar när vi talar och agerar.”
Sammantaget uppnådde SASA betydande minskningar av genereringen av giftigt språk och presterade i nivå med RAD, en toppmodern teknik för externa belöningsmodeller. Det var dock en allmän iakttagelse att en starkare avgiftning gick hand i hand med en minskning av flytet. Före interventionen producerade LLM:erna mer giftiga svar för kvinnligt märkta uppmaningar än manliga, men SASA kunde också avsevärt minska de skadliga svaren och göra dem mer utjämnade. På samma sätt sänkte ordfiltrering ovanpå SASA markant toxicitetsnivåerna, men det hindrade också LLM:s förmåga att svara sammanhängande.
En bra aspekt av detta arbete är att det är ett väldefinierat, begränsat optimeringsproblem, säger Ko, vilket innebär att balansen mellan generering av öppet språk som låter naturligt och behovet av att minska oönskat språk kan uppnås och finjusteras.
Vidare säger Ko att SASA skulle kunna fungera bra för flera olika attribut i framtiden: ”När det gäller människor har vi flera olika mänskliga värden. Vi vill inte säga giftiga saker, men vi vill också vara sanningsenliga, hjälpsamma och lojala … Om man skulle finjustera en modell för alla dessa värden skulle det kräva mer beräkningsresurser och, naturligtvis, ytterligare utbildning.”
Eftersom SASA är ett lättviktigt system kan det lätt användas under dessa omständigheter: ”Om man vill arbeta med flera värden kontrollerar man helt enkelt generationens position i flera delområden. Det ger bara marginella extrakostnader i form av beräkningar och parametrar”, säger Ko, vilket leder till ett mer positivt, rättvist och principiellt inriktat språk.
För mer information: Ching-Yun Ko et al, Large Language Models can be Strong Self-Detoxifiers, arXiv (2024). DOI: 10.48550/arxiv.2410.03818
Denna artikel återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT:s forskning, innovation och undervisning.