År 2026 är entusiasmen kring AI-agenter större än någonsin tidigare. Dessa halvautonoma program kan ”tänka” och utföra väl definierade uppgifter inom områden som kundservice och mjukvaruutveckling, oftast med hjälp av språkmodeller (LM).
Men inom områden som medicinsk diagnostik och vetenskapliga upptäckter måste de utforska ett brett spektrum av lösningar i osäkra miljöer, vilket är något som språkmodellerna har svårt för.
Forskare vid MIT:s Computer Science and Artificial Intelligence Laboratory (CSAIL) och Harvard University:s School of Engineering and Applied Sciences (SEAS) granskade språkmodellerna närmare för att förstå deras huvudsakliga problem i situationer med höga insatser. Deras test: Battleship, ett klassiskt gissningsspel som har hjälpt kognitionsforskare att studera hur människor söker information.
Forskarna vid CSAIL och SEAS lade till en ny twist genom att omforma spelet så att det handlade om att ställa och besvara frågor på naturligt språk. I deras spel ”Collaborative Battleship” är en deltagare en ”kapten” som frågar var de dolda fartygen finns, medan deras lagkamrat spelar ”spottaren” genom att svara på dessa frågor i realtid.
Forskarna lät först över 40 människor spela spelet tillsammans och samlade in deras frågor och ja-nej-svar för att bygga upp datasetet BattleshipQA. Dessa resultat var en användbar jämförelsepunkt när teamet testade toppmoderna språkmodeller (som GPT-5) och mindre modeller (som Llama 4 Scout) på sitt spel. Utan att träna modellerna i förväg fann de att de bästa språkmodellerna kan ”slå” människor i ”Battleship” – det vill säga slutföra spelet på färre drag – men mindre system är betydligt mindre rationella.
Det största problemet var att många modeller helt enkelt inte är skickliga på att komma på användbara frågor. För att få språkmodellerna att ställa frågor som avslöjar mer information om dolda fartyg gav forskarna varje modell en Monte Carlo-inferensstrategi, som noggrant mäter sannolikheten för att olika alternativ är korrekta vid varje svar. Resultatet: AI-modeller som kan slå vanliga spelare i Battleship, oavsett skala.
De kanske mest slående resultaten var Llama 4 Scouts framsteg. Som en relativt liten LM slog den bara människor 8 % av gångerna. Men med förfiningar av sin inferensstrategi nådde modellen en vinstprocent på 82 % mot människor i ”Sjöstrid”. Denna noggranna och effektiva stil att ställa frågor gjorde det också möjligt för modellen att överträffa en gränsmodell (GPT-5), samtidigt som den kördes till cirka 1 % av dess kostnad.
Utöver denna förbättring minskade forskarna klyftan mellan människor och språkmodeller när det gäller att svara på frågor. Medan GPT-5 var en pålitlig upptäckare som hjälpte modellerna att avsluta spel snabbare, hade mindre system en dålig vana att ge felaktiga svar om var fartyg var gömda.
Modellerna upplevde en ökning av noggrannheten med i genomsnitt 15 % när de började omvandla frågor till kod som uttryckligen talar om för dem hur de ska verifiera sina svar (till exempel att låta modellen göra en snabb sökning i ett område när den tillfrågas om ett skepp finns där).
”Dagens språkmodeller är främst optimerade för att besvara komplexa frågor, men det är mindre tydligt om de lär sig att ställa bra frågor på egen hand”, säger Gabriel Grand SM, doktorand vid MIT och forskare vid CSAIL, som är huvudförfattare till en artikel om arbetet. De presenterade sin artikel muntligt vid International Conference on Learning Representations (ICLR) i april.
”Vårt arbete visar att förmågan att ställa informativa frågor beror på förmågan att förutsäga och simulera världen. Vi har funnit att när vi ger agenterna tillgång till en ’världsmodell’ ställer de bättre frågor och gör upptäckter mer effektivt.”
En omvälvande förändring för språkmodellerna
Teamets första fokus var att få språkmodellerna att ställa bättre frågor. Genom att implementera Monte Carlo-inferensstrategier resonerar språkmodellerna kring potentiella gissningar som enskilda partiklar.
De som verkar mer giltiga med varje svar från observatören skulle vägas tyngre, ungefär som matchbollar som blåses upp eller töms varje omgång. Med detta mer beräknade, adaptiva tillvägagångssätt kunde kaptenen ställa frågor som extraherade betydligt mer information från observatören.
Forskarna vände sig sedan till det allmänt använda programmeringsspråket Python för att hjälpa AI-observatörerna. Varje fråga som kaptenen ställde omvandlades automatiskt till ett kodat kommando. Till exempel förvandlas en fråga som ”Finns det ett skepp i kolumn ett som sträcker sig över två rader?” omvandlas till instruktioner för observatören LM att söka igenom området i fråga och bedöma hur brett det digitala spelpjäset är.
Genom att ge modellen tydliga anvisningar på ett språk den förstår särskilt väl gav varje system korrekta svar betydligt oftare. Det lätta systemet GPT-4o-mini upplevde till exempel en prestandaförbättring på nästan 30 %, och till och med den stora modellen Claude 4 Opus ökade med cirka åtta poäng.
”Fältet har sett stora framgångar med ’autoformaliseringsstrategier’, där stora språkmodeller genererar kod för att verifiera sina lösningar”, säger seniorförfattaren Jacob Andreas, docent i elektroteknik och datavetenskap vid MIT och huvudforskare vid CSAIL.
”Det jag tycker är mest spännande med detta arbete är att det öppnar upp möjligheten att använda dessa tekniker för att generera bättre lösningar från början, genom att förbättra de stora språkmodellernas förmåga att utforska och samla in information. Vi ser fram emot att skala upp detta arbete från vetenskapliga områden till tillämpningar som kodning och matematisk problemlösning.”
Låt oss spela något annat
Men hur skulle denna metod fungera i andra brädspel? Teamet testade sina nyutrustade stora språkmodeller i ”Guess Who?”, där både stora och små modeller skickligt gallrade bort 100 alternativ för att korrekt gissa vilken dold karaktär som hade valts. Llama 4 Scout lyckades 30 % av gångerna, men efter Grand och hans kollegers justeringar klarade den uppgiften i över 72 % av sina försök. Samtidigt ökade GPT-4o från 62 % till 90 %. GPT-5 fungerade som observatör i varje spel för att säkerställa att frågorna besvarades så korrekt som möjligt.
Även om stora språkmodellerna har gjort lovande framsteg i båda spelen finns det utrymme för förbättringar. Modellerna har till exempel fortfarande svårt att svara på komplexa frågor jämfört med människor. OpenAI-forskaren, nyutexaminerad från Harvard och medförfattaren Valerio Pepe tillägger att ”GPT-5 kan slå en genomsnittlig ’Battleship’-spelare och blir en aning bättre med våra metoder. Det är dock fortfarande svårt för alla modeller att slå expert spelare, till skillnad från schack, där inte ens toppspelare lyckas mot AI-system.”
Forskarnas resultat visar att AI-agenter har outnyttjad potential när det gäller att hitta ”nålen i höstacken” – att navigera i ett enormt utrymme av alternativ för att hitta en sällsynt lösning på vetenskapliga utmaningar.
Även om förbättrade färdigheter i informationssökning skulle göra dem till utmärkta forskningsassistenter när det gäller att till exempel identifiera en förenings molekylstruktur, varnar forskarna för att Collaborative Battleship är en något enkel testbädd. De skulle vilja testa språkmodellerna i mer komplexa miljöer, där systemen måste ta hänsyn till betydligt fler alternativ.
Grand planerar också att låta människor och AI-modeller samarbeta för att undersöka om de fungerar bättre tillsammans. Modellerna skulle också kunna dra nytta av en viss finjustering av spelsimuleringarna, och med mer datorkraft skulle språkmodellerna få mer avancerade inferensförmågor för att förutsäga hur ett spel kommer att utvecklas.
”När AI-system blir mer handlingskraftiga visar det sig att de svåraste problemen är de sociala: att hitta gemensamma nämnare, lösa missförstånd och anpassa sig till olika partners över tid”, säger Robert Hawkins, biträdande professor i lingvistik vid Stanford University, som inte var delaktig i artikeln.
”Detta arbete fångar elegant dessa fenomen i en kontrollerad samarbetsmiljö och visar på ett övertygande sätt att den verkliga flaskhalsen för AI-agenter inte bara är beräkningen av optimala frågor, utan det pragmatiska resonemang som krävs för att få ut det mesta av deras svar.”
Mer information
Skjut först, ställ frågor senare? Att bygga rationella agenter som utforskar och agerar som människor. openreview.net/forum?id=EQhUvWH78U
Denna artikel återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som rapporterar om nyheter kring forskning, innovation och undervisning vid MIT.
