Har du någonsin önskat att någon kunde tala om exakt var du lämnade nycklarna, plånboken eller glasögonen? Forskare vid Massachusetts Institute of Technology (MIT) har nu tagit ett steg mot att göra just det möjligt – åtminstone för framtidens robotar.
I en ny studie presenterar forskarna ett avancerat minnessystem som gör det möjligt för robotar att skapa och återkalla detaljerade minnen av sin omgivning över tid. Tekniken kan hjälpa robotar att förstå världen på ett mer mänskligt sätt och svara på frågor som:
”Var lade jag verktyget igår?”
”Vilken hylla stod kartongen på?”
”Var såg du den röda cykeln med punktering?”
Forskarna hoppas att systemet i framtiden ska kunna göra robotassistenter betydligt mer användbara både i hem, fabriker och offentliga miljöer.
Ger robotar ett mänskligt minne
Människor använder ständigt ett slags rumsligt och tidsmässigt minne.
Vi minns inte bara vad vi såg, utan också var och när vi såg det. Det gör att vi kan hitta föremål, återvända till platser och svara på komplexa frågor om vår omgivning.
Dagens robotar är däremot betydligt mer begränsade.
Även om de kan kartlägga miljöer och identifiera objekt saknar de ofta förmågan att skapa långsiktiga minnen som kan användas i naturliga samtal med människor.
MIT-forskarnas mål är att ändra på detta.
– Om robotar ska kunna arbeta sida vid sida med människor måste de förstå världen på samma sätt som vi gör, säger professor Luca Carlone vid MIT.
Minnesystemet heter DAAAM
Forskargruppen har utvecklat ett nytt ramverk med det något ovanliga namnet:
Describe Anything, Anywhere, Anytime, at Any Moment (DAAAM)
Systemet kombinerar två områden inom artificiell intelligens:
- Datorseende
- Robotkartläggning
Resultatet blir en robot som inte bara ser sin omgivning utan också förstår och beskriver den.
När roboten rör sig genom ett område skapar den en detaljerad tredimensionell karta samtidigt som den lagrar beskrivningar av objekt den upptäcker.
Exempelvis kan den registrera:
- Byggnader
- Konstverk
- Möbler
- Verktyg
- Fordon
- Personliga föremål
Den lagrar dessutom information om deras egenskaper och placering.
Med hjälp av DAAAM kan en robot snabbt hämta information från sitt minne för att besvara komplexa frågor om sin omgivning på vardagligt språk. Här söker roboten i sitt minne med hjälp av ordet ”skulptur” för att återkalla konstverk som den sett på campus. Bild: Nicolas Gorlo m.fl.
Minns detaljer som människor lägger märke till
Forskarna beskriver att roboten inte bara noterar att ett cykelställ existerar.
Den kan även registrera detaljer som:
- Att det finns fem cyklar
- Att en av cyklarna är röd
- Att den röda cykeln har punktering
Samtidigt kopplas informationen till en exakt plats på kartan.
Det innebär att roboten senare kan svara på frågor som:
”Var såg du den röda cykeln med punkterat däck?”
eller
”Finns det någon skulptur utanför den här byggnaden?”
Tio gånger snabbare än tidigare system
Ett av de största problemen med tidigare tekniker har varit hastigheten.
Att analysera och beskriva objekt kräver stora mängder beräkningskraft. I praktiken har det ofta tagit flera sekunder att bearbeta bara några få objekt.
Det är alldeles för långsamt för en robot som rör sig genom en komplex miljö.
För att lösa detta utvecklade forskarna en metod som automatiskt väljer ut de mest informationsrika bilderna.
Genom att analysera flera objekt samtidigt kan systemet minska beräkningstiden drastiskt.
Forskarna uppskattar att DAAAM är ungefär tio gånger snabbare än tidigare lösningar.
Kan svara på frågor med naturligt språk
Systemet använder också stora språkmodeller (LLM), liknande tekniken bakom moderna AI-chatbotar.
När användaren ställer en fråga söker AI igenom sitt minne och hämtar relevant information från den tredimensionella kartan.
Det innebär att roboten kan kommunicera på ett betydligt mer naturligt sätt än dagens robotar.
Forskarna beskriver det som:
”ChatGPT för den verkliga världen.”
Betydligt högre träffsäkerhet
När forskarna jämförde DAAAM med andra moderna system visade resultaten tydliga förbättringar.
Beroende på frågetyp var den nya metoden:
- 21 procent mer exakt
- upp till 53 procent mer exakt
än tidigare tekniker.
Samtidigt kunde svaren genereras på bara några sekunder.
Kan användas långt utanför robotvärlden
Även om projektet främst utvecklats för robotar ser forskarna flera andra användningsområden.
Tekniken skulle kunna användas i:
Förstärkt verklighet (AR)
Underhållstekniker skulle kunna få hjälp att hitta fel eller avvikelser i stora anläggningar.
Smarta byggnader
Fastigheter skulle kunna hålla reda på utrustning och inventarier automatiskt.
Sjukhus
Medicinsk utrustning skulle kunna lokaliseras snabbare.
Vägledning och navigation
Systemet skulle kunna hjälpa människor att hitta föremål eller orientera sig i stora byggnader.
Nästa steg: minnas händelser
Forskarna arbetar nu med att vidareutveckla tekniken så att robotar inte bara minns objekt utan även viktiga händelser.
Målet är att roboten ska kunna svara på frågor som:
- Vem var här tidigare idag?
- När flyttades föremålet?
- Vad hände i det här rummet igår?
Om utvecklingen fortsätter i samma takt kan framtidens robotar få något som liknar ett mänskligt episodiskt minne.
Och kanske kommer de en dag faktiskt kunna svara på den eviga frågan:
”Var la jag mina nycklar?”
Publikationsuppgifter
Nicolas Gorlo et al, Describe Anything Anywhere At Any Moment, arXiv (2025). DOI: 10.48550/arxiv.2512.00565
