I takt med att självkörande bilar börjar rulla på gatorna i städerna kvarstår frågan om hur de ska fungera i landsbygdsområden med begränsad telekommunikationsinfrastruktur.
Ny forskning från Washington State University pekar på ett möjligt svar och visar att en liten, prisvärd dator som kör en komprimerad stor språkmodell kan fungera som ett effektivt beslutsorgan för autonoma fordon.
Forskningen, som genomförts på en öppen källkodssimulator, pekar också på en möjlig strategi för att effektivt driva andra typer av tillämpningar, såsom jordbruksrobotik.
”När det gäller autonom körning måste vi fatta beslut direkt”, säger Xinghui Zhao, docent i datavetenskap, rektor för School of Engineering and Computer Science vid WSU Vancouver och korresponderande författare till den nya publikationen.
”Om man har en superkraftfull molntjänst i bakgrunden kan man enkelt träna och förbättra perceptionsmodellerna för att stödja beslutsfattandet i bilar, men det gäller i stadsområden där man har en riktigt bra uppkoppling. Om vi talar om landsbygden finns det inte mycket uppkoppling, eller så är uppkopplingen ojämn. I det fallet behöver man verkligen förmågan att bearbeta data i farten.”
Arbetet är en del av den pågående forskningen som Zhao och hennes kollegor bedriver för att ta itu med utmaningarna för självkörande bilar på landsbygden. Det presenterades vid Proceedings of the Tenth ACM/IEEE Symposium on Edge Computing.
Självkörande bilar befinner sig fortfarande i ett tidigt utvecklingsskede; de har börjat dyka upp i några större städer, och det finns en mängd olika system under utveckling. Det finns ett stort intresse för att utveckla bilarna som ”edge”-enheter, som kan samla in, bearbeta och analysera data i ett självständigt system istället för att förlita sig på avlägsna datacenter för bearbetning. En sådan decentraliserad databehandling kan förbättra effektiviteten, sänka kostnaderna och energiförbrukningen samt skydda integriteten.
”Det finns fler och fler enheter som vi kan samla in data från – en mängd olika sensorer, en liten mikrofon, till och med en liten kamera”, sade Zhao. ”Och alla dessa enheter samlar in data. Om vi förlitar oss på ett backend-datacenter innebär det att varje enhet måste skicka data till centret för bearbetning. Allt oftare föredras applikationer som bearbetar data på den enhet där den samlas in.”
Autonoma fordon använder tre huvudlager av databehandling: perception, eller insamling och tolkning av sensordata från kameror, radar och andra källor; resonemang, eller realtidsanalys av sensordata för att välja köråtgärder; och handling, eller genomförande av dessa beslut.
I det nya projektet fokuserade forskarna på resonemang. Vissa system för autonom körning förlitar sig på en form av AI som kallas djup förstärkningsinlärning, som måste tränas med enorma datamängder och som förbättras över tid genom trial and error. DRL är kostsamt och kan vara opålitligt när det stöter på oförutsedda scenarier.
Storskaliga språkmodeller, å andra sidan, är utmärkta på resonemang på högre nivå och kan använda sammanhanget för att fatta beslut när de stöter på nya omständigheter. Men de har också stora beräkningskrav och förlitar sig på molnberäkning.
”En LLM-modell är ganska enorm”, sa Ishparsh Uprety, forskarassistent och förstaförfattare till artikeln. ”Om man ska köra den i en bil kommer det att krävas mycket beräkningsarbete. Vi tänkte: Vad sägs om att optimera modellen och göra den mindre?”
WSU-teamet satte sig för att testa prestandan hos en fristående LLM-modell – en modell där data- och minnesavtrycket komprimerats, vilket resulterar i snabbare beslutsfattande men kan leda till förlorad precision. De använde en öppen källkods-LLM, Mistral, komprimerad till en Jetson Orin Nano, en 8-gigabyte datormodul som är mindre än en pocketbok.
Med hjälp av en öppen källkodsplattform för testning av AI-system jämförde de resonemanget hos den komprimerade LLM-modellen med det hos en ChatGPT-modell i full storlek i sju körscenarier.
De två systemen fattade säkra, jämförbara beslut i de flesta fall, även om Mistral-versionen kraschade i ett fall. Med tanke på det betydligt mindre databehovet drog forskarna slutsatsen att de initiala resultaten tyder på att komprimerade LLM:er så småningom skulle kunna vara användbara för edge-beräkning i självkörande bilar – även om det kommer att krävas mycket mer testning innan ett sådant system är klart för vägarna.
Mer information
Ishparsh Uprety et al, Edge-Deployable LLMs for Autonomous Vehicle Intelligence, Proceedings of the Tenth ACM/IEEE Symposium on Edge Computing (2025). DOI: 10.1145/3769102.3774639
