Kvantkretsar hjälper AI att övervinna minnesbegränsningar med ett minimalt antal nya parametrar

by Albert
Utformning av kvantkretsar för att förbättra prestandan hos stora språkmodeller (LLM).

För miljontals människor är chattbotar som drivs av stora språkmodeller (LLM) numera en viktig del av vardagen. Dessa AI-system växer i snabb takt, men att skala upp dem blir allt mer kostsamt och resurskrävande.

Genom en ny preprint på arXiv-servern har ett team ledt av Borja Aizpurua vid Multiverse Computing i San Sebastián, Spanien, hittat ett sätt att förbättra prestandan hos LLM:er med hjälp av kvantberäkning. Deras tillvägagångssätt kan erbjuda ett smartare alternativ än att bara kasta in mer hårdvara på problemet.

Parameterproblemet

LLM:er som de som driver ChatGPT och Claude fungerar genom att lära sig enorma mängder justerbara parametrar som tillsammans avgör hur modellen bearbetar och genererar text. Ju fler parametrar en modell har, desto bättre tenderar den att prestera.

Men varje parameter kräver fysiskt minne för lagring, och när dessa modeller blir större växer minneskraven med dem på ett sätt som blir allt svårare och dyrare att hantera. GPT-5.5, till exempel, beräknas innehålla någonstans mellan två och fem biljoner parametrar.

Övergång till kvantkretsar

För att hantera dessa begränsningar vände sig Multiverse Computing-teamet till kvantdatorer. Istället för att lägga till ett stort antal nya klassiska parametrar införde de små kvantkretsblock i den inre funktionen hos en förtränad LLM.

Eftersom dessa kvantblock kan koda komplexa matematiska relationer i en mycket kompakt form kan de åstadkomma vad som annars skulle kräva många fler konventionella parametrar. Det resulterande systemet är en hybrid: den ursprungliga LLM-modellen körs på en standarddator, medan kvantkomponenterna exekveras på IBMs 156-qubit supraledande kvantprocessor.

Ökad prestanda

När Aizpuruas team tillämpade denna metod på Llama 3.1 8B, en modell med åtta miljarder parametrar utvecklad av Meta, uppnådde de en minskning av perplexiteten (ett viktigt mått på hur tillförlitligt en modell förutsäger nästa ord i en sekvens) med 1,4 %, samtidigt som de bara lade till 6 000 extra parametrar. För att sätta detta i sitt sammanhang motsvarar det en ökning på mindre än en tiotusendel av en procent.

Teamet testade också sin plattform på SmolLM2, en mindre modell med 135 miljoner parametrar som valdes eftersom den var lättare att studera systematiskt. Här fann de att prestandan förbättrades konsekvent i takt med att storleken på kvantkomponenterna ökade, och att den kvantförstärkta modellen kunde svara korrekt på frågor som två rent klassiska versioner av samma modell svarade fel på.

Förberedelser för framtida processorer

För närvarande erkänner forskarna att prestandavinsterna är blygsamma och begränsas av kapaciteten hos dagens kvantmaskinvara. Men genom att visa att kvantförbättring överhuvudtaget kan fungera på en verklig, allmänt använd modell är deras resultat redan lovande.

I takt med att kvantprocessorer blir mer kraftfulla och tillförlitliga tror teamet att förbättringarna kommer att skala upp i motsvarande grad – vilket eventuellt öppnar en helt ny väg för att utveckla mer kapabel AI utan de skenande infrastrukturkostnader som hotar att definiera områdets framtid.

Publiceringsuppgifter

Borja Aizpurua et al, Quantum-enhanced Large Language Models on Quantum Hardware via Cayley Unitary Adapters, arXiv (2026). DOI: 10.48550/arxiv.2605.05914

Related Articles

Leave a Comment