Många konventionella datorarkitekturer är dåligt rustade för att möta de beräkningskrav som ställs av modeller baserade på maskininlärning. Under de senaste åren har därför en del ingenjörer försökt att utforma alternativa arkitekturer som skulle kunna vara bättre lämpade för att köra dessa modeller.
Några av de mest lovande lösningarna för att köra artificiella neurala nätverk (ANN) är så kallade CIM-system (compute-in-memory). Dessa system är utformade för att bearbeta och lagra data i ett och samma hårdvarusystem, vilket kan minska strömförbrukningen och öka prestandan hos ANN-baserade modeller.
CIM-system delas in i två breda kategorier: digitala CIM-system (DCIM) och analoga CIM-system (ACIM). I en artikel som publicerats i Nature Electronics presenterar forskare vid Tsinghua University ett nytt ACIM-system med dubbla domäner som kan driva ANN mer effektivt och samtidigt öka deras prestanda i allmänna inferensuppgifter.
”Forskningen om ACIM för beräkningar i neurala nätverk har fått stor uppmärksamhet, men framstegen har främst gjorts inom klassificeringsuppgifter (t.ex. bildklassificering)”, säger Ze Wang, försteförfattare till artikeln, till Tech Xplore.
”Hittills står ACIM fortfarande inför betydande utmaningar när det gäller att hantera komplexa regressionsuppgifter (t.ex. YOLO för objektdetektering), på grund av två viktiga begränsningar. Den första är högt beräkningsbrus och den andra består av kompatibilitetsproblem med FP-data (floating-point), vilket gör den olämplig för regressionsuppgifter som vanligtvis kräver FP-beräkningar med hög precision.”
För att övervinna de utmaningar som vanligtvis förknippas med ACIM-system har Wang och hans kollegor utformat en ny hybridarkitektur som kombinerar FP-kompatibla digitala beräkningar med hög precision med god energieffektivitet. Deras föreslagna arkitektur visade sig vara lovande för att köra neurala nätverk, vilket också gör det möjligt för dessa nätverk att utföra allmänna inferensuppgifter.
”ACIM utmärker sig genom att utföra mycket parallella och energieffektiva matrismultiplikationer, en grundläggande operation som används i stor utsträckning i neurala nätverk, vilket ger betydande fördelar jämfört med digital databehandling”, förklarar Wang.
”ACIM använder Kirchhoffs strömlag och Ohms lag för att utföra spänningsbaserad multiplikation och strömbaserad summering direkt i den analoga domänen. Tillverkningsvariationer ger dock upphov till beräkningsbrus, vilket påverkar noggrannheten i beräkningar med neurala nätverk.”
Förutom att ACIM-system är känsliga för brus, vilket försämrar precisionen i ANN, har de hittills främst använts för uppgifter som innebär linjär multiplikation och addition. Däremot har de hittills visat sig vara inkompatibla med FP-beräkningar, mer komplexa matematiska operationer som utförs på s.k. FP-tal (dvs. beräkningsrepresentationer av tal).
”För första gången demonstrerar vi en helt hårdvaruimplementerad uppgift för objektdetektering med flera mål och flera klasser, YOLO (You Only Look Once), på ett riktigt ACIM-system”, skriver Wang. ”Detta är en viktig milstolpe, som utökar ACIMs kapacitet från att bara stödja klassificeringsuppgifter till att fullt ut stödja generella neurala nätverksinferenser med FP-dataflöde.”
Wang och hans kollegor utvärderade sin arkitektur i en rad tester och fann att den uppvisade en anmärkningsvärd energieffektivitet, som var 39,2 gånger högre än den som uppnås av vanliga FP-32-multiplikatorer som kör ANN-baserade modeller. Forskarna skapade också en prototyp av ett memristorbaserat datorsystem baserat på deras design, som visade sig uppnå en hög precision (i genomsnitt 2,7 gånger högre än för rena ACIM-system).
Den här nya studien kan inspirera till utveckling av andra hybrid-ACIM-arkitekturer, som kan vara bättre lämpade för att köra maskininlärningsbaserade modeller på komplexa datoruppgifter. Under tiden planerar Wang och hans kollegor att fortsätta bygga vidare på sin arkitektur för att ytterligare förbättra dess precision och energieffektivitet.
”Det finns fortfarande gott om utrymme för ytterligare utforskning och förbättring av vårt nuvarande arbete”, tillade Wang.
”Vår framtida forskning kommer att fokusera på samdesign och optimering av arkitektur, algoritmer och hårdvara för att förbättra energieffektiviteten och noggrannheten hos hybrida analog-digitala datorsystem. I slutändan siktar vi på att stödja ett bredare utbud av beräkningar av neurala nätverk och öppna upp för nya tillämpningsscenarier.”
För mer information: Ze Wang et al, A dual-domain compute-in-memory system for general neural network inference, Nature Electronics (2025). DOI: 10.1038/s41928-024-01315-9.
