Storskaliga neurala nätverksmodeller utgör grunden för många AI-baserade tekniker, t.ex. neuromorfiska chip, som är inspirerade av den mänskliga hjärnan. Att träna dessa nätverk kan vara tråkigt, tidskrävande och energiineffektivt eftersom modellen ofta först tränas på en dator och sedan överförs till chipet. Detta begränsar tillämpningen och effektiviteten hos neuromorfiska chip.
TU/e-forskare har löst problemet genom att utveckla en neuromorfisk enhet som kan träna på chipet och som eliminerar behovet av att överföra tränade modeller till chipet. Detta kan öppna en väg mot effektiva och dedikerade AI-chip.
Har du någonsin tänkt på hur underbar din hjärna egentligen är? Den är en kraftfull datormaskin, men den är också snabb, dynamisk, anpassningsbar och mycket energieffektiv.
Kombinationen av dessa egenskaper har inspirerat forskare vid TU/e, däribland Yoeri van de Burgt, att efterlikna hur hjärnan fungerar i teknik där inlärning är viktigt, t.ex. system för artificiell intelligens (AI) inom transport, kommunikation och hälsovård.
Den neurala länken
”I hjärtat av sådana AI-system hittar du sannolikt ett neuralt nätverk”, säger Van de Burgt, docent vid institutionen för maskinteknik vid TU/e.
Neurala nätverk är hjärninspirerade modeller för datorprogramvara. I den mänskliga hjärnan pratar nervceller med andra nervceller via synapser, och ju mer två nervceller pratar med varandra, desto starkare blir kopplingen mellan dem. I neurala nätverksmodeller – som består av noder – ges styrkan i en koppling mellan två noder av ett tal som kallas vikt.
”Neurala nätverk kan hjälpa till att lösa komplexa problem med stora datamängder, men i takt med att nätverken blir större ökar energikostnaderna och hårdvarubegränsningarna ”, säger Van de Burgt. ”Men det finns ett lovande hårdvarubaserat alternativ – neuromorfiska chip.”
Den neuromorfiska fångsten
Precis som neurala nätverk är neuromorfiska chip inspirerade av hur hjärnan fungerar, men imitationen har tagits till en helt ny nivå. När den elektriska laddningen i en neuron i hjärnan förändras kan den avfyras och skicka elektriska laddningar till anslutna neuroner. Neuromorfiska chip replikerar denna process.
”I ett neuromorfiskt chip finns memristorer (som är en förkortning av memory resistors). Det är kretsanordningar som kan ”komma ihåg” hur mycket elektrisk laddning som har flödat genom dem tidigare”, säger Van de Burgt. ”Och det är precis vad som krävs för en enhet som är modellerad efter hur hjärnans nervceller lagrar information och pratar med varandra.”
Men det finns en neuromorfisk hake – och den handlar om de två sätt som människor tränar hårdvara baserad på neuromorfiska chip. På det första sättet sker träningen på en dator och vikterna från nätverket mappas till chipets hårdvara.
Alternativet är att göra träningen in-situ eller i hårdvaran, men dagens enheter måste programmeras en och en och sedan felkontrolleras. Detta krävs eftersom de flesta memristorer är stokastiska, och det är omöjligt att uppdatera enheten utan att kontrollera den.
”Dessa metoder är kostsamma i form av tid, energi och datorresurser. För att verkligen kunna utnyttja energieffektiviteten hos neuromorfiska chip måste träningen ske direkt på de neuromorfiska chipen”, säger Van de Burgt.
Från vänster till höger: Yoeri van de Burgt, Tim Stevens och Marco Fattori. Foto: Bart van Overbeeke
Och det är precis vad Van de Burgt och hans medarbetare vid TU/e har åstadkommit och publicerat i en ny artikel i Science Advances. ”Det här var en riktig laginsats, och allt initierades av Tim Stevens och Eveline van Doremaele, som är medförfattare till artikeln”, säger Van de Burgt.
Bakgrunden till forskningen kan spåras tillbaka till Tim Stevens magisterexamen. ”Under min masterutbildning blev jag intresserad av det här ämnet. Vi har visat att det är möjligt att genomföra utbildning på enbart hårdvara. Det finns inget behov av att överföra en tränad modell till chipet, och allt detta kan leda till effektivare chip för AI-applikationer”, säger Stevens.
Van de Burgt, Stevens och Van Doremaele – som försvarade sin doktorsavhandling 2023 om neuromorfiska chip – behövde lite hjälp på vägen med utformningen av hårdvaran. De vände sig därför till Marco Fattori från institutionen för elektroteknik.
”Min grupp hjälpte till med aspekter som rör kretsdesignen för chipet”, säger Fattori. ”Det var fantastiskt att arbeta med det här tvärvetenskapliga projektet där de som bygger chipen får arbeta tillsammans med dem som arbetar med mjukvaruaspekterna.”
För Van de Burgt visade projektet också att bra idéer kan komma från vilken nivå som helst på den akademiska stegen. ”Tim såg potentialen i att använda egenskaperna hos våra enheter i mycket större utsträckning under sin masterforskning. Det finns en lärdom att dra av detta för alla projekt.”
Träning i två lager
För forskarna var den största utmaningen att integrera de nyckelkomponenter som behövs för on-chip training på ett enda neuromorfiskt chip. ”En stor uppgift att lösa var till exempel att inkludera EC-RAM-komponenterna (elektrokemiskt minne med slumpmässig åtkomst)”, säger Van de Burgt. ”Det är dessa komponenter som efterliknar den lagring och avfyrning av elektriska laddningar som sker i hjärnans nervceller.”
Forskarna tillverkade ett tvålagers neuralt nätverk baserat på EC-RAM-komponenter tillverkade av organiska material och testade hårdvaran med en utveckling av den allmänt använda träningsalgoritmen backpropagation med gradient descent. ”Den konventionella algoritmen används ofta för att förbättra noggrannheten i neurala nätverk, men den är inte kompatibel med vår hårdvara, så vi tog fram en egen version”, säger Stevens.
Eftersom AI inom många områden snabbt håller på att bli en ohållbar förbrukning av energiresurser är möjligheten att träna neurala nätverk på hårdvarukomponenter till en bråkdel av energikostnaden en lockande möjlighet för många tillämpningar – allt från ChatGPT till väderprognoser.
Nästa steg
Forskarna har visat att den nya träningsmetoden fungerar, men nästa logiska steg är att göra den större, djärvare och bättre.
”Vi har visat att det här fungerar för ett litet nätverk med två lager”, säger van de Burgt. ”Nu vill vi involvera industrin och andra stora forskningslaboratorier så att vi kan bygga mycket större nätverk av hårdvaruenheter och testa dem med verkliga dataproblem.”
Detta nästa steg skulle göra det möjligt för forskarna att visa att dessa system är mycket effektiva när det gäller träning och att köra användbara neurala nätverk och AI-system. ”Vi skulle vilja tillämpa den här tekniken i flera praktiska fall”, säger Van de Burgt. ”Min dröm är att den här typen av teknik ska bli normen för AI-tillämpningar i framtiden.”
För mer information, vänligen kontakta Eveline R. W. van Doremaele et al, Hardware implementation of backpropagation using progressive gradient descent for in situ training of multilayer neural networks, Science Advances (2024). DOI: 10.1126/sciadv.ado8999
