Een brein op een chip nabootsen is erg ingewikkeld. Onderzoekers van de TU Eindhoven (TU/e) hebben een methode ontwikkeld waarmee ze AI-modellen die de werking van een menselijk brein nabootsen direct op zo’n chip kunnen trainen. Dit moet in de toekomst kunnen leiden tot meer efficiënte AI-chips. De onderzoekers hebben een artikel over hun studie gepubliceerd in het blad Science Advances.
Neurale netwerken zijn op de hersenen geïnspireerde computersoftwaremodellen. Die bootsen na hoe neuronen met andere neuronen ‘praten’ via synapsen. Hoe meer twee neuronen met elkaar praten, hoe sterker de verbinding tussen hen wordt. Neurale netwerken kunnen complexe problemen met grote hoeveelheden gegevens helpen oplossen. Dergelijke netwerken worden veel toegepast in sectoren waar leren voor AI-modellen belangrijk is, zoals transport, communicatie en gezondheidszorg.
Meer tijd, meer energie
Hoe groter de neurale netwerken, hoe hoger echter de energiekosten en beperkingen van de benodigde hardware. Neuromorfische chips vormen een alternatief. Net als neurale netwerken zijn neuromorfische chips ontwikkeld op basis van hoe de hersenen werken - maar in de chips wordt de imitatie naar een nieuw niveau getild. Wanneer in de hersenen de elektrische lading in een neuron verandert, kan het elektrische ladingen naar aangesloten neuronen sturen. Neuromorfische chips bootsen dit proces na.
Momenteel wordt de toepassing en efficiëntie van zogeheten neuromorfische chips echter beperkt wegens de omslachtige en tijdrovende wijze waarop grootschalige neurale netwerkmodellen getraind moeten worden. Vaak worden modellen eerst op een computer getraind en dan naar zo’n chip overgebracht. Dit is ook erg energie-inefficiënt.
Alternatieve training
Een andere methode is het direct trainen van memristors, oftewel memory resistors: circuit devices die 'onthouden' hoeveel elektrische lading er in het verleden doorheen is gestroomd. Dit is precies wat nodig is voor een apparaat dat gemodelleerd is op hoe neuronen in de hersenen informatie opslaan en met elkaar praten, legt hoofdonderzoeker Yoeri van de Burgt uit in een artikel op de website van de TU/e.
De huidige memristors moeten echter één voor één worden geprogrammeerd en dan op fouten worden gecontroleerd. Ook dat is tijdrovend en kost veel energie. Om de energie-efficiëntie van neuromorfische chips echt te benutten, moet de training direct op de neuromorfische chips worden gedaan, vervolgt Van de Burgt.
Samen met co-first auteurs Tim Stevens en Eveline van Doremaele heeft Van den Burg in een artikel in Science Advances hoe hun team juist dit gerealiseerd heeft. Hij, Stevens en Van Doremaele - die in 2023 promoveerde op een proefschrift over neuromorfische chips – kregen voor het ontwerpen van de benodigde chips hulp van Marco Fattori van de faculteit Electrical Engineering. Zijn groep hielp met aspecten die te maken hebben met het circuitontwerp van de chip.
Nieuwe aanpak werkt
De onderzoekers hebben nu aangetoond dat de nieuwe trainingsaanpak werkt. De volgende stap is om de neurale netwerken groter, gedurfder en beter te maken. “We hebben laten zien dat dit werkt voor een klein netwerk met twee lagen”, schetst Van de Burgt. “Nu willen we de industrie en andere grote onderzoekslaboratoria erbij betrekken, zodat we veel grotere netwerken van hardware-apparaten kunnen bouwen en deze kunnen testen met levensechte dataproblemen.”
Zo kunnen de onderzoekers aantonen dat deze systemen zeer efficiënt zijn in het trainen en uitvoeren van bruikbare neurale netwerken en AI-systemen. Bovendien betekent het trainen van AI-modellen op de hardware zelf dat er veel minder energie gebruikt wordt. Met het toenemend gebruik van (gen) AI-toepassingen neemt ook het energiegebruik toe, wat het onderzoek van Van den Burg en zijn team volgens de Tu/e nog belangrijker maakt.
Lees hier het in Science Advances gepubliceerde artikel: Hardware implementation of backpropagation using progressive gradient descent for in situ training of multilayer neural networks.
