Rețelele neurale (NN − Neural Networks) au fost inspirate de creier, iar utilizarea terminologiei din neuroștiință (neuroni și sinapse) pentru a explica rețelele neurale a provocat întotdeauna nemulțumiri neurologilor, deoarece generația actuală de rețele neurale este la polul opus față de modul în care funcționează creierul. În ciuda inspirației, structura generală, calculele neurale și tehnicile de învățare dintre a doua generație actuală de rețele neurale și creier diferă foarte mult. Această comparație i-a deranjat atât de mult pe neuroștiințiști încât au început să lucreze la a treia generație de rețele care seamănă mai mult cu creierul, numite rețele neurale generatoare de impulsuri (SNN − Spiking Neural Networks) cu hardware capabil să le execute, adică arhitectură neuromorfică.
Rețele neurale generatoare de impulsuri
SNN-urile sunt un tip de rețele neurale artificiale (ANN − Artificial Neural Network) inspirate mai mult de creier decât cele din a doua generație, cu o diferență esențială și anume că SNN-urile sunt NN spațiotemporale, adică țin cont de sincronizare în funcționarea lor. SNN-urile funcționează pe baza unor impulsuri discrete determinate de o ecuație diferențială care reprezintă diverse procese biologice. Procesul critic este cel de activare după ce potențialul membranei neuronului (pragul de “activare”) este atins, ceea ce se întâmplă prin lansarea de impulsuri la acel neuron la anumite secvențe de timp. Prin analogie, creierul este alcătuit din 86 de miliarde de unități de calcul numite neuroni, care primesc intrări de la alți neuroni prin intermediul dendritelor; odată ce intrările depășesc un anumit prag, neuronul se declanșează și trimite un impuls electric prin intermediul unei sinapse, iar greutatea sinaptică controlează amploarea impulsului trimis către neuronul următor. Spre deosebire de alte rețele neurale artificiale, neuronii SNN se declanșează asincronic în diferite straturi ale rețelei, la momente diferite, pe când, în mod tradițional, informația se propagă în toate straturile dictate de ceasul sistemului. Proprietatea spațio-temporală a SNN, împreună cu natura discontinuă a impulsurilor, înseamnă că modelele pot fi distribuite mai rar, cu neuroni care se conectează doar la neuronii relevanți și care utilizează timpul ca variabilă, permițând codificarea mai densă a informației față de codificarea binară tradițională a ANN-urilor. Astfel, SNN-urile sunt mai puternice din punct de vedere computațional și mai eficiente.
Figura 1: Diferența dintre ANN-urile convenționale și SNN-uri. (© Renesas)
Comportamentul asincron al SNN-urilor, împreună cu necesitatea de a executa ecuații diferențiale, implică un efort de calcul la nivelul hardware-ului tradițional, motiv pentru care a fost necesară dezvoltarea unei noi arhitecturi. Aici intervine arhitectura neuromorfică.
Arhitectura neuromorfică
Arhitectura neuromorfică este o arhitectură non-von Neuman inspirată de creier, compusă din neuroni și sinapse. În cazul calculatoarelor neuromorfice, procesarea și stocarea datelor se desfășoară în aceeași regiune, atenuând blocajul Von Neuman care încetinește debitul maxim atins de arhitecturile tradiționale din cauza necesității de a muta datele din memorie către unitățile de procesare la viteze relativ lente. În plus, arhitectura neuromorfică suportă în mod nativ SNN-urile și acceptă impulsurile ca intrări, permițând codificarea informației conform timpului de sosire, magnitudinii și formei impulsurilor. Astfel, printre caracteristicile cheie ale dispozitivelor neuromorfice se numără scalabilitatea lor inerentă, calculul bazat pe evenimente și caracterul stocastic, deoarece activarea neuronilor poate avea un caracter aleatoriu, ceea ce face ca arhitectura neuromorfică să fie atractivă datorită operării lor cu consum foarte redus de putere, funcționând de obicei cu magnitudini mai mici decât sistemele de calcul tradiționale.
Figura 2: Arhitectura Von Neumann vs. arhitectura neuromorfică (non-Von Neumann). (© Renesas)
Previziuni privind piața neuromorfică
Din punct de vedere tehnologic, dispozitivele neuromorfice au potențialul de a juca un rol important în viitoarea eră a inteligenței artificiale la periferie (edge) și la punctul final. Pentru a înțelege cererea așteptată din partea industriei, este necesară o privire asupra previziunilor din domeniul cercetării. Potrivit unui raport realizat de Sheer Analytics & Insights, se așteaptă ca piața mondială a calculatoarelor neuromorfice să ajungă la 780 de milioane de dolari cu un CAGR de 50,3% până în 2028[1]. Mordor Intelligence, pe de altă parte, se așteaptă ca piața să ajungă la 366 de milioane de dolari până în 2026, cu un CAGR de 47,4%[2] și multe alte studii de piață pot fi găsite online, indicând o creștere similară. Cu toate că cifrele prognozate nu sunt în concordanță unele cu altele, un lucru este cert: se așteaptă ca cererea de dispozitive neuromorfice să crească radical în următorii câțiva ani, iar companiile de cercetare de piață se așteaptă ca diverse domenii, precum cel industrial, auto, mobil și medical, să adopte dispozitive neuromorfice pentru o varietate de aplicații.
TinyML neuromorfic
Deoarece TinyML (Tiny Machine Learning) se referă la executarea ML și NN pe dispozitive cu constrângeri stricte de memorie/procesor, cum ar fi microcontrolerele (MCU), este un pas natural să se încorporeze un nucleu neuromorfic pentru cazurile de utilizare TinyML, deoarece există mai multe avantaje distincte.
Dispozitivele neuromorfice sunt procesoare bazate pe evenimente care operează cu evenimente non-zero. Convoluția și produsele scalare (dot products) bazate pe evenimente sunt mult mai puțin costisitoare din punct de vedere computațional, deoarece zerourile nu sunt procesate. Performanța convoluției bazate pe evenimente se îmbunătățește și mai mult cu cât numărul de zerouri din canalele sau nucleele de filtrare este mai mare. Acest lucru, împreună cu funcțiile de activare, cum ar fi Relu, care sunt centrate în jurul valorii zero, conferă procesoarelor bazate pe evenimente proprietatea inerentă de rarefiere a activării, reducând astfel cerințele efective ale MAC.
Mai mult, deoarece dispozitivele neuromorfice procesează impulsuri, se poate utiliza o cuantificare mai restrictivă, cum ar fi cuantificarea pe 1-, 2- și 4-biți, în comparație cu cuantificarea convențională pe 8-biți a ANN-urilor. În plus, deoarece SNN-urile sunt încorporate în hardware, dispozitivele neuromorfice (cum ar fi Akida de la Brainchip) au abilitatea unică de învățare la limită (on-edge learning). Acest lucru nu este posibil în cazul dispozitivelor convenționale, deoarece acestea simulează, doar, o rețea neurală cu arhitectura Von Neumann, ceea ce face ca învățarea ‘on-edge’ să fie costisitoare din punct de vedere computațional, cu costuri mari de memorie, care nu intră în bugetul sistemelor TinyML. În plus, pentru antrenarea unui model NN, numerele întregi nu ar oferi o gamă suficientă pentru a antrena un model cu precizie, astfel încât antrenarea pe 8-biți nu este fezabilă în prezent pe arhitecturile tradiționale. Pentru arhitecturile tradiționale, în prezent, câteva implementări de învățare ‘n-edge’ cu algoritmi de învățare automată (autocodare, arbori de decizie) au ajuns în stadiul de producție pentru cazuri simple de utilizare în timp real, spre deosebire de NN, care sunt încă în curs de cercetare.
Pe scurt, avantajele utilizării dispozitivelor neuromorfice și a SNN-urilor la punctul final sunt:
- Consum de energie foarte redus (de la milli până la microjoule per inferență)
- Cerințe mai mici în materie de MAC în comparație cu rețelele NN convenționale
- Utilizare mai redusă a memoriei parametrilor în comparație cu NN-urile convenționale
- Capabilități de învățare ‘on-edge’
Cazuri de utilizare TinyML neuromorfic
Acestea fiind spuse, microcontrolerele cu nuclee neuromorfice pot excela în cazurile de utilizare din întreaga industrie, datorită caracteristicilor lor distincte de învățare la limită (on-edge), cum ar fi:
- În aplicațiile de detecție a anomaliilor pentru echipamentele industriale existente, în care utilizarea cloud-ului pentru a antrena un model este ineficientă, astfel încât adăugarea unui dispozitiv AI ‘endpoint’ pe motor și antrenarea ‘on-edge’ ar permite o scalabilitate ușoară, deoarece îmbătrânirea echipamentului tinde să difere de la o mașină la alta, chiar dacă este vorba de același model.
- În robotică, pe măsură ce trece timpul, articulațiile brațelor robotizate tind să se uzeze, devenind neacordate și încetând să mai funcționeze așa cum este necesar. Reglajul controlerului aflat la periferie, fără intervenție umană, reduce nevoia de a apela la un profesionist, limitând timpul de nefuncționare și economisind timp și bani.
- În aplicațiile de recunoaștere facială, un utilizator ar trebui să își adauge imaginea feței la setul de date și să antreneze din nou modelul în cloud. Cu câteva fotografii ale feței unei persoane, dispozitivul neuromorfic poate identifica utilizatorul final prin intermediul învățării ‘on-edge’ − permițând ca datele utilizatorilor să fie securizate pe dispozitiv împreună cu o experiență mai transparentă. Acest lucru poate fi utilizat în mașini, unde diferiți utilizatori au preferințe diferite în ceea ce privește poziția scaunului, controlul climatizării etc.
- În aplicațiile de detectare a cuvintelor cheie, adăugarea de cuvinte suplimentare pentru ca dispozitivul să le recunoască ‘on edge’. Se poate utiliza în aplicațiile biometrice, unde o persoană ar adăuga un “cuvânt secret” pe care ar dori să îl păstreze în siguranță pe dispozitiv.
Figura 3: Cazuri de utilizare a învățării ‘on-edge’ pe dispozitive neuromorfice. (© Renesas)
Echilibrul dintre consumul ultra-redus de putere al dispozitivelor terminale neuromorfice și performanța îmbunătățită le face potrivite pentru aplicații cu funcționare prelungită pe baterie, executând algoritmi care nu sunt posibili pe alte dispozitive cu consum redus de energie din cauză că acestea sunt limitate din punct de vedere al puterii de calcul. Sau dimpotrivă, în cazul dispozitivelor de nivel superior, capabile de o putere de procesare adecvată, dar prea mari consumatoare de energie. Printre cazurile de utilizare se numără:
- Ceasuri inteligente care monitorizează și procesează datele la punctul final, trimițând doar informațiile relevante către cloud.
- Senzori de camere inteligente pentru detectarea persoanelor în vederea executării unei comenzi logice. De exemplu, deschiderea automată a ușii atunci când se apropie o persoană, deoarece tehnologia actuală se bazează pe senzori de proximitate.
- Zone fără conectivitate sau posibilități de încărcare, cum ar fi în păduri pentru urmărirea inteligentă a animalelor sau monitorizarea sub conductele oceanice pentru a detecta eventualele fisuri, utilizând date de vibrații, viziune și sunet în timp real.
- Pentru cazurile de utilizare a monitorizării infrastructurii, unde un microcontroler neuromorfic poate fi utilizat pentru a monitoriza în permanență mișcările, vibrațiile și modificările structurale ale podurilor (prin intermediul imaginilor) pentru a identifica eventualele defecțiuni.
Figura 4: Cazuri de utilizare cu consum de putere foarte redus și performanță ridicată. (© Renesas)
Observații finale
“Renesas, în calitate de lider în domeniul semiconductorilor, a recunoscut potențialul vast al dispozitivelor neuromorfice și al SNN-urilor, încât a licențiat un nucleu neuromorfic de la Brainchip[3], primul producător comercial de IP neuromorfic din lume”, a precizat Sailesh Chittipeddi, Vicepreședinte Executiv și Director General al Unității de Afaceri IoT și Infrastructură de la Renesas. “La capătul de jos, Renesas a adăugat un microcontroler ARM M33 și o rețea neuronală cu generare de impulsuri cu nucleul BrainChip licențiat pentru anumite aplicații − am licențiat ceea ce trebuie să licențiem de la BrainChip, inclusiv software-ul, pentru a pune lucrurile în mișcare.”[4]
Astfel, în timp ce Renesas încearcă să inoveze și să dezvolte cele mai bune dispozitive posibile de pe piață, compania este nerăbdătoare să vadă cum această inovație va contribui la îmbunătățirea vieții.
Autor:
Eldar Sido, Product Marketing Specialist,
Renesas Electronics
Despre autor: Eldar Sido lucrează în echipa de management al marketingului de produs pentru familia de microcontrolere bazată pe ARM, la Renesas Electronics. Este specializat în ceea ce privește aspectul tehnic al implementării AI la nivel terminal pe microcontrolere. Are o diplomă de master în nanotehnologie obținută la Universitatea din Tokyo.
Referințe
[1] “Neuromorphic computing market – industry analysis, size, share, growth, trends, and forecast, 2020-2028.,” sheeranalyticsandinsights.com. [Online]. Available.
[2] “Neuromorphic chip market growth, forecast (2022-27): Industry trends,” Neuromorphic Chip Market Growth, Forecast (2022-27) | Industry Trends. [Online]. Available [Accessed: 23-Aug-2022].
[3] “BrainChip’s Akida set for spaceflight via NASA as Renesas Electronics America signs First IP agreement,” Small Caps, 23-Dec-2020. [Online]. Available. [Accessed: 23-Aug-2022].
[4] Arm battles RISC-V at Renesas. [Online]. Available. [Accessed: 23-Aug-2022].
Renesas Electronics Europe | https://www.renesas.com
