Nevoia și oportunitatea de a dezvolta inteligența artificială la periferie în contextul IoT sunt clare și semnificative. Dar există provocări, iar soluțiile au rămas în urma acestei nevoi și oportunități. Până în prezent, situația a fost caracterizată de un peisaj de soluții complexe și eterogene, de cipuri din siliciu reutilizate și de motoare “AI bolt-on” (motoare AI care au fost adăugate la hardware-ul existent, în loc să fie integrate direct în designul inițial al cipului), în detrimentul soluțiilor de procesare dedicate, de lipsa unor standarde de îndrumare și de reglementare, precum și de absența instrumentelor și mediilor de dezvoltare.
Dar acum, companii precum Synaptics adoptă o abordare “AI-Native”, oferind platforme de calcul cu sisteme pe cip (SoC) special construite, software open-source și instrumente care contribuie la reducerea barierelor în calea adoptării și la accelerarea integrării funcțiilor AI în dispozitivele Edge IoT. Să discutăm despre oportunități, provocări și soluții.
Ascensiunea AI în calculul embedded
În lumea high-tech în care AI generativă (GenAI) domină titlurile, o mișcare transformatoare are loc la marginea sistemului. AI de ultimă generație se dovedește a fi o forță determinantă în sistemele informatice embedded, unde este necesară analiza rapidă a datelor multimodale, cum ar fi cele video, de viziune, vocale și audio, în fluxuri multiple.
Algoritmii de învățare automată (ML), cu capabilitățile lor superioare de potrivire a modelelor, devin soluția de bază pentru aceste sarcini, depășind codificarea tradițională bazată pe reguli, în special la scară largă. Dezvoltatorii sunt din ce în ce mai înclinați să implementeze algoritmi de inferență AI pe procesoare embedded compacte, pentru a obține informații imediate și utile direct de la sursa de date. Această abordare ocolește costurile, complexitatea, întârzierile și preocupările legate de confidențialitate și securitate asociate cu transmiterea datelor brute către serviciile cloud – cu toate acestea, este plină de provocări care decurg din starea actuală a peisajului tehnologic și din complexitățile inerente ale ecosistemului IoT.
Provocări în integrarea AI în IoT
Peisajul “edge computing” este deosebit de fragmentat, cu o gamă largă de soluții hardware și software insuficiente și incompatibile. În același timp, dezvoltarea de software pentru AI și învățarea automată (ML) avansează într-un ritm amețitor, ceea ce conduce la un ecosistem bogat căruia îi lipsește o direcție ordonată.
Pentru a complica lucrurile, aceste evoluții în domeniul software nu sunt întotdeauna reflectate de progrese echivalente în domeniul hardware, care tinde să se dezvolte într-un ritm mai moderat datorită investițiilor considerabile și timpului necesar pentru dezvoltarea fizică și producția propriu-zisă. În consecință, există de multe ori o neconcordanță între capabilitățile software-ului de ultimă generație și performanța hardware-ului existent, ceea ce duce la ineficiențe și blocaje în implementarea AI la periferie.
Producătorii recurg frecvent la reutilizarea cipurilor din siliciu proiectate, inițial, pentru alte piețe – cum ar fi telefoanele inteligente sau electronicele de larg consum – în vederea utilizării în aplicații IoT. Această practică poate duce la mai multe probleme. Cipurile care nu sunt optimizate pentru cerințele unice ale segmentului IoT edge, cum ar fi consumul redus de putere și procesarea în timp real, pot duce la dispozitive ineficiente sau lipsite de performanța necesară. În schimb, acestea pot oferi mai multă putere de calcul decât necesită o aplicație IoT, ceea ce duce la risipirea resurselor.
Ecosistemul IoT este divers, cu o multitudine de dispozitive, fiecare cu propriul set de cerințe. Absența unor platforme și protocoale comune complică și mai mult integrarea AI în dispozitivele IoT. În lipsa unor standarde universal acceptate, dispozitivele de la producători diferiți pot avea dificultăți în a comunica între ele sau cu sistemele centrale, ceea ce duce la probleme de interoperabilitate.
Aceste provocări pot bloca inovarea, pot crește costurile de dezvoltare și pot încetini adoptarea soluțiilor inteligente de calcul la periferie. Depășirea acestor obstacole necesită un efort de colaborare din partea industriei pentru a dezvolta platforme hardware armonizate, a stabili standarde comune și a cultiva un ecosistem care să sprijine integrarea fără probleme a AI în dispozitivele Edge IoT.
Componentele esențiale ale platformelor cu inteligență artificială încorporată
Pentru a asigura succesul aplicațiilor Edge AI, este nevoie de platforme avansate care sunt proiectate special pentru calculul embedded. Aceste platforme trebuie să atingă un echilibru delicat între diverse atribute, inclusiv performanță, eficiență energetică, factor de formă, conectivitate, configurații IO și rentabilitate.
Pentru Edge AI, SoC-urile trebuie să fie accelerate, ceea ce înseamnă că sunt îmbunătățite cu capabilități de procesare suplimentare pentru a gestiona eficient sarcinile de lucru AI. Această accelerare se realizează adesea prin funcții de procesare specializate, cum ar fi unitățile de procesare neurală (NPU) sau unitățile de procesare grafică (GPU), care pot efectua rapid calculele complexe necesare pentru algoritmii AI.
Diagrama bloc a dispozitivului SL1680 – un SoC echipat cu Arm® Cortex®-A pentru aplicații AI Edge IoT. (Sursă imagine: Synaptics)
Kiturile software cuprinzătoare sunt esențiale și trebuie să includă toate instrumentele software, bibliotecile și resursele de care dezvoltatorii au nevoie pentru a crea, testa și implementa aplicații AI. Un kit software bine gândit simplifică procesul de dezvoltare, permițând dezvoltatorilor să se concentreze mai degrabă pe inovare decât pe complexitatea platformei de bază.
De asemenea, deoarece dispozitivele IoT trebuie adesea să comunice între ele și cu serviciile bazate pe cloud, conectivitatea wireless fiabilă și sigură este vitală. Aderarea la standardele industriale asigură interoperabilitatea perfectă a dispozitivelor și compatibilitatea platformei cu o gamă largă de protocoale de conectivitate, de la Wi-Fi și Bluetooth la rețele IoT mai specializate precum Zigbee și Thread/Matter.
Framework-urile pentru modele AI oferă structura și instrumentele necesare pentru dezvoltarea și rularea modelelor AI (cu alte cuvinte, aceste framework-uri ajută atât la antrenarea modelelor AI (procesul de învățare pe baza datelor), cât și la rularea lor (folosirea modelului antrenat pentru a face predicții)). Acestea ar trebui să suporte o gamă largă de algoritmi AI și ML și să fie capabile să optimizeze aceste modele pentru a rula eficient pe hardware-ul platformei. Un framework AI robust include, de asemenea, instrumente pentru antrenarea modelelor AI, precum și pentru implementarea și gestionarea acestora pe dispozitive periferice.
În sfârșit, pentru creșterea și sustenabilitatea platformelor Edge AI, este vital un ecosistem dinamic de parteneri. Acest ecosistem cuprinde furnizori de hardware, dezvoltatori de software, furnizori de servicii și utilizatori finali care colaborează pentru a stimula inovarea și pentru a garanta că platforma răspunde nevoilor diverse ale pieței. Un ecosistem puternic de parteneri poate accelera, de asemenea, dezvoltarea, oferind informații valoroase pentru îmbunătățiri și contribuind la crearea unei biblioteci bogate de aplicații și servicii care pot rula pe platformă.
Platforma Synaptics AstraTM este un exemplu de materializare a acestor componente esențiale, oferind o soluție completă de calcul AI pentru IoT. Prin integrarea hardware-ului SoC scalabil, a software-ului open-source și a setului de instrumente AI, a conectivității bazate pe standarde, a unui framework AI puternic și a unui ecosistem de parteneri care oferă susținere, platforma Astra este bine echipată pentru a răspunde cerințelor aplicațiilor moderne Edge AI. Să aruncăm o privire la ceea ce se află în interior.
Platforma Astra “AI-Native” pentru Edge IoT
La începuturile sale, portofoliul de produse Astra de la Synaptics reunea trei SoC-uri – seria SL – dotate fiecare cu procesoare Arm® Cortex®-A, GPU-uri și un set complet de capabilități IO. Aceste SoC-uri au fost proiectate pe baza unei înțelegeri profunde a cerințelor cazurilor de utilizare în domeniul AI pentru platformele edge, variind de la aplicații de bază la aplicații de înaltă performanță. SoC-urile din seria SL dispun, de asemenea, de securitate, video, grafică și audio cu accelerare hardware, suportând sarcini de lucru multimodale pentru aplicații de consum, întreprinderi și IoT industrial cu o performanță de până la 8 TOPS.
Extinderea recentă a platformei Astra include SoC-urile din seria SR bazate pe microcontrolere, cu capabilități de inferență pe niveluri, aducând calculul conștient de context în diverse medii. Aceste cipuri AI-Native, optimizate din punct de vedere energetic, utilizează aceleași framework-uri AI ca seria SL, permițând aplicații cost-eficiente și alimentate de la baterii.
Pentru dezvoltatori, kitul de evaluare din seria Astra Machina Foundation oferă un mediu de proiectare modular cu o placă de bază IO care suportă module de bază interschimbabile pentru fiecare cip din seriile SL și SR. Flexibilitatea și scalabilitatea sunt îmbunătățite în continuare cu ajutorul plăcilor fiică pentru conectivitate wireless folosind soluțiile Veros ale Synaptics și prin extinderea intrărilor/ieșirilor, simplificând procesul de prototipare.
Kitul de evaluare din seria Astra Machina Foundation oferă un mediu de proiectare modular cu o placă de bază IO care acceptă module de bază interschimbabile pentru fiecare cip din seriile SL și SR. (Sursă imagine: Synaptics)
Synaptics are o istorie bogată în utilizarea tehnicilor AI pentru aplicații multimodale. Lanțul de instrumente SyNAP, lansat pentru a sprijini Edge AI pe cipuri multimedia de înaltă performanță, este acum piatra de temelie a framework-ului de modele standardizate Astra AI-Native. De exemplu, puteți descărca modele YOLO pentru detectarea feței în ambele formate TensorFlow Lite și ONNX, să le rulați ca atare pe kitul de evaluare Astra Machina și să utilizați SyNAP pentru a obține o îmbunătățire de până la două ordine de mărime în latență.
Biblioteca Astra GitHub găzduiește o suită completă de software open-source pentru platformă, inclusiv Yocto Linux, Astra SDK, lanțul de instrumente SyNAP și o documentație extinsă. Această abordare software unificată simplifică procesul de dezvoltare, permițând dezvoltatorilor să înceapă rapid să creeze aplicații cu platforma Astra.
Astra – viitorul Edge AI pentru IoT
Platforma Astra marchează o etapă majoră în evoluția Edge AI, trecând de la o caracteristică experimentală la o componentă indispensabilă a arhitecturii platformelor embedded. Grație platformei sale AI solide și verificate, opțiunilor extinse de conectivitate și ecosistemului puternic de parteneri, Synaptics se află într-o poziție bună pentru a răspunde cererii în creștere de dispozitive embedded inteligente. Pe măsură ce peisajul IoT continuă să evolueze, platforma Astra va juca un rol esențial în activarea cazurilor de utilizare AI pentru aplicații multimodale (aplicații AI care integrează mai multe tipuri de date și senzori pentru a face predicții și a lua decizii).
Author: Nebu Philips,
Senior Director, Strategy and Business Development,
Synaptics Incorporated
Despre autor:
Augustine Nebu Philips este Senior Director of Strategy and Business Development la Synaptics Incorporated, unde are rolul de a supraveghea inițiativele strategice și de a stimula creșterea afacerilor în domeniul IoT și al soluțiilor pentru procesoare edge. Înainte de a se alătura Synaptics, Nebu a fost Senior Director of Product Marketing la Xsight Labs. A petrecut aproape șase ani la Arm, unde a condus operațiunile de marketing axate pe rețele pentru întreprinderi și centre de date. De asemenea, a ocupat poziții de conducere la AMD și Broadcom. Are o diplomă de masterat în informatică obținută de la Universitatea din Nebraska-Lincoln și un MBA în marketing de la Școala de afaceri Leavey a Universității Santa Clara.
