Integrarea viziunii embedded este esențială pentru succesul sistemelor accelerate de inteligență artificială, indiferent dacă acestea sunt implementate în vehicule autonome, în camere de supraveghere video sau în robotică colaborativă. Blocurile constructive de viziune embedded preconfigurate facilitează dezvoltatorilor crearea rapidă de soluții personalizate. În cooperare cu Basler, congatec a dezvoltat o astfel de platformă de blocuri de construcție, bazată pe procesorul i. MX 8 Plus de la NXP și pe impresionanta sa unitate de procesare neuronală (NPU) integrată.
Progresul de la viziunea naturală la cea artificială
Ochiul este rezultatul unei capodopere evolutive a naturii. De la retina sensibilă la lumină, la nervul optic care transportă informațiile până la creierul care analizează – vederea naturală este o activitate de procesare a datelor extrem de complexă, care utilizează rețele neuronale de mică putere. Abstractizarea inteligentă a ceea ce se vede permite oamenilor și animalelor să concluzioneze într-o fracțiune de secundă ce relevanță are pentru viața lor lumina vizibilă captată de ochi. Această capodoperă a inteligenței naturale a avut nevoie de milioane de ani pentru a evolua. Dezvoltatorii de sisteme de inteligență artificială (AI) trebuie să realizeze această performanță mult mai repede.
De aceea, dezvoltatorii de aplicații bazate pe accelerare AI se orientează către kituri de viziune embedded compacte și preconfigurate, care combină hardware și software AI dovedit într-un mod eficient din punct de vedere energetic. În prezent, există un interes deosebit de mare pentru soluțiile de calcul aflate la marginea rețelei. Pentru sistemele accelerate de inteligența artificială, acesta este punctul nevralgic pentru a lua decizii în cunoștință de cauză în timp real, pornind de la informațiile provenite din imagini. Ocolul prin analiza bazată pe cloud durează mai mult și depinde de disponibilitatea continuă a rețelei. În timp ce la margine, sunteți întotdeauna în zona de acțiune, ceea ce face posibilă preluarea și evaluarea autonomă, în fracțiuni de secundă, a datelor de imagine.
NPU – inima sistemelor de viziune embedded
Figura 1: Kitul de start pentru viziune embedded cu accelerare AI de la congatec integrează componentele cheie ale unui ‘ochi AI’: O cameră Basler dart ca ‘ochi’, o placă suport SMARC 2.1 cu 2x MIPI CSI ca ‘nerv optic’ și un modul SMARC 2.1 pe post de ‘creier’. (© congatec)
Un procesor neuromorfic (sau o unitate de procesare neuronală – NPU) este un element indispensabil pentru a asigura performanța de calcul necesară pentru învățarea profundă și învățarea automată la marginea sistemului. NPU-urile excelează atunci când vine vorba de analiza imaginilor și a modelelor, ceea ce le face să reprezinte unitatea centrală de calcul a sistemelor de viziune embedded cu accelerare AI. Inspirate de arhitectura rețelei neuronale a creierului, procesoarele neuromorfice se bazează pe evenimente și necesită consum de putere doar ocazional. Acest lucru înseamnă că NPU-urile consumă doar câțiva wați, chiar și pentru cele mai complexe sarcini de calcul și de grafică. Practic, aceste NPU-uri cu consum redus de putere pot atinge performanțe de ordinul a câtorva tera operații pe secundă (TOPS), ceea ce corespunde cerințelor de calcul la margine pentru sistemele embedded.
Kit de start personalizat pentru aplicații de margine
Producătorul de semiconductoare NXP a echipat procesorul său i.MX 8M Plus cu o astfel de unitate NPU pentru a-l face potrivit pentru învățarea automată. Dispunând de patru nuclee Arm Cortex-A53 și de un controler Arm Cortex-M7, unitatea atinge până la 2,3 TOPS. Mai mult, i.MX 8M Plus beneficiază de un procesor de semnal de imagine (ISP – Image Signal Processor) pentru o procesare paralelă, în timp real, a imaginilor și a clipurilor video de înaltă rezoluție. Deoarece permite pre-procesarea imaginilor încă din timpul achiziției, NPU poate furniza rezultate și mai precise ale imaginilor în post-procesare. Acest lucru nu este interesant doar pentru procesarea industrială de înaltă performanță a imaginilor; acesta reprezintă un avantaj oriunde pot fi utilizați algoritmi de procesare a imaginilor pentru a produce rezultate vizuale mai bune. Pentru a accelera implementarea procesorului NXP, congatec a proiectat și a lansat un kit de start cu ajutorul căruia dezvoltatorii pot aduce rapid și în siguranță viziunea AI în aplicațiile lor de la marginea rețelei. În centrul kitului de viziune embedded se află un Computer-on-Module (COM) SMARC 2.1 de dimensiunea unei cărți de credit echipat cu un procesor i.MX 8M Plus. Modulul poate controla până la trei display-uri independente, dispune de decodare/codificare a datelor video cu accelerare hardware și oferă până la 128 GB de memorie eMMC pentru stocarea datelor. Compresia video H.265 permite NPU să trimită fluxuri video de înaltă rezoluție, pre-selectate din cele două interfețe MIPI-CSI integrate, direct către o stație centrală de control. Dispunând de interfețe periferice multiple, modulul SMARC oferă acces la un ecosistem extins de sisteme embedded cu accelerare AI și, în funcție de configurație, este potrivit pentru utilizare industrială într-un interval de temperatură cuprins între -40 și +85°C. De asemenea, modulul are un consum redus de putere în exploatare, de numai 2 până la 6 wați și vine cu răcire pasivă.
Figura 2: ‘Creierul’ din spatele viziunii AI: Modulul SMARC 2.1 conga-SMX8-Plus aduce inteligența neuromorfică la margine (edge) cu un TDP de numai 6 wați. (© congatec)
Soluțiile ‘edge’ trebuie să fie robuste și fiabile
Un hardware robust și fiabil este o necesitate absolută pentru sistemele vizuale de calcul la margine (edge computing), unde datele nu pot fi procesate într-un mediu protejat și climatizat, așa cum este posibil în cazul sistemelor de calcul în cloud. Fie că sunt implementate în exterior sau pe teren, fie că se deplasează la bordul unui vehicul sau că sunt amplasate pe platforma de producție, sistemele visual edge computing trebuie să fie rezistente. Cererea de viziune AI provine din aplicații vizuale, cum ar fi detectarea fructelor coapte în agricultură, inspecția automată a produselor în procesul de fabricație, controlul accesului în automatizarea clădirilor sau recunoașterea produselor în coșurile de cumpărături la punctele de vânzare. Analiza în timp real ‘edge based’ este superioară inspecției umane, deoarece funcționează 24/7. Avantajele sunt deosebit de importante pentru operațiunile industriale care se desfășoară în medii neprielnice. Să luăm, de exemplu, monitorizarea turbinelor eoliene sau supravegherea video a proceselor de producție din motive de siguranță. După cum relevă un studiu McKinsey, sistemele de inteligență artificială pot crește utilizarea și productivitatea echipamentelor industriale cu până la 20% prin intermediul întreținerii predictive. Monitorizarea vizuală a calității cu detectarea automată a defectelor poate aduce chiar creșteri ale productivității de până la 50%. Iar pentru cerințele ridicate de siguranță ale conducerii autonome, soluțiile de inteligență artificială ‘edge based’ reprezintă soluția supremă pentru a asigura un transport fiabil și sigur al bunurilor și persoanelor.
Profitați de eIQ pentru a personaliza viziunea
Dată fiind varietatea aplicațiilor posibile de viziune embedded, este de la sine înțeles că un kit de start trebuie să permită dezvoltări personalizate. În acest scop, NXP oferă platforma de dezvoltare software eIQ Machine Learning, unde eIQ înseamnă ‘edge intelligence’ (inteligență la margine). Aceasta oferă dezvoltatorilor de sisteme accelerate de inteligență artificială acces la o platformă care combină diferite biblioteci și instrumente de dezvoltare adaptate la microprocesoarele și microcontrolerele NXP. Aceasta include motoare de inferență bazate pe software, care pot extrage, prin raționament, elemente noi din datele existente și din alte perspective. eIQ suportă motoare de inferență și biblioteci precum Arm Neural Network (NN) și TensorFlow Lite (open-source).
‘Ochiul’ accelerat AI vine de la Basler
În timp ce SMARC COM din cadrul setului de start este creierul artificial din spatele ‘ochiului AI’, o placă carrier de 3,5 inci, de mărimea unei cărți poștale, servește drept ‘nerv optic’. Ca interfață centrală pentru comunicația de date, aceasta utilizează MIPI CSI-2.0 – în acest caz, o cameră Basler dart BCON MIPI – pentru a conecta “creierul” cu “ochiul”. Nu sunt necesare module convertoare suplimentare, iar tot ceea ce are nevoie un sistem de procesare a imaginilor cu accelerare AI se potrivește pe o amprentă minimă. Puțin mai mare decât o cutie de chibrituri și cu o lentilă cu o distanță focală de 4 mm, camera Basler dart poate fi integrată chiar și în spații foarte înguste. Consumul redus de putere și nivelul minim de încălzire o fac deosebit de potrivită pentru utilizarea la marginea rețelei. În ceea ce privește software-ul, suita de programe pentru camere pylon de la Basler oferă un SDK uniform, care poate fi utilizat și cu alte interfețe decât MIPI CSI-2.0 și poate controla camerele industriale cu standarde USB 3 sau GigE. Grație pachetului integrat – cameră Basler dart și software – kitul de pornire pentru procesoarele i.MX 8M Plus oferă dezvoltatorilor acces ușor la funcțiile de bază ale sistemelor de viziune automată cu accelerare AI, cum ar fi declanșarea, livrarea ultra-rapidă a imaginii într-un singur cadru, opțiuni de configurare a camerelor foarte diferențiate și algoritmi de inferență personalizați pe baza ecosistemelor Arm NN și TensorFlow Lite. Astfel, dezvoltatorii dispun de instrumentele necesare pentru a valorifica întreaga performanță oferită de NPU.
Proiectat pentru interacțiunea om-mașină
Kitul complet și preconfigurat de start pentru viziune AI nu numai că economisește timp atunci când se dezvoltă sisteme embedded de viziune, ci oferă și siguranța de a se baza pe tehnologii consacrate și standarde dovedite. Combinația dintre procesoarele Arm Cortex-A și NPU de la NXP este cea care permite dispozitivelor periferice să ia decizii inteligente la fața locului, învățând și trăgând concluzii adecvate din informațiile vizuale, cu intervenție umană redusă sau deloc. Domeniul de aplicare al setului de pornire pentru viziune embedded bazat pe NPU trece mult dincolo de recunoașterea persoanelor sau a obiectelor. De exemplu, recunoașterea gesturilor mâinii și a emoțiilor, combinată cu procesarea limbajului natural, face ca setul de pornire să fie ideal pentru aplicații de comunicare interactivă între oameni și mașini. Timpii de răspuns foarte scurți și localizarea precisă ajută la optimizarea asamblării robotizate a produselor sau a logisticii de depozitare în producția industrială. Mulțumită standardelor înalte de siguranță, kitul de start este, de asemenea, potrivit pentru aplicații în domenii sensibile, cum ar fi serviciile pentru clienți sau asistența medicală. Și, în cele din urmă, lista include aplicații în cercetare și știință, unde ochiul accelerat de inteligența artificială poate, de exemplu, să investigheze adâncurile oceanelor, să efectueze cercetări în gheața perpetuă din Antarctica sau să observe și să analizeze în timp real ce se întâmplă pe Lună, Marte și alte planete în timpul zborurilor spațiale. În cazul acestora din urmă, trimiterea datelor de imagine pe Pământ ar dura mult prea mult timp pentru a putea reacționa în timp real.
Autor:
Martin Danzer, Director Product Management la congatec
