Viziunea computerizată mai rapidă și mai performantă este un jalon important pe drumul spre următoarea generație de automatizări industriale, mașini fără șofer și managementul orașelor inteligente. Calitate mai bună a imaginii, captare mai rapidă a imaginii, precum și costuri și complexitate mai reduse ale echipamentelor sunt obiectivele esențiale pentru proiectanții echipamentelor automatizate, sistemelor de inspecție și robotică, cu scopul de a consolida asigurarea calității și de a crește productivitatea.
În mod similar, viziunea computerizată avansată va fi placa turnantă pentru vehiculele autonome, pentru a le permite să recunoască semnele de circulație, marcajele rutiere și potențialele pericole de pe drum. Aici, accentul se va pune pe reducerea timpului de răspuns al sistemului și îmbunătățirea preciziei de recunoaștere a imaginii. În ceea ce privește aplicațiile pentru orașele inteligente, claritatea îmbunătățită a imaginilor provenite de la sistemul CCTV centralizat al orașului poate ajuta autoritățile de aplicare a legii să protejeze cetățenii, prin anticiparea perturbărilor și îmbunătățirea capabilităților de identificare.
În plus, încep să apară noi oportunități pentru sistemele de viziune computerizată de înaltă performanță. Printre ele se numără dronele aflate la bordul vehiculelor pentru a ajuta la ghidarea acestora, precum și cu scopul colectării de date (cum ar fi supravegherea terenurilor agricole sau a siturilor arhitecturale).
Pentru a extrage mai multe informații din imaginile captate în intervale de timp mai scurte, este nevoie de imagini de mai bună calitate și de performanță îmbunătățită în procesarea semnalelor. În acest scop, apar unele inovații importante care se aplică atât camerelor și senzorilor de imagine, cât și – datorită comercializării tehnologiilor de învățare automată – tehnicilor de procesare a imaginilor utilizate.
Lentilele de generație următoare îmbunătățesc focalizarea și viziunea
Ca elemente aflate în prim-planul întregului sistem, lentilele camerelor sunt supuse unor evoluții tehnice noi și performante, care pot îmbunătăți flexibilitatea, reduce durata ciclurilor și simplifica designul echipamentelor, prin îndeplinirea mai multor sarcini cu o singură cameră sau un singur obiectiv.
Printre acestea, obiectivele (lentilele) lichide (așa cum se arată în figura 1) reprezintă o clasă emergentă de elemente optice, care extind profunzimea de câmp a unei lentile convenționale, fără costurile și complexitatea unui sistem de focalizare motorizat tradițional. Focalizarea motorizată este, totodată, relativ lentă, de aceea eliminarea acesteia va crește durata ciclurilor în aplicații, cum ar fi inspecția industrială, care implică obiecte poziționate la diverse distanțe.
Figura 1: O lentilă lichidă permite ajustarea punctului focal cu o modificare a formei de doar câțiva µm.
Introducerea unei lentile lichide permite unui sistem optic standard să ajusteze focalizarea din mers în câteva milisecunde – de la infinit la mai puțin de 100 mm, în funcție de distanță. Lentila lichidă conține un lichid optic sigilat în interiorul unei membrane flexibile. Modificarea razei obiectivului cu doar câțiva microni, prin deplasarea membranei sau ajustarea volumului de lichid optic, are un efect comparabil cu deplasarea obiectivului cu câțiva centimetri, folosind un sistem de focalizare motorizat convențional. Pe lângă focalizarea mai rapidă și construcția mai simplă (cu mai puține piese mobile și șanse mai mici de defecțiuni în funcționare), sistemele cu lentile lichide beneficiază, în plus, de o inerție mai mică și de un consum redus de energie.
Alternativ, achiziția de imagini la 360 de grade permite sistemelor de viziune computerizată să capteze mai multe informații despre un anumit subiect, folosind o singură cameră, într-o poziție fixă. Acest lucru poate genera economii de costuri și reducerea complexității unui sistem de inspecție multicameră și a subsistemelor asociate de procesare și stocare a imaginilor, care pot cauza, de asemenea, limitări ale performanței sistemului. În caz contrar, poate fi necesar un mecanism pentru repoziționarea sau rotirea camerei sau a obiectului care urmează să fie inspectat, în aplicații cum ar fi inspecția ambalării alimentelor sau supravegherea aeriană, ceea ce, în mod similar, sporește cheltuielile și complexitatea generală a sistemului.
Într-un sistem care necesită inspectarea de jur împrejur a obiectelor, cum ar fi etichetele aplicate pe sticle într-o fabrică de ambalare, viziunea la 360 poate fi obținută folosind un obiectiv hipercentric sau pericentric, poziționat direct deasupra obiectului. Un obiectiv hipercentric captează razele de lumină ca și cum acestea ar proveni dintr-un singur punct situat la o anumită distanță în fața obiectivului. Acest punct de convergență și perimetrul obiectivului (lentilei) definesc un con de vizualizare. Poziționarea obiectului în interiorul acestui con de vizualizare, direct sub lentila orientată în jos, permite pătrunderea simultană în obiectiv a luminii de pe suprafața superioară și de pe părțile verticale ale obiectului. Focalizarea luminii pe senzor permite captarea întregii imagini într-un singur cadru. În mod similar, aceste camere pot capta o imagine la 360 de grade în interiorul unei găuri sau cavități, eliminând astfel orice nevoie de a introduce o sondă optică. Alte tehnici de captare a mai multor imagini ale unui obiect într-un singur cadru combină obiectivul hipercentric cu o serie de oglinzi, care văd, efectiv simultan, fiecare parte laterală a obiectului.
Senzori – aspecte fizice și fabricație
Creșterea rezoluției senzorilor de imagine CMOS este esențială pentru captarea unor imagini cu detalii mai fine, cu toate că simpla reducere a dimensiunii pixelilor poate duce la o calitate mai slabă a imaginii din cauza unui raport semnal-zgomot (SNT – signal-to-noise ratio) mai mic. Obținerea unei rezoluții superioare necesită evoluții tehnice pentru a reduce dimensiunea pixelilor, fără a afecta performanța senzorului. Aceste lucruri se pot realiza într-o serie de zone, cum ar fi optimizarea distanței dintre pixeli și raportul dintre aria sensibilă la lumină și aria totală (numită și factor de umplere a pixelilor). Modificări mai importante la nivelul fizicii pixelului pot îmbunătăți parametri precum câștigul, eficiența și gama dinamică. Producătorii de senzori au îmbunătățit, totodată, tehnologiile de citire a datelor din pixeli, obținând progrese cum ar fi un SNR mai mare, o rată a cadrelor și o liniaritate superioare.
Printre cele mai importante tendințe care au influențat performanța senzorilor în ultimul deceniu sau cam așa ceva se numără utilizarea senzorilor cu iluminare din spate (BSI – back-side illuminated). Aceștia absorb lumina prin suprafața superioară și cea inferioară, permițând miniaturizarea pixelilor, fără degradarea parametrilor de performanță esențiali (cum ar fi capacitatea de sarcină a pixelului, eficiența cuantică, curentul de întuneric etc.). Acest lucru a fost urmat în perioadele mai recente de suprapunerea tridimensională (3D) a senzorilor și matrițelor pentru procesarea imaginii, cu scopul de a obține factori de formă mai mici. Ulterior, suprapunerea hibridă 3D, care implică îmbinarea plăcuțelor de dioxid de silicon și a celor de metal, elimină trecerile prin siliciu (TSV – through-silicon vias) în favoarea unor conexiuni directe mai eficiente între două cipuri. Cel mai recent, a fost dezvoltată integrarea secvențială, care permite fabricarea de senzori de imagine monolitici ce combină fiecare o matrice de fototranzistoare cu logică de citire a pixelilor și memorie suprapuse 3D, care se conectează cu ajutorul unor I/O integrate de înaltă densitate.
Obturatorul global îmbunătățește imagistica în mișcare
În automatizarea industrială de mare viteză, precum și în aplicațiile auto și cu drone, este nevoie de a capta imagini clare și precise ale obiectelor care se deplasează rapid. Acest lucru pune la încercare performanța senzorilor de imagine tradiționali cu obturator rotativ, care citesc datele de imagine de la pixelii senzorului în memoria tampon de cadre, rând cu rând. Dacă obiectul este în mișcare, schimbarea poziției în intervalul de timp dintre citirea imaginii de pe un rând și citirea imaginii de pe următorul rând poate provoca distorsiuni precum neclarități sau deformarea imaginii.
Obturarea globală îmbunătățește claritatea imaginii atunci când se fotografiază obiecte care se deplasează rapid sau când camera este montată pe un vehicul aflat în mișcare. Utilizată pentru prima dată la camerele fixe din gama de vârf, tehnica este acum solicitată pentru a îmbunătăți performanța sistemelor de viziune industriale și auto. În cazul obturării globale, valoarea de încărcare a tuturor pixelilor este stocată simultan într-o mică celulă de memorie dedicată (in-pixel) înainte de a fi citită secvențial în bufferul de cadre, rând pe rând, ca înainte. Astfel, se obține o imagine clară, fără distorsiuni generate de obturatorul rulant.
Au fost depășite o serie de dificultăți pentru a crea senzori de imagine cu obturator global care să atingă un SNR și o gamă dinamică ridicate fără a crește dimensiunea pixelului, pentru a compensa prezența memoriei ‘in-pixel’, care reduce efectiv aria pixelului ce poate fi utilizată pentru absorbția fotonilor. Un exemplu de astfel de senzori de imagine este modelul ARO144 de la onsemi, (fostă ON Semiconductor) de 1 Mpixel și 1/4 inch.
Figura 2: Senzorul de imagine ARO144 de la ON Semiconductor. — © onsemi
Pixelii cu obturator global dispun de înaltă eficiență cuantică pentru a asigura încărcarea rapidă și rămân în același timp insensibili la efectele încărcării care nu sunt legate de imagine, cum ar fi diafonia produsă de difuzia electronilor. În plus, ecranarea optică este aplicată în imediata apropiere a senzorului, pentru a exclude dispersia luminii de pe suprafața pixelului.
Inteligența artificială în procesarea imaginii
În cadrul procesului de prelucrare a semnalelor, care se află în spatele opticii camerei și a senzorului, introducerea învățării automate (prin intermediul rețelelor neuronale profunde) permite o revoluție în modul în care sunt construite imaginile și în care sunt extrase ulterior informațiile din acestea. Un exemplu se poate vedea în utilizarea inteligenței artificiale pentru a îmbunătăți semnificativ performanța în condiții de lumină redusă, permițând captarea unor imagini de înaltă calitate în condiții aproape obscure.
Se știe că datele brute captate în condiții de luminozitate scăzută reprezintă o provocare pentru sistemele tradiționale de procesare a imaginii. Creșterea sensibilității senzorilor prin metode electronice (număr ISO) poate adăuga în imagini un zgomot sesizabil, ceea ce duce la o slabă calitate a imaginii, iar aplicarea metodei de anulare a zgomotului pe imagine are o eficacitate limitată. Alte tehnici de îmbunătățire a calității imaginii includ prelungirea timpului de expunere, chiar dacă acest lucru este adesea imposibil de aplicat în aplicații industriale sau pentru camerele de la bordul vehiculelor.
Mai recent, a fost dezvoltată o tehnică ingenioasă, care valorifică învățarea automată pentru a reduce semnificativ zgomotul detectabil din imaginile construite pornind de la date brute captate în condiții de luminozitate scăzută. O rețea neurală profundă este antrenată folosind seturi de date care conțin imagini brute cu expunere scurtă în condiții de luminozitate scăzută și imagini corespunzătoare de referință cu expunere îndelungată. Când rețeaua este complet antrenată, aceasta poate crea imagini de înaltă calitate lucrând direct pe datele brute cu expunere scurtă. Această tehnică este lansată pe piață prin telefoanele inteligente din gama de vârf, permițând realizarea unor fotografii mai reușite. Poate fi aplicată și pentru captarea unor imagini mai bune pentru aplicațiile industriale și de securitate, cum ar fi sistemele de inspectare a liniilor de producție sau sistemele de supraveghere.
Concluzie
Se dezvoltă numeroase îmbunătățiri tehnice pentru sistemele moderne de procesare a imaginii – de la obiectivele camerelor, în partea frontală a sistemului, până la ansamblul de detectare și procesare a imaginii, situat în spate. Se așteaptă ca, împreună, acestea să conducă la extinderea gamei de aplicații care pot fi abordate, precum și la creșterea indicatorilor esențiali de performanță ai sistemului.
Autor:
Mark Patrick
Mouser Electronics
Authorised Distributor
www.mouser.com
Urmărește-ne pe Twitter