Totul se rezumă la predicție
Sistemele de fuziune a senzorilor cheltuiesc o cantitate semnificativă de resurse pentru a prezice viitorul. Iată de ce acest lucru îmbunătățește funcțiile de conducere automată.
Se afirmă adesea că sistemele de conducere automată și sistemele avansate de asistență a șoferului (ADAS) trebuie să perceapă corect mediul înconjurător al vehiculului.
Scenariu provocator pentru protecția pietonilor inspirat din catalogul de testare AEB NCAP. Pietonul trebuie să fie recunoscut ca fiind în pericol înainte ca acesta să intre pe carosabil, astfel încât vehiculul să poată iniția o oprire de urgență nepericuloasă. Predicția mișcării pietonului folosind diferite ipoteze de comportament este o cerință esențială pentru sistemul de fuziune a senzorilor. (© BASELABS) ▶
În acest context, vedem frecvent imagini de cameră cu detecții de obiecte care provin din metode sofisticate de detecție bazate pe inteligență artificială (AI), vizualizate de obicei prin cadre rectangulare de delimitare suprapuse peste imagine.
Dintr-o perspectivă umană, aceste detecții de imagini dau adesea impresia că problema este rezolvată și că o mașină “ar putea decide” cum ar trebui să procedeze. Cu toate acestea, spre deosebire de mașinile existente în prezent, oamenii pot extrage mult mai multe informații de context dintr-o singură imagine. De exemplu, un om ar putea înțelege că un pieton se grăbește spre un taxi și că acesta va traversa strada, astfel încât o frânare bruscă ar putea fi potrivită.
Pentru ca o funcție de conducere automatizată, cum ar fi frânarea autonomă de urgență (AEB), cu capabilitățile sale limitate de recunoaștere, să reacționeze în mod similar, aceasta trebuie să știe nu numai unde se află un obiect în acest moment, ci și unde se va afla în viitorul apropiat − poziția obiectului trebuie să fie prezisă pentru acest viitor apropiat.
În acest articol, voi explica de ce predicția nu este utilizată doar de funcția de conducere în sine, ci are un impact masiv asupra performanței sistemului de fuziune a senzorilor care furnizează modelul de mediu.
Fuziunea senzorilor pe scurt
În conducerea automată, combinația mai multor senzori diverși compensează punctele slabe ale senzorilor individuali, de exemplu, o cameră foto detectează mai bine pietonii decât un radar, în timp ce un radar asigură o acoperire pe distanțe lungi. Convertirea diferitelor date provenite de la senzori într-o imagine uniformă a mediului înconjurător al vehiculului se numește fuziune de date ale senzorilor − sau, pe scurt, fuziune de senzori.
Fuziunea senzorilor nu este un algoritm monolitic singular. Dimpotrivă, aceasta reunește mai mulți algoritmi a căror selecție și combinație depind de configurația senzorilor și de funcția de conducere.
În orice caz, sarcina principală a oricărui sistem de fuziune a senzorilor este de a compara observațiile sau măsurătorile senzorilor cu așteptările sistemului cu privire la aceste măsurători. Din diferențele constatate, starea sistemului este adaptată sau actualizată.
Un exemplu: Un vehicul circulă în fața noastră. Să presupunem că sistemul de fuziune a senzorilor știe deja că vehiculul se află la o distanță de aproximativ 50 de metri și că este cu 10 m/s mai lent decât mașina noastră. Dacă un senzor observă acel vehicul 100 de milisecunde mai târziu, sistemul de fuziune a senzorilor se așteaptă ca vehiculul să se afle în fața noastră la 49 de metri, folosind cinematica simplă s = s₀ + v∙t − așa-numitul model de mișcare. Cu toate acestea, dacă, în realitate, vehiculul este cu 15 m/s mai lent decât al nostru, distanța observată va fi de 48,5 în loc de 49 de metri. Din diferența 49m – 48,5m = 0,5m, fuziunea senzorilor poate concluziona că estimarea inițială a vitezei sale a fost “greșită” și că ar trebui să fie în schimb în jur de 15m/s = 10m/s + 0,5m/0,1s – așadar, starea sistemului este actualizată.
Pentru a efectua etapa de actualizare descrisă, măsurătorile senzorilor trebuie să fie asociate cu obiecte deja cunoscute sau cu așa-numitele piste (tracks). Pentru această asociere, toate pistele sunt prezise la momentul măsurătorilor cu ajutorul modelului de mișcare. Apoi, fiecare măsurătoare este asociată cu pista a cărei predicție este cea mai apropiată de măsurare, iar pista este actualizată cu acea măsurătoare.
Calitatea predicției este esențială pentru asociere și, prin urmare, pentru performanța globală a fuziunii senzorilor.
Să presupunem că asocierea nu reușește să găsească o măsurătoare apropiată de o pistă prezisă sau că selectează o pistă căreia nu îi aparține măsurarea din cauza unei predicții necorespunzătoare. În acest caz, pistele fie nu vor fi actualizate, fie vor fi actualizate folosind o măsurătoare greșită, ceea ce, la rândul său, duce la stări de piste invalide, cum ar fi o poziție greșită a pistei. Adesea, o astfel de asociere incorectă duce la un eșec al fuziunii senzorilor și la un comportament incorect al funcției de conducere. Să vedem cum putem evita acest lucru.
Numărul corect de modele
Deși modelul de mișcare din exemplu pare evident, alte modele ar putea fi mai potrivite:
- În cazul în care fuziunea senzorilor trebuie să susțină vehiculele care virează, ar trebui să se ia în considerare modele care includ curbura, de exemplu, așa-numitul model de curbură și accelerație constantă (CCA).
- În cazul în care același sistem de fuziune a senzorilor trebuie să asiste și pietonii, ar putea fi utilizat un model de mișcare cu un grad mai mare de libertate, de exemplu, modelul de viteză constantă (CV).
- Pentru bicicliști, ar putea fi utilizat și modelul CCA. Cu toate acestea, parametrii modelului diferă probabil de cei utilizați pentru vehicule.
Utilizarea unui model separat pentru fiecare clasă de obiecte poate crește considerabil performanțele fuziunii senzorilor, deoarece predicțiile de urmărire devin mai bune și, astfel, asocierea devine mai bună.
Din nefericire, deseori, clasa unui obiect nu este cunoscută în mod fiabil de către sistemul de fuziune a senzorilor dacă este un obiect “nou”, de exemplu, un obiect care intră în câmpul vizual al senzorului. Imaginați-vă că radarul unui sistem detectează primul obiectul nou (și nu furnizează informații de clasificare). Atunci, sistemul nu poate decide asupra unui singur model de mișcare, deoarece acesta ar putea fi greșit și, astfel, ar duce din nou la predicții și asocieri greșite.
În schimb, fuziunea senzorilor ar trebui să creeze mai multe ipoteze, câte una pentru fiecare clasă pe care sistemul ar trebui să o suporte, de exemplu, o ipoteză care presupune că obiectul este un vehicul folosind modelul CCA și o ipoteză care presupune că obiectul este un pieton folosind modelul CV. Apoi, toate aceste ipoteze pot fi utilizate pentru a prezice starea pistei.
Cu o astfel de abordare bazată pe modele multiple, devine mai probabil ca măsurătorile corecte să fie asociate cu pista.
În timp, atunci când sosesc mai multe măsurători, sistemul de fuziune a senzorilor ar trebui să rezolve ambiguitatea modelului cât mai curând posibil pentru a economisi resurse de calcul și de memorie. Există mai multe opțiuni privind modul în care se poate scăpa de ipotezele invalide:
- Este posibil ca mișcarea reală a obiectului să nu se potrivească cu o ipoteză de traseu. În acest caz, măsurătorile pot apărea la o distanță mare față de ipoteză. Sistemele de fuziune a senzorilor cu estimare integrată a existenței scad probabilitatea de existență a ipotezei ale cărei măsurători sunt puțin probabile. Dacă valoarea de existență scade sub o anumită valoare, ipoteza este eliminată.
- Clasa obiectului este determinată de un senzor, cum ar fi o cameră de luat vederi, la un moment dat. Ipotezele care aparțin altor clase pot fi eliminate.
Sistemele moderne de fuziune a senzorilor trebuie să gestioneze și mai multe ipoteze din cauza unui nivel mai ridicat de ambiguitate. O provocare tipică în zonele urbane este faptul că direcția de deplasare a obiectelor nu poate fi adesea derivată în mod fiabil din primele cadre după detectarea inițială. Dacă valoarea “greșită” a direcției este utilizată în modelul de mișcare, predicția devine din nou greșită. Pentru a depăși această problemă, se creează mai multe ipoteze cu valori diferite ale direcției, iar cea mai probabilă ipoteză va supraviețui în sistemul de fuziune a senzorilor.
Gestionarea corectă și eficientă a tuturor ipotezelor este o sarcină complexă care trebuie abordată de sistemele moderne de fuziune a senzorilor.
Pe lângă modelele de mișcare dedicate pentru fiecare clasă de obiecte, modelele de detecție și măsurare trebuie să fie specifice fiecărei clase. În acest fel, fuziunea senzorilor poate lua în considerare caracteristicile senzorilor specifice clasei și se pot determina predicții de măsurare mai bune.
Performanța sistemelor de fuziune a senzorilor depinde de capacitatea lor de a prezice diferite clase de obiecte. În special, sistemele de fuziune a senzorilor ar trebui să suporte:
- modele de mișcare specifice clasei, utilizând mai multe abordări ale modelelor pentru a lua în considerare diferitele comportamente ale obiectelor
- să inițializeze piste utilizând mai multe ipoteze pentru a face față ambiguităților de inițializare
- să aplice diferite modele de senzori în funcție de clasa obiectului
- să gestioneze eficient ipotezele pentru a economisi resursele CPU și de memorie.
Autor:
Dr. Eric Richter, Director de relații cu clienții și co-fondator BASELABS