Atingere, voce și gesturi: un sistem demonstrativ arată cum poate fi implementată interacțiunea modernă om-mașină într-un spațiu restrâns. Inteligența integrată, combinată cu interfețe flexibile, permite realizarea unor modalități de operare receptive și intuitive.
Modul în care oamenii interacționează cu mașinile evoluează într-un ritm rapid. Deși ecranele tactile sunt acum ceva obișnuit, conceptele de operare fără contact devin din ce în ce mai importante, în special în aplicațiile în care igiena, condițiile de mediu sau limitările fizice joacă un rol esențial.
Sistemul demonstrativ prezentat aici (Figura 1) arată cum pot fi combinate, într-un singur sistem embedded, diferite principii de detecție – radar, voce și atingere – pentru realizarea unei interfețe om-mașină (HMI) robuste. Obiectivul a fost demonstrarea capacității sistemului de recunoaștere de a funcționa fiabil în prezența unor factori externi precum lumina solară puternică, ploaia și zgomotul ambiental, precum și în situațiile în care utilizatorul are mâinile murdare sau poartă mănuși. Dezvoltat în cadrul unor proiecte interne și pentru clienți, prototipul oferă o bază practică pentru valorificarea expertizei în hardware, software și algoritmi destinați recunoașterii gesturilor prin radar și controlului vocal.
Figura 1: Vedere de ansamblu a sistemului demonstrativ cu ecran tactil, modul radar, placa microcontrolerului și motor. (Sursă imagine: Rutronik System Solutions)
Arhitectura sistemului – vedere de ansamblu
Sistemul demonstrativ combină, într-un design compact, toate elementele esențiale ale unei interfețe om-mașină moderne și multimodale. Integrarea controlului prin gesturi și voce, a controlului motorului și a afișajului grafic necesită o arhitectură atent coordonată, capabilă să gestioneze diverse interfețe pentru senzori și actuatoare și, în același timp, să permită procesarea paralelă în timp real.
O provocare importantă a constat în integrarea, pe o singură platformă cu microcontroler, a unor componente eterogene cu interfețe electrice diferite – de la conexiuni de mare viteză pentru afișaj până la intrări de senzori pentru care latența este critică. PSOC Edge de la Infineon furnizează puterea de procesare și perifericele necesare procesării semnalelor și controlului, în timp ce sistemul de operare în timp real FreeRTOS coordonează sarcinile individuale și gestionează fluxurile de date și comenzile de control prin intermediul magistralei interne de interconectare AHB.
Tabelul 1: Principalele componente hardware ale sistemului demonstrativ, împreună cu caracteristicile și funcțiile acestora.
Tehnologie radar de 60 GHz pentru recunoașterea gesturilor
Recunoașterea gesturilor reprezintă elementul principal de control al sistemului demonstrativ. Sunt detectate mișcările spre stânga și spre dreapta, care determină creșterea sau reducerea vitezei motorului, precum și o mișcare de “împingere” utilizată pentru oprirea acestuia. În centrul sistemului se află un senzor radar FMCW de 60 GHz pentru detectarea mișcării. Procesarea semnalului se realizează integral pe nucleul Cortex-M55 al PSOC Edge. Deoarece în această etapă nu se utilizează învățarea automată, timpul de dezvoltare este redus și nu mai este necesară etapa de antrenare.
Procesul de recunoaștere a gesturilor în cadrul sistemului demonstrativ (Figura 2):
- Date de intrare: Amplitudinea și AoA (numai azimutul, deoarece în prezent sunt diferențiate doar direcțiile “stânga” și “dreapta”).
- Achiziție: Un senzor radar FMCW de 60 GHz, prevăzut cu o antenă de emisie și trei antene de recepție, furnizează câte un semnal separat pentru fiecare antenă.
- Detectarea mișcării: Aplicarea unei transformate Fourier rapide pentru analiza Doppler (FFT Doppler) asupra fiecărui semnal de antenă, în vederea identificării țintelor în mișcare și eliminării răspunsurilor provenite de la obiectele statice.
- Determinarea direcției: Calcularea unghiului de azimut pe baza diferențelor de fază dintre semnalele antenelor de recepție.
- Clasificarea gesturilor: Analiza variației în timp a unghiului de azimut permite identificarea unor mișcări precum “glisare spre stânga”, “glisare spre dreapta” sau “clic”.
Figura 2: Recunoașterea gesturilor cu ajutorul senzorului radar BGT60TR13C de la Infineon. (Sursă imagine: Rutronik System Solutions)
Latența este de aproximativ 10 milisecunde după încheierea mișcării. Gesturile pot fi recunoscute la distanțe cuprinse între 5 și 30 de centimetri sau chiar de la distanțe mai mari, dacă sistemul este configurat corespunzător, inclusiv în condiții complexe de reflexie și în prezența unor factori de mediu obișnuiți, precum lumina solară. Luarea în considerare a unghiului de elevație (unghiul vertical) ar putea permite recunoașterea unor gesturi suplimentare, precum “sus/jos”.
Control vocal prin detectarea cuvintelor-cheie
Recunoașterea gesturilor este completată de controlul vocal bazat pe detectarea cuvintelor-cheie. Semnalele vocale sunt captate de un microfon MEMS, preprocesate pe nucleul Cortex-M55 al PSOC Edge și evaluate cu ajutorul unei rețele neurale antrenate. Rețeaua, alcătuită din mai multe straturi convoluționale, este optimizată special pentru recunoașterea unui set limitat de cuvinte-cheie clar definite, precum “start” sau “stop”.
Modelul a fost dezvoltat în Python utilizând bibliotecile Keras și TensorFlow și apoi portat pe PSOC Edge pentru utilizare împreună cu ML Configurator de la Infineon. Inferența rulează pe Cortex-M55 într-un mediu de execuție TensorFlow Lite Micro optimizat.
Procesul de detectare a cuvintelor-cheie (Figura 3):
- Înregistrare audio: Microfonul digital MEMS, cu o rată de eșantionare de 16 kHz, furnizează date PDM.
- Preprocesare: Conversia într-un banc de filtre MEL prin segmentarea semnalului în ferestre (durată: ~530 µs).
- Inferență: Evaluarea spectrelor MEL cu ajutorul unei CNN (rețea neurală convoluțională cu mai multe straturi).
- Rezultat: Cuvântul-cheie recunoscut este transmis sub forma unei comenzi către sistemul de control al motorului sau către alte funcții ale sistemului.
Figura 3: Procesul de detectare a cuvintelor-cheie. (Sursă imagine: Rutronik System Solutions)
Controlul motorului BLDC cu senzori Hall
Un motor de curent continuu fără perii (24 V, max. 4.800 RPM), controlat direct de microcontroler, oferă feedback imediat la comenzile prin gesturi sau voce. Cu ajutorul senzorilor Hall integrați, sistemul detectează viteza curentă și o ajustează în funcție de comenzile primite.
Pentru control este utilizat modulul IFX007T cu trei semipunți de la Infineon, comandat prin semnale PWM și linii digitale de control. Bucla de reglare a vitezei funcționează la o rată de eșantionare de 1 kHz, ceea ce permite aplicarea rapidă și precisă a modificărilor de viteză. Motorul are în principal un rol demonstrativ, dar poate fi înlocuit cu ușurință de alte actuatoare sau sisteme de afișare.
Interfața cu utilizatorul pe ecran tactil
Pentru vizualizarea stărilor sistemului este utilizat un ecran tactil capacitiv de 7”, cu o rezoluție de 1.024 × 600 pixeli. Acesta afișează, printre altele, valorile vitezei, gesturile recunoscute și starea controlului vocal.
Interfața grafică cu utilizatorul este generată direct pe microcontroler cu ajutorul bibliotecii open source LVGL. Utilizarea eficientă a memoriei și a resurselor de procesare permite rularea simultană, în timp real, a interfeței cu utilizatorul, a recunoașterii gesturilor și a procesării semnalului vocal. Rata de reîmprospătare de aproximativ 10 FPS este suficientă pentru afișarea stărilor sistemului și pentru feedback-ul oferit utilizatorului în timpul operării.
Provocări și lecții din dezvoltare
O caracteristică importantă a sistemului demonstrativ este compararea directă a două abordări: procesarea convențională a semnalului și învățarea automată (ML). Pentru recunoașterea gesturilor bazată pe tehnologie radar de 60 GHz, utilizarea ML a fost evitată în mod intenționat, deoarece nu era necesară din punct de vedere funcțional. Această abordare permite o recunoaștere mai robustă și cu latență redusă, fără a necesita o etapă de antrenare. Metoda nu este influențată de lumina parazită, de zgomotul perturbator sau de variațiile poziției mâinii.
În schimb, controlul vocal bazat pe detectarea cuvintelor-cheie utilizează o rețea neurală preantrenată, optimizată special pentru un set limitat de cuvinte-cheie clar definite, precum “start” și “stop”. Acesta este domeniul în care învățarea automată își demonstrează avantajele, permițând răspunsuri specifice la evenimente recurente și bine definite. Algoritmii se bazează pe seturi de date disponibile public, utilizate pentru îmbunătățirea stabilității recunoașterii.
Această abordare hibridă – utilizarea procesării convenționale a semnalului acolo unde aceasta oferă viteză și robustețe și a învățării automate acolo unde contribuie la îmbunătățirea recunoașterii – arată cum pot fi combinate optim metode diferite pentru realizarea unei soluții HMI versatile și practice.
Integrarea funcțiilor pe un singur microcontroler
Un alt obiectiv a fost demonstrarea faptului că toate funcțiile – recunoașterea gesturilor, controlul vocal, controlul motorului și afișajul grafic – pot fi implementate integral pe un singur microcontroler. Pentru aceasta a fost necesară integrarea atentă a componentelor hardware și software, precum și procesarea în timp real a mai multor fluxuri de date provenite de la senzori, în limitele resurselor disponibile pe o platformă embedded.
Implementarea a presupus coordonarea diferitelor interfețe, reducerea latenței și stabilirea adecvată a priorităților. Arhitectura modulară și separarea clară a unităților funcționale permit adaptarea flexibilă la diverse scenarii de utilizare și oferă dezvoltatorilor o bază pregătită pentru proiecte personalizate.
Perspective și transfer către aplicații reale
Combinația dintre tehnologia radar, procesarea audio și controlul motorului într-un singur sistem nu reprezintă doar un studiu de fezabilitate tehnică, ci oferă și o platformă practică pentru transferul de cunoștințe. Clienții beneficiază de exemple software gata de utilizare, pe baza cărora își pot efectua propriile teste sau își pot dezvolta rapid propriile medii de lucru. Astfel, timpul necesar implementării proiectelor poate fi redus considerabil.
Sistemul demonstrativ poate fi utilizat ca platformă de referință și adaptat, după necesități, proiectelor clienților. De asemenea, este adecvat pentru medii speciale de laborator, precum camerele curate sau cutiile cu mănuși. Platforma hardware și software, împreună cu resurse suplimentare – cod exemplu, scheme electrice, note de aplicație și instrucțiuni – poate fi furnizată la cerere. Adaptarea la cerințe specifice poate include integrarea unor funcții suplimentare, modificarea recunoașterii vocale sau extinderea capabilităților de recunoaștere a gesturilor.
Un exemplu al acestei transferabilități îl reprezintă implementarea unei rețele neurale pe o platformă RDK2 împreună cu sistemul radar RAB3. Odată înțelese principiile de colectare a datelor, antrenare și implementare a rețelei neurale, aceleași metode pot fi transferate către alte platforme. Setul de instrumente Infineon sprijină acest proces și simplifică portarea.
În plus, sunt planificate dezvoltări ulterioare ale tehnologiei radar, cu scopul realizării unor noi exemple de aplicații și al extinderii gamei de funcții. Sistemul demonstrativ nu reprezintă, așadar, doar o implementare tehnologică funcțională, ci și o platformă deschisă pentru dezvoltarea unor soluții HMI inteligente, bazate pe senzori, destinate sistemelor embedded.
Autori:
Jordan Rose, Field Application Engineer, Rutronik
Stephan Menze, Head of Global Innovation Management, Rutronik
Referințe
[1] https://github.com/RutronikSystemSolutions/RAB3-Radar_Documents/blob/main/RAB3-Radar_AppNote_Signal_Processing.pdf (Nota de aplicație “Signal Processing” de la Rutronik System Solutions, August 2024)
Glosar de termeni
AHB (Advanced High-performance Bus) – Magistrală internă de mare viteză utilizată pentru transferul datelor între componentele unui sistem embedded.
AoA (Angle of Arrival) – Unghiul de sosire al unui semnal radio, utilizat aici pentru determinarea direcției gesturilor.
BLDC (Brushless DC Motor) – Motor de curent continuu fără perii, controlat electronic și utilizat în sistem pentru demonstrarea comenzilor prin gesturi și voce.
CNN (Convolutional Neural Network) – Rețea neurală convoluțională utilizată pentru identificarea cuvintelor-cheie.
Edge AI – Procesarea algoritmilor de inteligență artificială direct pe dispozitiv, fără a depinde de procesarea în cloud.
FMCW (Frequency-Modulated Continuous Wave) – Tehnică radar bazată pe unde continue cu frecvență modulată, utilizată pentru detectarea mișcării și determinarea distanței.
HMI (Human-Machine Interface) – Interfață om-mașină care permite utilizatorului să interacționeze cu un sistem prin atingere, voce sau gesturi.
Keyword spotting – Detectarea automată a unui set prestabilit de cuvinte-cheie într-un semnal vocal.
MEMS – Tehnologie pentru realizarea unor dispozitive miniaturizate care combină elemente mecanice și electronice.
NPU (Neural Processing Unit) – Unitate hardware specializată pentru accelerarea operațiilor necesare algoritmilor de inteligență artificială.
PDM (Pulse Density Modulation) – Format digital utilizat pentru transmiterea semnalului furnizat de microfoanele MEMS.
PSOC Edge – Familie de microcontrolere Infineon destinată aplicațiilor embedded avansate și procesării AI la marginea rețelei.
FFT Doppler – Aplicarea transformatei Fourier rapide pentru extragerea informației Doppler din semnalele radar și detectarea țintelor în mișcare.