Combinarea sistemelor de viziune bazate pe învățarea automată (ML), implementate la marginea rețelei, cu conectivitatea wireless deschide noi perspective în domeniul agriculturii. Acest articol prezintă modul în care IoT poate fi utilizat pentru implementarea unui sistem de detectare a dăunătorilor agricoli.
În domeniul agriculturii inteligente, detectarea dăunătorilor s-a bazat până acum pe metode care necesitau multă muncă manuală, lăsând culturile vulnerabile la infestări și împiedicând fermierii să estimeze corect randamentul recoltelor. Odată cu apariția tehnologiei IoT celulare și a sistemelor de calcul la marginea rețelei, s-a produs o transformare semnificativă. Similar întreținerii predictive din mediul industrial, IoT-ul celular permite monitorizarea în timp real a stării culturilor cu ajutorul dispozitivelor echipate cu senzori. Mai mult, datorită viziunii artificiale integrate în dispozitivele moderne, analiza datelor poate fi efectuată local, permițând dispozitivelor alimentate cu baterii să ofere capabilități de monitorizare continuă. Acest lucru permite intervenția rapidă pentru prevenirea infestărilor, maximizând productivitatea agricolă și reducând pierderile. Articolul examinează modul în care IoT-ul celular și calculul la marginea rețelei transformă detectarea dăunătorilor – de la colectarea datelor până la analiza predictivă – inaugurând o nouă eră în agricultura de precizie.
Elemente de prototipare
Pentru realizarea unui prototip de detectare a dăunătorilor pot fi utilizate următoarele plăci electronice:
- Arduino Nicla Vision [1]
- Würth Elektronik Thyone-I FeatherWing [2]
- Würth Elektronik Adrastea-I FeatherWing [3]
- Adafruit Feather M0 Express [4]
Software și instrumente:
- Arduino IDE
-
Figura 1: Placa de dezvoltare Thyone-I Wireless FeatherWing de la Würth Elektronik, echipată cu un modul RF proprietar de 2,4 GHz. (Sursa: Würth Elektronik eiSos)
OpenMV [5]
- Edge Impulse [6]
- Visual Studio Code cu extensia PlatformIO [7]
Thyone-I Wireless FeatherWing de la Würth Elektronik
Echipată cu un modul RF proprietar de 2,4 GHz, oferă conectivitate wireless stabilă, cu o rază de acțiune impresionantă, de până la 300 de metri (Figura 1). Cu criptare AES-128 încorporată și capabilități de rețea mesh, asigură comunicații fiabile și un nivel ridicat de securitate. În plus, atunci când este utilizată împreună cu un alt dispozitiv Thyone, permite înlocuirea cablurilor într-un mod sigur și fără întreruperi – comportându-se ca o conexiune wireless care transmite datele nemodificate, similar unei legături prin cablu (transparent mode).
Figura 2: Placa Adrastea-I FeatherWing de la Würth Elektronik, prevăzută cu tehnologie LTE-M / NB-IoT, antene LTE și modul GNSS extern. (Sursa: Würth Elektronik eiSos)
Placa Adrastea-I FeatherWing
Oferă conectivitate LTE-M/NB-IoT, antene LTE și GNSS externe și un cablu USB (Figura 2). Caracteristicile sale versatile includ posibilitatea de a selecta între modurile LTE-M și NB-IoT, GNSS integrat compatibil cu GPS și GLONASS, un microcontroler ARM Cortex-M4, precum și compatibilitate cu o gamă largă de protocoale și benzi. Toate acestea sunt integrate într-un factor de formă Adafruit Feather, care facilitează extinderea rapidă cu plăcile Feather existente.
Figura 3: Placa Adafruit Feather M0 Express, bazată pe procesorul ATSAMD21G18 Arm® Cortex®-M0. (Sursa: Adafruit)
Adafruit Feather M0 Express
Este o placă Feather cu microcontroler bazată pe procesorul ATSAMD21G18 Arm® Cortex®-M0, care operează la 48 MHz și utilizează logică de 3,3 V, similar cu Arduino Zero (Figura 3). Cipul include 256 KB de memorie Flash (de opt ori mai mult decât Atmega328 sau 32u4) și 32 KB de RAM (de șaisprezece ori mai mult). Placa dispune de un port USB, oferind funcționalitate USB-to-Serial și posibilitatea de depanare.
Figura 4: Placa Arduino Nicla Vision, echipată cu un procesor STM32H747AII6 Dual Arm® Cortex®-M7/M4 și o cameră color de 2 MP, cu suport pentru TinyML. (Sursa: Mouser Electronics)
Arduino Nicla Vision
Este echipată cu un procesor puternic STM32H747AII6 Dual Arm® Cortex®-M7/M4 și cu o cameră color de 2 MP, facilitând suportul pentru TinyML (Figura 4). De asemenea, integrează un senzor inteligent de mișcare pe 6 axe, un microfon și un senzor de distanță. Proiectată pentru compatibilitate deplină cu produsele Arduino Portenta și MKR, placa include suport pentru OpenMV, este compatibilă cu MicroPython și oferă conectivitate Wi-Fi și Bluetooth® Low Energy.
Edge Impulse
Este un mediu de dezvoltare dedicat învățării automate pe dispozitive embedded. Acesta permite colectarea datelor reale de la senzori, dezvoltarea unui algoritm ML și implementarea rapidă a modelului pe orice dispozitiv edge.
Configurarea prototipului
Figura 5: Arhitectura prototipului de detectare a dăunătorilor agricoli, cu noduri senzoriale multiple și un gateway. (Sursa: Mouser Electronics)
Figura 5 prezintă structura prototipului. Nicla Vision îndeplinește rolul componentei de viziune în sistemul de detectare a dăunătorilor, având sarcina de a rula modelul ML. Aceasta este conectată la o placă Thyone-I, facilitând transmiterea datelor către nodul principal (gateway). Nodul principal este alcătuit dintr-o placă Thyone-I, o placă Adafruit Feather M0 Express și o placă Adrastea-I, responsabile de transmiterea datelor colectate către cloud prin conectivitate IoT celulară.
Conexiunile dintre nodurile senzorilor:
Nicla Vision → FeatherWing Thyone-I
GND → GND
3V3 → 3V3
TX → RX
RX → TX
Pentru gateway, este suficient să suprapuneți (să stivuiți) FeatherWing Thyone-I configurată în modul transparent peste Adrastea-I FeatherWing și mc.
Pentru configurarea hardware-ului în Edge Impulse, trebuie instalate următoarele componente software:
- Instalați Edge Impulse CLI
- Instalați Arduino CLI
Pentru programarea nodului principal, urmați pașii de mai jos:
- Instalați Visual Studio Code și plug-in-ul Platform IO.
- Clonați/descărcați proiectul
- Deschideți exemplul “Thyone-Adrastea-Bridge”. Construiți și încărcați codul pe Adafruit Feather M0 express.
Instruirea modelului de viziune automată
Figura 6: Etichetarea imaginilor cu dăunători agricoli. (Sursa: Mouser Electronics)
Edge Impulse simplifică semnificativ procesul de construire a unui model de viziune automată. Tot ce trebuie să faceți este să colectați un set de imagini pentru a antrena modelul direct în platforma Edge Impulse.
- Creați un cont pe site-ul web Edge Impulse.
- Creați un proiect nou.
- Faceți clic pe [ Data acquisition ] și selectați [ Connect a new device ].
- Puteți utiliza telefonul mobil pentru a fotografia dăunătorii; imaginile sunt sincronizate automat cu contul Edge Impulse. Pentru aceasta, scanați codul QR afișat în pagina proiectului.
- După scanarea codului QR, capturați imagini ale dăunătorilor din unghiuri diferite și în condiții variate de iluminare.
- După colectarea imaginilor, treceți la etapa de etichetare. Accesați [ Labeling queue ].
- Etichetați dăunătorii folosind cursorul, desenând o casetă de delimitare în jurul fiecărui exemplu (Figura 6).
Crearea fluxului de procesare a datelor (în Edge Impulse)
Figura 7: Crearea fluxului de procesare a datelor (în Edge Impulse). (Sursa: Mouser Electronics)
Pentru a construi fluxul de procesare, datele brute sunt preluate ca intrare, apoi blocul de procesare a semnalului extrage caracteristicile relevante, iar în final un bloc de învățare este utilizat pentru a clasifica datele noi (Figura 7).
- În funcție de aplicație, ajustați parametrii imaginii.
- Pentru blocul de procesare, selectați [ Image ].
- Pentru blocul de învățare, selectați [ Object Detection ].
- Salvați fluxul.
Clasificatorul rețelei neurale
Clasificatorul rețelei neurale primește date de intrare și generează un scor de probabilitate care indică nivelul de încredere că acele date aparțin unei anumite clase. Pentru acest proiect, numărul de cicluri de antrenare a fost setat la 60.
Exportați fluxul sub forma unui firmware OpenMV și deschideți OpenMV IDE. Alternativ, puteți utiliza modelul deja antrenat, descărcând fișierele de pe pagina Mouser GitHub [8].
Conectați dispozitivul la computer. Faceți clic pe butonul [ Connect ] din OpenMV IDE; dispozitivul ar trebui să fie detectat automat. În final, faceți clic pe butonul [ Flash ] pentru a scrie firmware-ul în memoria dispozitivului.
Conectivitate wireless
De la senzor la gateway: Thyone-I Wireless FeatherWing, care funcționează în mod transparent, acționează ca un link wireless de 2,4 GHz ce înlocuiește cablul. În acest mod de operare, toate datele transmise de Nicla Vision prin interfața UART sunt trimise wireless, iar informațiile recepționate prin link-ul radio sunt retransmise către UART.
De la gateway la cloud: Gateway-ul include placa Thyone-I FeatherWing, configurată ca peer pentru a primi mesajele de la nodurile senzorilor. Datele recepționate prin radio sunt transmise în mod transparent către Feather M0 Express prin UART. La pornire, microcontrolerul M0 configurează placa Adrastea-I FeatherWing pentru conectarea la brokerul MQTT din cloud. La primirea mesajelor de la nodurile senzorilor, microcontrolerul M0 publică datele direct în cloud. Brokerul MQTT distribuie mesajele către toți clienții abonați. Utilizatorul poate primi aceste mesaje cu orice aplicație MQTT de pe telefonul mobil. Codul pentru această aplicație este disponibil pe pagina de GitHub a Würth Elektronik [9].
Combinație puternică de tehnologii
Progresele din domeniul electronicii, împreună cu aplicațiile ML, permit rularea unor sarcini complexe – precum detectarea obiectelor – chiar și pe resurse hardware limitate. Combinată cu conectivitatea wireless, această capabilitate oferă un mecanism robust pentru monitorizarea și controlul de la distanță al mediului. În acest proiect, tehnologiile prezentate sunt folosite pentru a construi un prototip de sistem destinat detectării dăunătorilor agricoli, contribuind la o agricultură inteligentă și conectată.
Referințe
[1] Arduino Nicla Vision: https://www.mouser.de/ProductDetail/Arduino/ABX00051?qs=MyNHzdoqoQLLx6Gr86QaFQ%3D%3D
[2] Würth Elektronik Thyone-I FeatherWing: https://www.we-online.com/en/components/products/THYONE-I_FEATHERWING
[3] Würth Elektronik Adrastea-I FeatherWing: https://www.we-online.com/en/components/products/ADRASTEA-I_FEATHERWING_KIT
[4] Adafruit Feather M0 Express: https://eu.mouser.com/new/adafruit/adafruit-feather-mo-express/
[5] OpenMV: https://openmv.io/pages/download
[6] Edge Impulse: https://edgeimpulse.com/
[7] Visual Studio Code with PlatformIO extension: https://platformio.org/install/ide?install=vscode
[8] GitHub Page Mouser: https://github.com/rmitry/pest-detection
[9] GitHub page Würth Elektronik eiSos: https://github.com/WurthElektronik/FeatherWings
Autori
Rafik Mitry s-a alăturat echipei Mouser Electronics în 2019, după finalizarea masteratului în inginerie electrică la Universitatea Tehnică din München, unde a lucrat timp de trei ani în cercetare în domeniul captării energiei. În calitate de inginer de marketing tehnic la Mouser, Rafik creează conținut tehnic inovator, care reflectă tendințele actuale și viitoare din industria electronică. Pe lângă activitatea profesională, este pasionat de aviație și tenis.
Shashank Hedge este student la masterat la Universitatea Tehnică din München. Din 2022, lucrează la Würth Elektronik eiSos ca stagiar / student angajat în divizia de conectivitate wireless și senzori. Domeniile sale de interes în cercetare includ sistemele embedded, Internetul lucrurilor și comunicațiile vehiculare (Vehicular Communications).
Glosar de termeni
Edge (marginea rețelei) – Zona în care datele sunt colectate și procesate direct pe dispozitive locale, nu trimise în cloud.
Edge AI / TinyML (EdgeAI) – Tehnici de inteligență artificială optimizate pentru a rula local pe dispozitive cu resurse limitate (microcontrolere, senzori), cu consum energetic redus.
Transparent mode – Mod de funcționare al unui modul wireless în care datele sunt transmise 1:1, fără prelucrare, exact ca într-o conexiune prin cablu.
Gateway – Nod central care primește date de la senzori și le transmite mai departe, de obicei către cloud.
MQTT (Message Queuing Telemetry Transport) – Protocol ușor de mesagerie, folosit în IoT pentru a transmite date eficient și cu consum redus de energie.
Broker MQTT – Componentă software care gestionează transmiterea mesajelor MQTT între dispozitive (publicare/abonare).
OpenMV – Platformă software pentru dezvoltarea aplicațiilor de procesare a imaginilor pe microcontrolere.
Edge Impulse – Platformă dedicată dezvoltării și implementării modelelor ML pe dispozitive embedded.
Object Detection – Sarcină de învățare automată ce identifică și localizează obiecte în imagini, folosind casete de delimitare.
Microlatență – Timp extrem de scurt între colectarea datelor și obținerea rezultatului (esențial în aplicațiile edge).