2 300 bodů s ToF. Edge AI a soukromí na hraně

Co říkáte na kompletní modul, navržený coby 3D laserový radar (LiDAR) s technologií doby letu dToF, který nabídne takřka 2 300 zón, široké zorné pole, vlastní zpracování přímo na čipu, stovku snímků za vteřinu nebo měřicí rozsah již od pěti centimetrů až po zhruba devět metrů? Firma STMicroelectronics jej umí vyrobit v pouzdrech o velikosti 12,83 × 6,10 × 4,64 mm. Seznamte se – červnová novinka VL53L9, otevírající cestu do světa robotiky, průmyslové automatizace, chytrých budov, rozšířené či virtuální reality nebo i zdravotní péče [1].

Oči pro moderní technologie

Měřit ano, ale proč se omezovat pouze na jedno místo, když je okolí tak členité a ještě i v pohybu? Jak jsme na stránkách DPS Elektronika od A do Z obšírněji psali v únoru [2], hromadu informací vytěžíme už jen ze šedesáti čtyř „diskrétních“ bodů – zvláště, když si necháme rovnou na místě pomoci od umělé inteligence. Co když ale žádáme ještě větší matici?

Žádný problém, pouze k tomu namísto prvků VL53L8 nyní přizveme novinku, která v názvu povýšila z osmičky na devítku [3]. Na ploše tak rázem obdržíme pole až 54 × 42 samostatných zón (po znásobení přesně 2 268) a v trojrozměrném prostoru, který nám vymezí takřka shodné zorné pole FoV 55° × 42°, diagonálně 71°, o poznání více dat. Jednotlivosti mohou být dle aktuálně dostupné dokumentace při vhodném osvětlení vzdáleny klidně 8,8 metru od senzoru, a ve tmě ještě více, zatímco na opačném konci začínáme již pod padesáti milimetry. K tomu si dále přičtěte výstupy, optimalizované díky vlastnímu zpracování rovnou pro algoritmy AI a také systémy, běžící hned vedle na mikrokontrolérech, použitelných v každodenní praxi – např. STM32H5 (na webu DPS viz také [4]). Přesně ve významu „edge“.

Pětici klíčových způsobů využití jsme již nastínili. V robotice těžíme z vylepšené detekce drobných objektů, souběžné lokalizace a mapování (SLAM, tzn. jak se má robot orientovat v prostoru, který vůbec nezná) a vyhýbání se překážkám pro autonomní navigaci. S průmyslovou automatizací se zase pojí přesné měření objemu v nádržích či zásobnících, zvláště, když smíme pracovat někde mezi –30 °C a +70 °C. Čidlo umístíme na strop nádrže a necháme „koukat“ směrem dolů. Běžné snímače by v takovém případě změřily pouze jedno místo uprostřed. Co ale v případě, kdy obdržíme sypký materiál, který s oblibou setrvává ve tvaru kužele nebo vytváří trychtýř? Jednoduchá měření stanoví nesprávný výsledek.

Nové senzory VL53L9 s vlastním řízením napájení (PMIC) od společnosti STMicroelectronics umí naštěstí svou mřížku 54 × 42 bodů v pouzdrech typu OLGA, osaditelných přetavením, promítnout na celý povrch a změřit přitom vzdálenost k tisícům různých míst najednou, navíc docela rychle. Vnější procesor data přečte a vytvoří precizní 3D model povrchu. Už ví, kde je hromada nejvyšší a kde zase hledat minimum. Zná také přesné rozměry nádrže, takže zjištěný 3D profil materiálu od celkového objemu prázdného zásobníku jednoduše odečte. A ze hry nejsou ani kapaliny. Záleží samozřejmě na konkrétní situaci a chování laserového paprsku. Obrovskou výhodou je každopádně rostoucí počet zón se schopností zachytit a zpracovat více odrazů najednou. Samostanou kapitolu tvoří vlny či tvorba pěny, což ale může být v krajním případě paradoxně i výhodou.

Pak zde ještě máme chytré budovy, resp. domácnosti. Potřebujete spolehlivě zaznamenat přítomnost osob nebo lidi jen počítat? A co spotřební elektronika v čele s AR/VR? Pokročilým rozpoznáváním gest nebo sledováním těla či prstů vše teprve začíná. Jenže člověk může i spadnout a proto tu rovněž máme monotorovací systémy, hlídající seniory a dohlížející na bezpečnost pacientů. To vše nyní ještě lépe v kontextu optických prvků MOE (Metasurface Optical Element), a to jak pro vstupy s diodami SPAD, tak i výstupy. Spotřeba systému dosahuje při 30 snímcích/s a plném rozlišení třeba jen 120 mW.

Soukromí? Ano, jenže...

Pravda, při rozlišení 54 × 42 bodů, tedy nižší jednotky tisíc pixelů, nebude riziko ztráty soukromí nijak vysoké, zvláště ve srovnání s běžnými kamerami. Vždyť právě anonymita je i jednou z největších výhod zmíněné technologie dToF. Opravdu ale nic nehrozí? A mohl by senzor, provozovaný se dvěma lasery VCSEL v jinak neviditelné oblasti 940 nm, i tak odhalit informace, které již považujeme za citlivé? Odpověď je ano, a je třeba na to myslet.

Snímač, kompatibilní s různými krycími skly i jejich materiály, nedokáže rozpoznat skutečnou identitu ani specifické rysy tváře – na to máme rozlišení stále příliš nízké. Zneužití pro deepfake v zásadě nehrozí. Neřešíme ani barevné fotografie, natož čitelné stránky textu. Pokud ovšem získáváme přístup k surovým datům z hloubkové mapy a shluku 2 300 bodů v čase (jindy lze také 0,5k či 0,25k), dovodíme již výšku postavy, šířku ramen nebo proporce těla. Algoritmus umí na základě specifické siluety či stylu chůze daného člověka v domácnosti brzy identifikovat a odlišit kupříkladu tátu od babičky nebo dítěte. Systém by proto přesně viděl, kdy ležíte v posteli, sedíte u stolu nebo jak často navštěvujete toaletu. Rozlišení 54 × 42 obrazových bodů už bohatě stačí k tomu, aby zařízení poznalo, zda jedinec stojí, sedí, upadl na zem, nebo zvedl ruku a např. v koupelně či ložnici by dokonce mohlo zaznamenat ještě víc, byť jen v hrubých náznacích. Takže „100% privacy“, jak tvrdí výrobce, spíše do úvozovek, podobě jako „no camera, no image“. Pro pokročilou umělou inteligenci, zde prozřetelně jako Edge AI, je i takto hrubá mřížka dostatečně názorná na to, aby pochopila intimní detaily.

Zapomenout ale nesmíme ani na obrysy předmětů. Takže žádný stoprocentně neprůstřelný štít, zvláště když obecně netušíme, kde se data zpracovávají a zda 3D mapa neodchází někam na cizí servery. Ovšem ve srovnání s běžnou bezpečnostní IP kamerou budou kompletně zkalibrované snímače VL53L9 z pohledu soukromí, a třeba i před zákonem, stále obrovským vítězstvím – typicky pro hotely, kanceláře nebo i pečovatelské služby. A proletí se rovněž na dronech. Jak vidíme, klíčové informace systém zpracuje lokálně, takže do sítě nebo cloudu už nutně neodchází žádný obraz, ale třeba jen textové varování. Stačí k tomu i levný čip s minimální spotřebou. Na desce komunikujeme cestou rozhraní I3C (12,5 Mb/s), resp. MIPI CSI-2 (1 Gb/s).

Odkazy:

[1] Tisková zpráva, https://newsroom.st.com/media-center/press-item.html/p4783.html

[2] Hlavně diskrétně. 64 bodů při detekci osob vyloží AI, https://www.dps-az.cz/clanky/id:104658/hlavne-diskretne-64-bodu-pri-detekci-osob-vylozi-ai

[3] Obvody VL53L9CX, https://www.st.com/en/imaging-and-photonics-solutions/vl53l9cx.html

[4] Seznamte se s STM32H5, novým členem rodiny STM32, https://www.dps-az.cz/clanky/id:96093/seznamte-se-s-stm32h5-novym-clenem-stm32-rodiny-

robenek@dps-az.cz