Obrazové snímače od ST se vybarvily. Rozumí AI i běžnému MCU

Chcete stokrát slyšet, nebo raději jednou vidět? A co nositelná elektronika nebo spotřebiče v chytré domácnosti – měla by dění okolo sebe bedlivě sledovat i moderní technika? Přímé pozorování má větší hodnotu a bude věrohodnější nežli zprostředkované informace. Takže tisíc slov, nebo „jeden obrázek“, klidně i barevný? Díky novinkám z rodiny BrightSense od firmy STMicroelectronics budeme mít jasno. A to doslova. Třeba i tam, kde kamery dříve nebývaly.

Vlezou všude

Obrazové snímače pro elektroniku nové generace, které jsou neustále ve střehu (tzv. „always-on vision“), ale uživatele kvůli tomu netrestají rychlým „ždímáním“ baterie? Senzory VD55G4 nebo též VD65G4, rozšiřující firemní nabídku chráněné skupiny BrightSense, skloňují rovněž sběr energie z okolního prostředí a budou natolik drobné, že pohodlně zapadnou i do brýlí pro virtuální či rozšířenou realitu. A ze hry není ani medicína. Ve světě nositelné elektroniky se snímači např. vyřešíme celodenní funkce v režimu trvalé ostražitosti – detekci pohledu, rozpoznání přítomnosti osoby či kontextové výstrahy, přičemž se stále s přehledem vejdeme všude tam, kde budou zapotřebí. A kde nakonec rovnou spolupracují s běžnými mikrokontroléry.

Systém prozřetelně počítá s globální závěrkou, rozlišením 800 × 700 bodů (ve skutečnosti ještě v každé ose přičítáme další čtyři pixely) a také monochromatickým výstupem (verze VD55G4) nebo nyní dokonce i barvami společně s RGB Bayer v případě druhé varianty, nesoucí označení VD65G4. Předchozí generace (VD55G1) zde totiž existovala pouze v monochromatické verzi. To samo o sobě vůbec nevadí a pro účely tehdejšího počítačového vidění, kdy např. pouze mapujeme body v prostoru, černobílý obraz bohatě stačí. Navíc takto logicky snižujeme datový tok a šetříme též energii. Nový sesterský model je na tom ale jinak. Důvod? Moderní algoritmy AI, a třeba i výše zmiňované headsety XR, už ke správnému rozhodování barevné spektrum prostě vyžadují. Ale za jakou cenu? Výrobce má řešení, které světu představil koncem dubna [1], zatímco na webu DPS Elektronika od A do Z jste si o senzorech mohli krátce přečíst v [2]. Aktuálně jsou již k dispozici pro první vývojáře, resp. partnery. Tedy stále s příznakem „Preview“.

Data netřeba čistit

Smysl ani zdaleka nespočívá pouze ve schopnosti systému, skýtajícího rozlišení 0,56 megapixelů, nepřetržitě vidět. Jasně, řídicí elektronika dokáže společně se snímači vyhodnotit v mnohem širším kontextu informace, které se na ni valí ze všech stran. Jenže maximálně efektivně a s daty, která jsou již na citlivém čipu od základu optimalizována tak, aby výstupní obrazový signál mohly okamžitě a bezproblémově zpracovávat algoritmy strojového učení (Machine Learning), resp. počítačového vidění (Computer Vision) přímo na místě, tzv. Edge AI. Pro snímače obrazu není totiž samozřejmostí jen automatická expozice či vyvážení bílé, ale rovněž redukce šumu nebo např. korekce vadných pixelů. AI modelu na host MCU díky tomu servírují čistá a strukturovaná data, ze kterých může ihned vyhodnocovat objekty, tváře nebo situaci v prostoru. S tím se rovněž pojí globální závěrka bez rizika nežádoucích deformací při sledování očí nebo rozpoznávání gest, záběr až po blízkou infračervenou oblast NIR pro konzistentní a kontrastní data za různých světelných podmínek, architektura „detekuj a probuď“, ke které se ještě dostaneme, nebo i jednoduchá komunikační rozhraní. Ta již dopředu počítají spíše s nízkopříkonovými mikrokontroléry či systémy SoC a stále menší závislostí na cloudových službách.

U přenosu dat se chvíli zastavme. Nová generace součástek VDx5Gx s technologií BSI (Back Side Illuminated) zde také jako první nabídne osvědčené čtyřvodičové rozhraní SPI (42 MHz) se schopností streamovat RGB záběry s rozlišením 800 × 700 pixelů rychlostí osmi snímků za vteřinu [3]. Vývojáři tak mohou třeba při rozpoznávání obličeje častěji sáhnout i po cenově výhodnějších mikrokontrolérech. Nové snímače navíc využívají nezávislého rozhraní I²C pro výstup svých statistických analýz. Ve výsledku se nám proto otevírají dva komunikační kanály – jeden s větší šířkou pásma pro snímky a samostatná vedlejší cesta pro data s nimiž lze konkrétní aplikaci ještě „vypilovat“. Nic ale pochopitelně nebrání ani souběžnému přenosu cestou dvoudrátového rozhraní I3C (12 MHz). A k dispozici zde rovněž máme MIPI CSI-2.

Bez pomoci zbytku zařízení

Pokud jde o samočinné probouzení, snímače s dynamickým rozsahem 68 dB, které lze v provozu vystavit teplotám od -30 °C až po +85 °C, umí detekovat pohyb během jediného snímku. Vděčí za to zčásti informacím z automatické expozice, ale také možnosti rozdělit snímek na jednotlivé zóny, což umožňuje nízkoenergetické zkoumání pohybu bez jakéhokoli zpoždění. Zmíněná funkce navíc běží kompletně na samotném snímači, což znamená, že nevyžaduje žádnou asistenci ze strany hlavního mikrokontroléru. Poděkujte neustále aktivnímu diferenciálnímu režimu, který dokáže sledovat změny mezi jednotlivými snímky a okamžitě vyvolat přerušení. Co to znamená v praxi? Právě jsme obdrželi systém automatického probouzení, který si vystačí s pouhými 0,9 mW až 1,5 mW (v režimu standby počítáme s 0,8 mW). Od nepřetržitého, a energeticky neúnosného, streamování se tak rychlými kroky přesouváme spíše k celodennímu provozu, založenému na událostech. A to i s drobnými bateriemi či nestálým sběrem energie ze stejného okolí. V porovnání s tradičními senzory, vybavenými globální závěrkou, jsme dále až na desetinové spotřebě, pokud jde v provozu o rozlišení 800 × 700 bodů a deset okének za vteřinu.

Nutno ale poznamenat, že nové CMOSové obrazové snímače VD55G4 a VD65G4 z dílny STMicroelectronics [4],[5] s velikostí čipu 2,73 mm × 2,16 mm, odpovídající na 300mm waferech technologii 3D vrstvení (65 / 40 nm), toho zvládnou mnohem víc – vlastní výbavou, ale i vykazovanými parametry. Při plném rozlišení jde např. o snímkovou rychlost 184 fps (v případě VGA pak 271 fps a pro QVGA ještě 480 fps). Jen pro představu, při 60 obrázcích za vteřinu se spotřebou stále nepřekračujeme 35 mW. Výrobce rovněž pamatuje na kompletní ekosystém s řadou nástrojů, např. vývojové desky pro platformy STM32 a Raspberry Pi, SDK nebo též hotové kamerové moduly. Jenže bystrá umělá inteligence si dnes vystačí skutečně s málem. Klidně i polem 8 × 8 bodů, pokud ještě můžeme, a také máme, hovořit o nějakém soukromí. Na webu DPS k tomu čtěte více v [6].

Odkazy:

[1] Tisková zpráva, https://newsroom.st.com/media-center/press-item.html/p4772.html

[2] Na nové vlně osobní elektroniky? AI potřebuje vidět, https://www.dps-az.cz/zpravy/id:105073/na-nove-vlne-osobni-elektroniky-ai-potrebuje-videt

[3] VD55G4 & VD65G4: The most “talkative” ST image sensors…, https://blog.st.com/vd55g4-vd65g4/

[4] Senzory VD55G4, https://www.st.com/en/imaging-and-photonics-solutions/vd55g4.html

[5] Senzory VD65G4, https://www.st.com/en/imaging-and-photonics-solutions/vd65g4.html

[6] Hlavně diskrétně. 64 bodů při detekci osob vyloží AI, https://www.dps-az.cz/clanky/id:104658/hlavne-diskretne-64-bodu-pri-detekci-osob-vylozi-ai

robenek@dps-az.cz