Vítejte, dnes je
pátek
17.
květen
2024
Odborný časopis a portál zaměřený na vývoj a výrobu elektroniky 
Problematika testování datových spojů a komunikačních sítí je s ohledem na nutnost poskytovat různorodé transportní služby komplexní a náročná. Pro moderní komunikační sítě využívající rodinu protokolů TCP/IP je k dispozici řada doporučení a testovacích metodik. Ty vycházejí z vrstvového modelu komunikace a kvantifikují limity parametrů kvality služby QoS. Funkcionalitu sítě lze ověřovat na fyzické vrstvě (např. doporučení G.821/G. 826), na spojové (typicky doporučení Y.1564) a síťové vrstvě (např. doporučení Y.1540) i na vrstvě transportní (obvykle soulad s RFC 6349).
Zdá se logické, že komunikační požadavky koncových uživatelů a služeb na aplikační vrstvě jsou nejlépe reflektovány parametry transportní vrstvy (L4). Jinými slovy, splněním stanovených parametrů na L4 jsme schopni validovat parametry přenosového prostředí pro správný běh služeb v koncových bodech sítě a posoudit odpovídající uspokojení uživatelů QoE. Z tohoto důvodu nástroje, které slouží pro ověření přenosových parametrů na L4, jsou klíčové pro komplexní hodnocení datových spojů a nabývají tak na významu.
Síťový tým na katedře telekomunikační techniky FEL ČVUT v Praze, se snaží přispět vývojem a rozšiřováním softwarového nástroje FlowPing. Vychází přitom z ověřených principů pro měření a přináší komplexnější možnosti diagnostiky datových spojů. Navíc ve spojení s analyzátorem F-Tester® lze získané výsledky názorně vizualizovat a snadno hodnotit. Otevřený nástroj FlowPing umožňuje vyvíjet a používat i nové metodiky pro testování parametrů komunikační sítě na vrstvě L4. Usnadňuje tak validaci přenosového prostředí dle konkrétních nároků koncových služeb.
Pro ověřování přenosových parametrů datových spojů existuje široká nabídka jednoúčelových hardwarových analyzátorů. K dispozici je i množství měřicích softwarových aplikací jako iPerf2, iPerf3, Ostinato, Nping apod. Zmíněné hardwarové nebo softwarové měřicí nástroje umožňují generovat testovací datové toky pro ověřování parametrů datových spojů, respektive pro ověřování funkčnosti komunikační sítě. Žádný z uvedených nástrojů nemá ale otevřený zdrojový kód, který umí generovat v čase proměnné datové toky.
Softwarová aplikace FlowPing (FP) je inspirována známou aplikací Ping, která je určena pro ověřování dostupnosti vzdálených síťových prvků a parametrů přenosové trasy. Obdobně jako aplikaci Ping je možné i FlowPing jednoduše ovládat přes příkazovou řádku a komunikace probíhá mezi lokální a vzdálenou stranou. Lokální strana s aplikací FP v režimu klient generuje datový tok s definovanými parametry. Tok je následně přenášen měřeným datovým spojem (komunikační sítí) k vzdálené straně s aplikací FP v režimu server. Vzdálená strana testovací datový tok přijímá, vytváří záznam o události, má možnost ho modifikovat a vysílá ho zpět ke klientovi. FlowPing v režimu server je schopen paralelně přijímat a provádět záznam pro více testovacích toků.
Aplikace FlowPing byla vytvořena na základě dlouhodobých zkušeností a praktických potřeb v oboru ICT. Aby přinášela vyšší užitnou hodnotu než jiné nástroje, disponuje vedle testování konektivity celou řadou dalších funkcionalit.
Na rozdíl od své inspirace aplikace Ping, která využívá protokol ICMP, využívá FlowPing bezestavový protokol UDP. Ten je standardně využíván celou řadou dříve zmíněných měřicích aplikací nebo analyzátorů. Protokol ICMP bývá velmi často síťovými firewally nebo jinými síťovými prvky ovlivňován či přímo blokován. Oproti tomu protokol UDP je obecným transportním protokolem s širokým spektrem použití.
FlowPing lze ovládat prostřednictvím příkazové řádky, obdobně jako jiné softwarové generátory datových toků. V příkazové řádce nástroje FlowPing je ale možné určit podstatně více parametrů, které definují generovaný datový tok. Uživatel tak není omezen jen na vytváření testovacího toku s konstantní přenosovou rychlostí v zadaném časovém intervalu. Příkladem pokročilé definice toku v příkazové řádce může být následující předpis na síťový prvek „example.com“:
./flowping –h example.com –b 256 –B 512 –t 30 –T 90 –R 60 –w 180 –s 500.
Tento předpis vygeneruje datový tok s průběhem v čase, jak je zobrazeno na obrázku 1. Režim ovládání prostřednictvím příkazové řádky je možné nahradit ovládáním prostřednictvím konfiguračního souboru. Tedy prostého textového souboru s časovými značkami a událostmi, který dovoluje vytvářet komplexnější testovací datové toky, potažmo testovací scénáře. FlowPing dovoluje u testovacího toku v závislosti na čase:
Testy je možné realizovat jako symetrické, se stejně velkými datovými toky v obou směrech, nebo jako de facto asymetrické, kdy v jednom směru jsou přenášeny zmenšené datové jednotky nesoucí pouze nezbytné služební informace.
Definování parametrů testovacího toku souborem přináší široké možnosti pro testování. Odposlechem a analýzou reálného toku v zájmovém uzlu sítě lze zjistit jeho charakteristiky a vytvořit předpis pro napodobení tohoto toku. S kopií reálného toku je možné provádět řadu měření, například zkoumat provozní stav komunikační sítě při odlišném nastavení síťových prvků.
Při návrhu nástroje FlowPing byl respektován požadavek na minimální zatížení hostitelského systému tak, aby mohl být provozován na relativně výpočetně nevýkonných síťových prvcích, u nichž je kladen důraz na jiná hlediska, jako je typicky minimalizace spotřeby elektrické energie. Tento běžný provozní režim je u FlowPingu označován jako tzv. standardní režim.
V některých situacích se však mohou vyskytnout zvýšené nároky na stabilitu a přesnost parametrů generovaného datového toku. Při zajišťování takového požadavku logicky rostou výpočetní nároky z důvodu vyššího počtu prováděných výpočtů a operací. Nástroj FlowPing v tzv. režimu aktivní smyčky (busy loop) kontinuálně využívá jedno výpočetní jádro ve víceprocesorovém CPU pro zajištění precizního časování při vytváření a vysílání paketů testovacího toku na síťové rozhraní tak, aby se minimalizovaly nežádoucí prodlevy během testu. Režim busy loop proto klade vyšší nároky na výpočetní výkon. Je na uživateli, který režim využije.
O prováděném testu lze vytvářet podrobné záznamy. A to jak na straně klienta, tak na straně serveru. Záznamy lze vytvářet nejen za zvolený časový interval (tzv. intervalový mód záznamu), ale záznamy lze také vytvářet v režimu Per-paket. Pokud jsou k dispozici další informace související s testem, které poskytuje například hostitelský analyzátor, kde je FlowPing spuštěn, lze naměřené hodnoty o tyto informace doplnit a vytvořit tak komplexnější nebo názornější pohled na testovanou situaci. Typickým příkladem může být měření v mobilních sítích, kdy lze naměřené hodnoty aktuální přenosové rychlosti a zpoždění při přenosu párovat s dalšími údaji z modemů a s hodnotami o poloze. Formát záznamů s naměřenými hodnotami lze přizpůsobovat pro post-procesing. Mimo výstupů do konzole nebo CSV je podporován i JSON formát.
FlowPing je softwarová aplikace, proto je nezbytné zajistit vhodně dimenzovaný hardware a optimalizovaný operační systém tak, aby při měření nedocházelo k chybám způsobeným například přetížením nedostatečně výkonného CPU. FlowPing lze spustit na různých platformách, typicky x86_32, x86_64, ARM_v7/v8, pod operačními systémy Linux, MacOS, OpenWRT. Je implementována podpora IPv4/IPv6.
Minimální hardwarové požadavky pochopitelně souvisejí se způsobem použití. Obecně lze paušalizovat, že postačuje běžný osobní počítač poplatný době. V závislosti na použití a způsobu kompilace se předpokládá pro běh aplikace do 20 MB RAM místo na disku v jednotkách nebo nižších desítkách MB a vícejádrový procesor. Pokud se využívá aktivní režim čekání (busy loop), je vhodné dát aplikaci k dispozici minimálně 2 jádra. Na osobním počítači poplatném době lze počítat s hodnotami přenosové rychlosti pro UDP testy cca 1 Gbit/s.
Při ověřování funkcionality nástroje FlowPing probíhalo i měření přesnosti při generování paketů. V závislosti na čase byla sledována stabilita FlowPingu a hodnota časového intervalu mezi vysílanými pakety. Grafy na obrázku 2 představují zjednodušené srovnání střední hodnoty časového intervalu mezi jednotlivými pakety pro FlowPing ve standardním režimu (passive waiting), FlowPing v aktivním režimu (busy loop) a obdobné softwarové aplikace iPerf2 a iPerf3.
Ověřování probíhalo na běžném osobním PC s konfigurací Intel i5-2500k s 16 GB RAM, Debian 10, s pakety o velikosti 1470 B. Měřicí aplikací byl vždy po dobu 160 s generován datový tok o přenosové rychlosti 5 Mbit/s. Záchyt datového toku pro statistické zpracování byl proveden aplikací tcpdump.
Z grafů plyne, že ve standardním režimu je FlowPing zcela srovnatelný s široce používanou aplikací iPerf2. V aktivním režimu však nástroj FlowPing dodržuje významně precizněji střední hodnotu čekání mezi jednotlivými vysílanými datovými jednotkami. V grafu je vidět, že aplikace iPerf3 je optimalizovaná pro vysokorychlostní sítě a intervalový způsob generování paketů. Při generování testovacího toku nejsou aplikací iPerf3 datové jednotky vysílány rovnoměrně v čase, ale jsou vysílány v dávkovém režimu s tím, že hodnota přenosové rychlosti je odpovídajícím průměrem za čas.
Funkcionalita nástroje FlowPing byla ověřována i na platformách odlišných od běžného osobního počítače PC, konkrétně na systémech:
U hrubého výkonu, tedy za situace, kdy je snahou maximalizovat počet vysílaných paketů bez ohledu na případné ztráty uvnitř operačního systému nebo na síťovém adaptéru vlivem příliš vysoké zátěže, vzniká u vyšších rychlostí (nižší stovky Mbit/s) na platformě ARM značná ztrátovost paketů (jednotky procent). U x86_64 se toto chování projevuje až na hraně výkonu platformy. Běžné parametry jádra, které ovlivňují činnost síťového stacku, nemají na toto chování velký vliv. Platforma ARM (bez významného rozdílu v7 nebo v8) dosahovala výsledné přenosové rychlosti cca 1 Gbit/s u iPerf3 a 600 Mbit/s u FlowPing, což je přibližně 2x více, než dosahovala platforma x86_64. Je však třeba vzít do úvahy rozdílnost v kmitočtech CPU obou typů platforem.
Za situace, kdy není platforma vytěžována na meze výkonnosti a klade se důraz na minimální ztrátovost při generování testovacího toku v rámci operačního systému, typicky ztrátovost datových jednotek <0,01 %, bylo zjištěno, že i méně taktovaná platforma x86_64 je schopna dosáhnout lepších výsledků než platforma ARM. Přehledně shrnuté výsledky měření jsou:
Úprava nástroje FlowPing pro specifické potřeby měření je bezproblémová. Zdrojový kód nástroje FlowPing není uzavřený a je volně dostupný na GitHub pod licencí GNU GPLv3 (viz https://github.com/k13132/flowping).
Nástroj FlowPing je vyvíjen již řadu let a aktuálně (2023 − Q2) je dostupný ve verzi 3. Hlavní vlastnosti a vylepšení oproti původní verzi jsou:
FlowPing je softwarovým generátorem datového toku pro účely ověření parametrů datového spoje, potažmo parametrů nebo nastavení komunikační sítě. FlowPing je závislý na hostitelském systému. V každém měření je tedy třeba brát tento fakt v úvahu a je vhodné správně navrhnout postup i z pohledu zatížení operačního systému ostatními aplikacemi a jejich komunikačními potřebami.
Měření parametrů komunikačních sítí prostřednictvím nástroje FlowPing, lze rozdělit do několika základních oblastí:
Dále uvádíme některé konkrétní příklady testování.
Testy zahlcení sítě
Zjištění bodu zahlcení sítě je jedním ze zajímavých měření neznámého datového spoje nebo identifikace úzkého hrdla komunikační sítě. Měření má za úkol odhalovat limity fyzické propustnosti, kontrolovat nástup nebo činnost síťových mechanismů, které upravují či omezují datové toky v síti. Obrázek 3 graficky znázorňuje získané výsledky měření při zjišťování bodu zahlcení sítě.
Pro měření byl použit profil pily (rampy) s lineárně rostoucí rychlostí testovacího datového toku. Z měření byl získán bod, ve kterém komunikační síť zásadním způsobem začala datový provoz omezovat, tj. došlo k nárůstu ztrátovosti. Je vidět, že síť měla pravděpodobně povolen přenos shluků paketů (burst režim), protože krátce byla dosažena vyšší hodnota přenosové rychlosti, než je operátorem stanovená mez. Poklesem hodnoty přenosové rychlosti testovacího toku lze následně najít bod, kdy ztrátovost opět poklesne a komunikační síť znovu přenáší všechna testovací data.
Ověření mechanismu ochrany proti (D)DOS útoku
Grafická interpretace výsledků reálného měření nástrojem FlowPing a analyzátorem F-Tester®, kdy úkolem bylo ověřit funkcionalitu ochrany proti DOS útoku u neznámé sítě, je uvedena na obrázku 4.
Nástroj FlowPing v režimu klient se nacházel na počítači uvnitř testované sítě a generoval datový tok na FlowPing v režimu server, který byl umístěn v internetu. Z grafu je patrné, že přestože odchozí datový tok lineárně narůstal (upstream, modrý průběh), v příchozím směru došlo k omezení datového toku (downstream, červený průběh). Test byl prováděn s minimální velikostí datových paketů tak, aby nedošlo k přetížení dostupné síťové konektivity pro ostatní aplikace v testované síti. Ke spuštění ochranného mechanismu došlo přibližně při přenosu 2000 paketů za sekundu.
Výsledky získané nástrojem FlowPing pro následnou emulaci datové sítě
Test byl spuštěn v síti Starlink. Průběh testování propustnosti datového spoje tokem s protokolem TCP je zobrazen na obrázku 5.
Paralelně s testovacím datovým tokem TCP, který představoval datový tok běžného uživatele, byl na pozadí generován pomocný datový tok nástrojem FlowPing. Ten není v grafu výrazně vidět, protože kopíruje v podstatě osu času. Slouží k získávání parametrů satelitního spoje v závislosti na čase.
Na obrázku 6 je pro porovnání uveden výsledek měření propustnosti emulovaného datového spoje. Analýzou parametrů datového toku nástroje FlowPing lze získat časový průběh přenosových parametrů měřeného satelitního spoje (např. zpoždění a ztrátovost). Pokud se takto analyzovaný výsledek měření vloží do vhodného emulátoru sítě, například do zařízení E-Shaper, lze získat model reálného přenosového kanálu. Z grafu s emulací parametrů datového kanálu prvkem E-Shaper je patrné, že zahrnuje i proces předávání terminálu (spojení) mezi družicemi jako u reálně získaných výsledků, kdy proces předávání terminálu způsobí krátkodobé přerušení datového spojení.
Monitorování parametrů mobilní sítě za jízdy
Nástroj FlowPing lze využít jako zdroj datového toku na pozadí, který kontinuálně monitoruje parametry zájmového spoje souběžně s reálným provozem.
Spojení FlowPingu a analyzátoru F-Tester® dovoluje například provádět testy a spojovat výsledky s dalšími doplňkovými údaji. Typickým příkladem jsou DriveTesty sítí mobilních operátorů. Na mapě na obrázku 7 je zobrazen výsledek testu v pokrytí dálnice D1 jednotlivými generacemi technologií, které se aktuálně používají v mobilní síti konkrétního operátora.
V rámci DriveTestu je užitečnou funkcionalitou FlowPingu vyrovnat se se změnou v přidělené IP adrese na měřicím rozhraní od poskytovatele připojení při znovunavázání přerušeného spojení.
Oblast průmyslu, speciálně pak IIoT (Industry IoT), používá široké spektrum komunikačních technologií. V uzavřených výrobních a logistických areálech se provozují lokální sítě (průmyslové Wi-Fi) a dále tzv. kampusové sítě (typicky privátní 5G sítě). Pro globální pokrytí rozprostřených infrastruktur, typicky v energetice, se pak kombinují fixní a bezdrátové sítě. V elektroenergetice vznikly historickým vývojem pro pevné komunikační sítě specifické přenosové technologie BPL, které využívají pro přenos dat silová vedení. A pro bezdrátové datové přenosy je v oblasti IIoT využívána řada technologií z běžného světa IoT (LoRaWAN, NB-IoT) a dále mobilní komunikace typu LTE-M.
Ve světě IIoT se uplatňují především technologie plnící specifické nároky, zejména vysoká spolehlivost, vysoká dostupnost služby, nízká ztrátovost dat, nízké zpoždění, přičemž je požadována obvykle relativně nízká přenosová rychlost. Bez ohledu na komerční dostupnost jednotlivých technologií lze konstatovat, že síťové prvky pro zajištění komunikace obvykle používají architekturu TCP/IP. Splnění výše uvedených nároků průmyslových aplikací je třeba průběžně ověřovat, k čemuž se dnes běžně používá klasický Ping. Pro preciznější monitoring a validaci parametrů v oblasti IIoT je velmi vhodný právě nástroj FlowPing.
Nástroj FlowPing pro oblast IIoT
FlowPing je schopen diagnostikovat datové spoje nebo komunikační sítě, které využívají specifických přenosových technologií typických pro oblast IoT a Industrial IoT. Cílem diagnostiky obecně je zjištění stavu datového spoje a určení přenosových parametrů. Pouhá znalost aktuálních podmínek přenosu je však v dnešní době již nedostačující. Složitost a komplexnost technologií a komunikačních sítí, zvyšující se nároky na plnění zadaných úkolů, to vše vede k nutnosti provádět periodická měření a kontinuální analýzy získaných výsledků. Znalost minulých stavů umožňuje predikovat další vývoj a určit tak stav budoucí. Což dovoluje například zefektivnit plánování úkolů nebo optimalizovat další rozvoj. Na základě údajů získaných v minulosti lze předcházet zahlcování sítě či výpadkům komunikace. Typickou úlohou je plánování časů pro stahování dat k zálohování nebo upgrade firmwaru.
Stěžejní v získávání potřebných informací o stavu spojů a celé sítě bude množství síťových uzlů s funkcionalitou pro diagnostiku. Cesta specializovaných hardwarových měřicích systémů sice bude přinášet precizní výsledky, ale za cenu buď neúměrně vysokých nákladů, nebo za cenu nedostatečného objemu informací. Implementace funkcionality generovat/zpracovávat testovací datový tok, v ideálním případě v každém koncovém uzlu sítě, se jeví jako vhodnější. Softwarové testovací nástroje s adekvátní funkcionalitou a přesností zajistí relevantní testy s měřením přenosových parametrů napříč všemi segmenty sítě.
Relativně nízké hardwarové nároky nástroje FlowPing na hostitelský systém, kompilace proti knihovnám glibc i musl vedou k možnosti provozovat aplikaci FlowPing na širokém spektru hardwarových platforem. Z tohoto důvodu je FlowPing vhodný pro implementaci do IIoT síťových prvků (včetně bran a řídicích miniPC – RTU či PLC). A to ať už ve formě samostatné aplikace pro operační systém, nebo ve formě aplikace ve virtuálním kontejneru.
Diagnostika sítě IIoT nástrojem FlowPing
Obvyklá koncepce ověřování přenosových parametrů vychází z klasického schématu generování testovacího toku mezi centrálním uzlem sítě (režim server) a vzdáleným uzlem (režim klient).
Díky koncepci nástroje FlowPing je vhodný režim serveru pro provoz v koncovém bodu sítě. Tento režim nevyžaduje významné komunikační nároky pro řízení a běh aplikace v tomto režimu může být automatizován bez nutnosti zásahů provozovatele sítě. Za předpokladu, že nebude nutné získávat statistiky z aplikace FlowPing v režimu server, může aplikace v tomto režimu pracovat bez dalších komunikačních nároků na síť.
V jádru sítě je vhodné provozovat nástroj FlowPing v režimu klient, který dle zadaných úkolů iniciuje měření a ukládá zjištěné výsledky. V závislosti na koncepci a topologii energetické sítě lze pak využít i principů Edge Computingu s větším počtem řídicích uzlů dedikovaných blíže k jednotlivým segmentům například distribuční/přístupové sítě.
Obrázek 8 uvádí modelovou situaci distribuci elektrické energie koncovým účastníkům v elektroenergetice v městské aglomeraci. Topologie silové sítě zahrnuje na nejvyšší úrovni sítě příslušné transformovny (Tr) VVN/VN vybavené řídicími počítači (Tr-RTU). K transformovnám jsou připojeny prostřednictvím příslušné síťové infrastruktury distribuční trafostanice VN/NN s vlastím monitorováním (dTS-RTU). V jádru komunikační sítě, která je privátní sítí podpůrnou pro síť energetickou, je umístěn uzel s jednou či více instancemi FlowPing. Jednotlivé testy jsou směrovány do zájmových lokalit, například k dTS-RTU. V prvcích RTU je FlowPing spuštěn v režimu server. V závislosti na potřebách lze umístit měřicí uzly s nástrojem FlowPing v režimu klient blíže k dTS, tj. umístit je například do transformoven. FlowPing ve vysunuté pozici je řízen z centrálního uzlu v jádru sítě, kterému jsou reportovány naměřené hodnoty pro další zpracování. Ve vysunuté pozici umožňuje FlowPing testovat konkrétní segmenty sítě, respektive vybranou skupinu prvků. Výsledky těchto měření nebudou ovlivněny datovými toky z jiných segmentů sítě.
Základní a pokročilá diagnostika sítí IIoT s využitím nástroje FlowPing:
FlowPing je nástroj pro testování zpoždění, ztrátovosti a propustnosti u datových spojů i celých komunikačních sítí. Svou koncepcí umožňuje zkoumat chování komunikační sítě v reakci na dynamickou změnu generovaného provozu. Ve spolupráci s dalšími síťovými nástroji, jako je analyzátor F-Tester® a emulátor sítě E-Shaper je možné provádět pokročilou analýzu komunikační sítě a chování komunikační sítě i modelovat. Volně dostupný zdrojový kód nástroje FlowPing je bezproblémově přizpůsobitelný specifické situaci pro různé hostitelské systémy. Pro oblast IIoT je výhodou zejména:
Vzhledem k univerzální koncepci a funkcionalitě bylo možné nástroj FlowPing ve verzi 3 přizpůsobit k využití v oblasti komunikačních systémů IIoT. Svými unikátními vlastnostmi je schopen zajistit precizní diagnostiku datových spojů různých přenosových technologií.
Poděkování
Článek vznikl v rámci projektu „Platforma pro spolehlivý provoz, dohled a správu masivních rozprostřených struktur IIoT“ (FW03010150) za podpory Technologické agentury ČR.
