Datová platforma

Datová platforma sdružuje management heterogenních dat od jejich sběru, zpracování, ukládání, až po analýzu a prezentaci. Je otevřena pro integraci dat z různých projektů a oblastí Life Sciences.

Zajišťuje: Katedra informačních technologií

Webová stránka:

https://ls40.pef.czu.cz

Kontaktní osoba:

Datová platforma poskytuje IT prostředí pro vývoj jednotlivých aplikací a jejich následný provoz. Jádro datové platformy je tak složen z vývojového a produkčního serveru. Tyto servery nám poskytuje odbor informačních a komunikačních technologií (OIKT), který je schopen servery v případě potřeby propojit s dalšmi servery a službami v rámci ČZU, například napojení na platformu ArcGIS Enterprise poskytující geografický informační systém a mnoho dalších služeb a případných zdrojů dat.

V rámci datové platformy využíváme nástroj Docker, který nám dovoluje oddělit jednotlivé aplikace od infrastruktury a umožňuje tak rychle vytvářet a dodávat samostatné aplikace. Také je snadné již kompletní a otestovanou aplikaci přesunout na produkční server, kde jsou různé aplikace zcela oddělené a chyba v jedné z nich neohrozí ostatní. V případě potřeby však mohou vybrané aplikace sdílet některé společné prostředky. Zároveň je možné po ukončení konkrétního projektu dotčené aplikace velmi jednoduše a kompletně odstranit.  Tento přístup umožnuje snadné a bezpečné zapojení studentů do realizace projektů.

Následující schéma znázorňuje základní proces vytváření aplikací za využití kontejnerového přístupu Docker, kdy autor každé aplikace vytvoří takzvanou image, kterou je možné sdílet a spouštět v libovolném systému Docker. Takto vznikají jednotlivé kontejnery aplikací.

Zdroj: https://docs.docker.com/get-started/overview/

Jednou z hojně využívaných aplikací, především díky své univerzálnosti a jednoduchosti použití, je nástroj zvaný NodeRED, běžící v prostředí node.js. NodeRED nabízí grafické vývojové prostředí. Nástroj je možné rozšířit mnohými knihovnami zajištujícími napojení na různé webové protokoly a procesní funkce pro zpracování a normalizaci datových zpráv.  Za využití tohoto nástroje je možné realizovat prakticky libovolný IoT projekt,proto také našel v mnohých projektech své uplatnění.

Pro ukládání dat v rámci datové platformy využíváme různé architektury databází. Jsme tak schopni využít jejich předností, případně se přizpůsobit cílové aplikaci. Pro časové řady využíváme databázi InfluxDB, pro aplikace postavené na relačních vazbáchby a tabulkových datech, jejichž struktura je definovatelná, je vhodná databáze PostgreSQL. Na nestrukturovaná data s následným vyhledáváním lze aplikovat Elasticsearch. V některých případech lze použít MongoDB, do které je vhodné ukládat dokumenty ve formátu JSON.

„Data management platform“ zahrnuje kromě serverových služeb a aplikací také nástroje pro sběr dat z terénu. Velmi populární je pro sběr dat využití takzvané LPWAN sítě, tedy sítě s nízkými nároky na energii. Zmíněná síť je schopna é pokrýt rozsáhlá území, do sítě se řadí zejména technologie jako LoRaWAN, NB-IoT, případně Sigfox. Pro lokální pokrytí, avšak při zachování nízkoenergetických vlastností komunikace, zapojujeme technologie IQRF případně ZigBee. Pokud je možné zajistit napájení pro sběrná zařízení, je přípustné i použití i standardních technologií pro připojení například LTE případně WiFi.. V takovém případě lze přenášet výrazně vyšší objemy dat. V ideálním případě je vhodné připojit zařízení LAN kabelem pro poskytnutí velmi širokého komunikačního kanálu a takézajištění vysoké spolehlivosti komunikace. V rámci datové platformy se tak setkáváme s většinou z výše uvedených komunikačních technologií a datová platforma je připravena přijímat data přenášena těmito sítěmi.