Kým se inspirujeme, v čem jsme lepší

HgIS je software pro správu dat o životním prostředí
(EDMS – Environmental Data Management Software).

EDMS vyvíjejí různé společnosti:

Jejich EDMS jsou například:

• V ČR je využívána zejména gdBase od firmy GD Software.
• eSymon
• SED (Progeo Consulting)
• Automatic Sensing – pouze senzorová data
• EQuIS od firmy EarthSoft. Vhodné i pro opravdu velké organizace s náročnými požadavky.
• WISKI a další řešení od firmy Kisters – Německo.
• GW-Base od firmy ribeka – Německý produkt zaměřený na podzemní vodu.
• ESdat – Austrálie.
• EnDAR od firmy Tetra Tech integruje Power BI či Tableau.
• SiteFX od firmy EarthFX – USA. Má zdarma dostupný (public domain) datový model, který však není úplně podrobně dokumentován. Využívá MS Access jako běhové prostředí.
• EnviroData od firmy Geotech Computer Systems z USA. Využívá MS Access jako běhové prostředí.
• Oasis-montaj, Seequent Central a další od firmy Seequent (dříve GeoSoft).
• Hydro GeoAnalyst od kanadské firmy Waterloo Hydrogeologic.
• GeODin (Fugro)
• GIM Suite (acQuire)
• EDMS (GAEA)
• QNOPY

HgIS je oproti konkurenci snadněji rozšiřitelný (zejm. automatické načítání dat z nových zdrojů) a zaměřuje se na analýzu dat a na modelování. Pokud ve vás nevzbuzuje HgIS dostatek důvěry, rádi vám poradíme s výběrem alternativy. Vždyť konkurenční produkty mohou být pro některé organizace lepší volbou. Nicméně k vývoji HgIS jsme přistoupili, až když nám existující systémy nevyhovovaly – možná tedy u HgIS skončíte i vy :-)

Pro správu dat, jejich vizualizaci, vyhodnocení a tvorbu modelů je možno používat existující software. Na specifika mj. hydro­geologických dat se specializuje tzv. EDMS (Environmental data management software – software pro správu dat o životním prostředí). EDMS spravuje bázi dat o životním prostředí a provádí nad ní operace specifické pro environ­mentální data (import, export, validace dat, QA/QC, vizualizace: reporty, grafy, vrtné profily). Nebyl nalezen zdarma dostupný EDMS. Existují následující EDMS (v závorce je uveden původce) – mimo uvedené výše: Hydstra (Kisters), Project Portal (ddms), EPIPHINY (Summit Envirosolutions), Virtual Observatory and Ecological Informatics System (VOEIS), eRAMS (Colorado State University), ETRA GIS (VŠB – TU Ostrava), H+ (Réseau National de Sites Hydrogéologiques), GWSDAT (v Shiny) (Wayne Jones), MIKE INFO – dříve IMS – Information Management System (DHI), DataSight (Seveno), MonitorPro (EHS Data), DATALAB (Waterlabs), Geological Data Management Software (Datamine), GEMS (GEOVIA), Enterprise Integration (MineRP), Water Resources Database, EQWin (EQWin® Software Inc.), ChemPoint (Starpoint Software) a AQUARIUS (Aquatic Informatics). Některé tyto programy však vůbec nepracují s daty o geologii.

Bylo provedeno důkladné srovnání uvedených EDMS. Z nich byly vybrány systémy EQuIS od firmy EarthSoft Inc. („světová jednička“) a Enviro Data od firmy Geotech Computer Systems, Inc., které mají zdrojový kód dostupný za podmínek dohody o mlčenlivosti a jsou zaměřeny na interoperabilitu se softwarem třetích stran. Tyto systémy byly otestovány. S majiteli firem, které tyto dva produkty vyvíjejí, bylo vedeno jednání (Geotech Computer Systems, Inc. – videokonference; EarthSoft Inc. – osobní setkání v Praze). Bylo pláno­váno zakoupení systému EQuIS. Nákup se nepodařilo realizovat, což se ze zpětného pohledu jeví jako šťastná okolnost. Nabyté zkušenosti s uvedenými systémy byly využity pro návrh HgIS, který není nepřimě­řeně zatížen autorskými právy třetích stran a zcela splňuje požadavky.

Dále: Standardy pro výměnu dat o podzemní vodě

Alternativou k platformě Pentaho je například Knowage (dříve SpagoBI). Umožňuje mapové zobrazení. Co se týče ETL, není SpagoBI integrováno s PDI, ale s Talend Open Studio for Data Integration. SpagoBI používá pro tvorbu reportů mezi jinými i silný nástroj BIRT. Srovnání těchto FOSS BI reportin­go­vých nástrojů je uvedeno v diplomových pracích z VŠE (Filipčík 2013¹⁾; Bednář 2013²⁾). GeoBI se zabývá diplomová práce (Sommer 2013)³⁾. Nástroje pro tvorbu reportů běžně neumožňují standardně zobrazování map, ale u Knowage/​SpagoBI je možné zobrazování dat v mapě přímo v online prostředí v rámci vizualizace ad hoc, mj. včetně integrace služeb WMS či WFS. Další alternativou je platforma KNIME. Je open source a je zaměřená na analýzu dat a data mining. Má funkcio­nalitu ETL i reporting (BIRT), ale server však už není open source a je velmi drahý. Existuje samo­zřejmě mnoho dalších alternativ k FOSS Pentaho a Knowage/​SpagoBI. Jednou z komerčních jsou například hojně užívané nástroje od firmy Microsoft.

V HgIS jsou využívány některé nástroje Pentaho. Důvodem volby je:

• dobrá integrace jednotlivých komponent,
• dostatečná funkcio­nalita již v komunitní (FOSS) verzi,
• ETL umožňující práci s prostorovými daty (PDI GIS Plugins, nově HOP GIS Plugins),
• uživatelská přívětivost GUI.
• Obsahuje Adaptive Execution Layer (AEL), která umožňuje spouštět transformace nejen lokálně, ale také na Spark. Dále Pentaho umožňuje využívat různé cloudové platformy jako Amazon Web Services, Google Cloud Platform či Microsoft Azure (Cloud agnostic analytic pipeline). Alternativou k AEL je Apache Beam.

HgIS je unikátní mimo jiné tím, že je jako jediný postaven na nástrojích, které se využívají v obchodní informatice (BI), geoinformatice (GIS) a hydro­geologii.

HgIS využívá nástroje BI (Pentaho) a GIS. Souhrnně je tak možno HgIS charakterizovat jako „(geo)spatial business intelligence (GeoBI) tool for hydro­geology“. Takový systém doposud neexistoval. EnDAR integruje Power BI či Tableau pro analýzu dat. V ESdat jsou integrovány Power BI and Excel Power Query. Telerik je využit v EQuIS. Na nástrojích BI od firmy Microsoft je postaven MineRP, který však zpracovává data týkající se agend v souvislosti s těžbou nerostných surovin. Boulil et al. (2014)⁴⁾ prováděli OLAP analýzu kvality povrchové vody s využitím mj. Talend a PostgreSQL. Kingdon et al. (2016)⁵⁾ vytvořili datový sklad PropBase z 10 OLTP databází Britské geologické služby. Laraichi et al. (2016)⁶⁾ vytvořili datový sklad (PostgreSQL) – data integrovali pomocí QGIS a ručních transformací.

Výše se vyskytuje populární pojem big data. Pro hydro­geologii je doposud větší výzvou než objem dat spíše jejich rozmanitost a špatná dostupnost. Zatímco seismologie či astrofyzika (big science) generují big data, tak např. hydro­geologie (long tail science) spíše long-tail data: jednotlivci a malé týmy během dlouhé doby sbírají pro různý účel rozmanitá data, která systema­ticky neukládají a nesdílí. Tato data jsou často jedinečná a je nákladné je pořídit (např. hluboké vrty, dokumentace odkryvů při zemních pracích). Jsou však opětovně využitelná, zejména pokud budou sdílena. Long tail science se týká většiny vědců, kteří nevyuží­vají big data (uspořádaná dostupná data). Odstavec je hydro­geologickou interpretací článku Wallis et al. (2013)⁷⁾.

Zdroj

Spojení Pentaho + Python či R umožňuje každé profesi věnovat se tomu, v čem jsou nejlepší.

Zdroj

Zdroj