Data jsou načítána pomocí nástroje Pentaho Data Integration (PDI – tzv. Kettle). Jeho velkou výhodou je, že pro načítání nového formátu do databáze není třeba psát progra­mo­vý kód, ale je možno si celý algoritmus „naklikat“ v grafickém vývojovém prostředí Spoon. Podobným způsobem je možno vytvořit export dat do libovolného programu pro další zpracování. Data se načítají do serverové databáze PostgreSQL (možno načítat i do jiné databáze). Vyvinuli jsme datový model (schéma či strukturu databáze), který umožňuje uložit veškerá data o vrtech (mj. geologický popis, hydro­stratigrafie, technické provedení) i pozorováních (libovolné veličiny vč. karotáže). Data v databázi je možno prohlížet pomocí jednoduché webové aplikace. Pokročilou vizualizaci (profily vrtu, geologické řezy, 3D modely; kombinace map, tabulek a grafů) provádíme v cenově dostupném programu EnviroInsite, do kterého je možno data ze systému exportovat. Reporty (tiskové sestavy), ve kterých jsou prezentována data a analýzy a modely z nich vycházející, jsou vytvářeny v uživatelsky přívětivém prostředí Pentaho Report Designer a spouštět na webu (Pentaho Server – PBA). Reporty je možno zobrazovat online a ukládat v různých formátech (pdf, Excel, Word atd.).

HgIS momentálně umožňuje načtení dat z těchto souborů do databáze (datového skladu):

• Laboratorní informační systém (LIMS) Labsystém: sada 2 souborů DBF – vzorky a hodnoty.
• Česká geologická služba (Geofond)
  • soubory MS Access a
  • soubory XML Databáze geologicky dokumentovaných objektů České republiky – výdejní aplikace. Jedná se o výměnný formát podle mezinárodního standardu projektu eEarth.
• gdBase – načítání některých polí.
• RockWorks
• ČHMÚ: Historická data – meteorologie a klimatologie
• Stanice FIEDLER
• Srážky a teploty ve formě textového souboru na FTP serveru Povodí Ohře s. p.
• Kontingenční tabulka v MS Excel.
• Data (v Excelu a v textových souborech) v různých formátech různých dodavatelů dat (hladiny, čerpání, srážky, průtoky vodních toků) a další.
• Inklinometrie (textové soubory – strojově generované exporty od AZ Consult, spol. s r.o.).
• Data o chemismu z Palivového kombinátu Ústí, s. p. v Excelu (ručně vytvořené dokumenty).
• Archivní průzkumné vrty ve Wordu, pravděpodobně exportované ze systému Geobanka firmy Data-PC Sokolov.

Pokud vám zde chybí nějaký zdroj dat, dejte nám vědět.

Následuje automatizovaná úprava dat pomocí Pentaho Data Integration: čištění, validace, sjednocení užité terminologie, doplnění implicitních hodnot parametrů, výpočty veličin, agregace atd. Do této kategorie je možno zařadit i:

• Výpočet hydrochemického typu vody (např. Ca-Mg-HCO3).
• Agregace dat (např. roční úhrn srážek z denních srážek, minimální měsíční průtok v roce atd.).

Databáze (datový sklad) obsahuje data o objektech (vrty, studny, srážkoměrné stanice, limnigrafy atd.), a to geologický popis, stratigrafii a technické provedení objektů. Dále obsahuje pozorování veličin (např. analytů, hladin, čerpání, srážek) v hloubkových inter­valech (např. perforace vrtu či interval odběru zeminy) a bodech v hloubce (např. karotáž). Níže je nejprve uvedena základní struktura dat. Dále databáze obsahuje strukturu pro uchování popisných dat o sondách (vrty), podmínkách vzorkování podzemní vody a časových inter­valech. Dále zejména číselníky, kódovníky a pomocná data pro načítání dat do systému, pro převod jednotek a veličin a pro přejmenování. Navíc obsahuje další tabulky pro data (sestavy analýz, plán vzorkování), metadata (obecná struktura pro zaznamenání interpretací k ulože­ným datům) a lokalizaci (vícejazyčné uživatelské rozhraní), které budou moci být v budoucnosti případně využity.

Využíváme databázový systém PostgreSQL (více v sekci o využitých nástrojích a technologiích).
Struktura databáze vychází z databáze programu EnviroInsite. Datový model EnviroInsite definuje pole, která je třeba zadat pro zobrazení v EnviroInsite. Pro uložení všech dat, s nimiž HgIS pracuje, byl datový model EnviroInsite rozšířen tak, aby umožnil uložení popisných dat o objektech (vrty, studny), podmínkách vzorkování podzemní vody a časových inter­valech. Dále aby obsahoval zejména číselníky, kódovníky a pomocná data pro načítání dat do systému, pro převod jednotek a veličin a pro přejmenování. Datový model HgIS vznikl z datového modelu EnviroInsite normali­zací. Dále obsahuje umělé klíče¹⁾, z tabulky constituents je vyčleněna tabulka standards a obsahuje číselníky kvalita a well_construction_material. Navíc obsahuje další tabulky pro data (sestavy analýz, plán vzorkování), metadata (obecná struktura pro zaznamenání interpretací a dalších popisů k uloženým datům) a lokalizaci, které budou moci být v budoucnosti případně využity v HgIS.²⁾

Tabulka: Popis tabulek původního datového modelu EnviroInsite

Tabulka: Popis důležitých tabulek databáze HgIS (datový sklad), jež nejsou v datovém modelu EnviroInsite

Pro uchování prostorových interpretací dat a komplexnějších prostorových dat (polylinie, polygony, 3D objekty atd.) je možno využít PostGIS – prostorové rozšíření námi používané databáze PostgreSQL, které se ve výše uvedeném datovém modelu přímo neuplatňuje.

Datový model (struktura databáze) byl inspirován mimo jiné mezinárodními standardy pro výměnu dat o podzemní vodě.

Byly vytvořeny následující analýzy a reporty³⁾:

• Graf a tabulka časového průběhu libovolných veličin v libovolných objektech a základní popisná statistika (snímek obrazovky)
• Identifikace redukčně-oxidačních podmínek a převažujících procesů ve vodách z chemického složení^{4) 5)} (snímek obrazovky)
• Multikriteriální analýza hodnotící trend vývoje kvality vody jezer. Při překročení neznámé meze celkového skóre by se projevily důsledky eutrofizace (vodní květ). (snímek obrazovky)
• Profil vrtu – report profilu geologicky dokumentovaných objektů. (snímek obrazovky )

Pentaho Server (PBA) je komponenta mj. pro zobrazo­vání tiskových sestav (reportů). Reporty je možno spouštět online na základě uživatelských voleb (výběr objektu, veličiny atd.). Po přihlášení do prostředí PBA pokračujte tlačítkem Browse files, kde jsou ve složkách umístěny jednotlivé tiskové sestavy (reporty).

Cílem mapové aplikace je provázat mapy, tabulky a grafy do uživatelského prostředí a názorně prezentovat většinu dat HgIS (snímek obrazovky). Aplikace obsahuje interaktivní podkladovou mapu s objekty. Pro jednotlivé objekty (vrty, studny) zobrazuje grafy a tabulky libovolných veličin (nejvýše dvou zároveň). Jsou to grafy časových řad⁶⁾ či karotáže⁷⁾. Po kliknutí na vrt v mapě je možno vybrat veličinu a časový úsek. Průběh veličiny se zobrazí jako tabulka v levé části okna a jako časový graf v horní části okna. V grafu se zobrazují i meze (sanační limity, legislativní omezení atd.)⁸⁾. Je možno nastavit různé podkladové mapy (webové služby jako WMS, WMTS apod.). V jednoduché textové formě (snímek obrazovky) je možno zobrazovat geologii, stratigrafii a technické provedení objektů (vrtů, studní).

Další směr vývoje HgIS směřuje k vývoji analýz a integraci modelů. Vítáme návrhy Obrázek: Průměrný hydraulický gradient z hladin vybraných vrtů a z toho odhad rychlosti proudění a doby zdržení (doběhu) – export do sešitu MS Excel ⁹⁾, kde je výpočet prováděn maticovými vzorci.

Jednoduché modely je možné spouštět v PBA, pro náročnější simulace je možno data snadno exportovat pomocí PDI do formátu pro načtení do specifického simulačního software. Výpočty je možno provádět v PDI například za pomoci kroků Formula, Analytic query či Calculator. V reportech je možno používat vzorce, jejichž syntaxe (LibFormula) je zalo­žena na standardu OpenFormula¹⁰⁾, který využívá například LibreOffice/OpenOffice. Agregace dat je možno provádět například v PDI pomocí kroku Group By. HgIS je navržen tak, aby umožňoval vytvářet dílčí (geo)prostorové analýzy v PDI či nad databází např. pomocí prostorového rozšíření jazyka SQL.

Pentaho Server (PBA) umožňuje automatizaci procesů např. pro informování uživatele, že daná veličina překročila stanovenou hodnotu (e-mail např. s tabulkou a grafem v příloze). E-maily s reporty (Word, Excel, pdf) v příloze mohou být rozeslány v přípa­dně události či v pravidelných inter­valech.

Export do libovolných dalších nástrojů je prováděn pomocí Pentaho Data Integration (Kettle).