Kamil Nešetřil

Správa a analýza dat o životním prostředí

Uživatelské nástroje

Nástroje pro tento web

Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

Odkaz na výstup diff

Obě strany předchozí revizePředchozí verze
Následující verze		Předchozí verze
cs:documentation [21.11.2022] – Kamil Nešetřilcs:documentation [27.10.2023] (aktuální) – [Stručná technická dokumentace] Kamil Nešetřil
Řádek 1: Řádek 1:
 ====== Stručná technická dokumentace ====== ====== Stručná technická dokumentace ======
 |Na samostatných stránkách tohoto webu najdete [[screenshots|snímky obrazovky systému]] a [[tools|využité nástroje a technologie]]. |  |Na samostatných stránkách tohoto webu najdete [[screenshots|snímky obrazovky systému]] a [[tools|využité nástroje a technologie]]. | 
-|Neuvádíme zde podrobnou uživatelskou dokumentaci, protože HgIS může být pro různé účely a organizace nasazen v různé formě. Podrobná technická dokumentace je dostupná [[customers|jen zákazníkům]]. |+|Neuvádíme zde podrobnou uživatelskou dokumentaci, protože HgIS může být pro různé účely a organizace nasazen v různé formě. Podrobná technická dokumentace je dostupná jen zákazníkům. |
  
 Data jsou načítána pomocí nástroje [[tools#pentaho_data_integration|Pentaho Data Integration]] (PDI – tzv. Kettle).  Jeho velkou výhodou je, že pro načítání nového formátu do databáze není třeba psát progra­mo­vý kód, ale je možno si celý algoritmus „naklikat“ v grafickém vývojovém prostředí {{ :pdi.png?linkonly |Spoon}}. Podobným způsobem je možno vytvořit export dat do libovolného programu pro další zpracování. Data se načítají do serverové databáze [[tools#PostgreSQL / PostGIS|PostgreSQL]] (možno načítat i do jiné databáze). Vyvinuli jsme datový model (schéma či strukturu databáze), který umožňuje uložit veškerá data o vrtech (mj. geologický popis, hydro­stratigrafie, technické provedení) i pozorováních (libovolné veličiny vč. karotáže). Data v databázi je možno prohlížet pomocí jednoduché {{ :mapap1.png?linkonly |webové aplikace}}. Pokročilou vizualizaci (profily vrtu, geologické řezy, 3D modely; kombinace map, tabulek a grafů) provádíme v cenově dostupném programu [[https://earthsoft.com/enviroinsite/|EnviroInsite]], do kterého je možno data ze systému exportovat. Reporty (tiskové sestavy), ve kterých jsou prezentována data a analýzy a modely z nich vycházející, jsou vytvářeny v uživatelsky přívětivém prostředí Pentaho Report Designer a spouštět na webu (Pentaho Server – PBA). Reporty je možno zobrazovat online a ukládat v různých formátech (pdf, Excel, Word atd.). Data jsou načítána pomocí nástroje [[tools#pentaho_data_integration|Pentaho Data Integration]] (PDI – tzv. Kettle).  Jeho velkou výhodou je, že pro načítání nového formátu do databáze není třeba psát progra­mo­vý kód, ale je možno si celý algoritmus „naklikat“ v grafickém vývojovém prostředí {{ :pdi.png?linkonly |Spoon}}. Podobným způsobem je možno vytvořit export dat do libovolného programu pro další zpracování. Data se načítají do serverové databáze [[tools#PostgreSQL / PostGIS|PostgreSQL]] (možno načítat i do jiné databáze). Vyvinuli jsme datový model (schéma či strukturu databáze), který umožňuje uložit veškerá data o vrtech (mj. geologický popis, hydro­stratigrafie, technické provedení) i pozorováních (libovolné veličiny vč. karotáže). Data v databázi je možno prohlížet pomocí jednoduché {{ :mapap1.png?linkonly |webové aplikace}}. Pokročilou vizualizaci (profily vrtu, geologické řezy, 3D modely; kombinace map, tabulek a grafů) provádíme v cenově dostupném programu [[https://earthsoft.com/enviroinsite/|EnviroInsite]], do kterého je možno data ze systému exportovat. Reporty (tiskové sestavy), ve kterých jsou prezentována data a analýzy a modely z nich vycházející, jsou vytvářeny v uživatelsky přívětivém prostředí Pentaho Report Designer a spouštět na webu (Pentaho Server – PBA). Reporty je možno zobrazovat online a ukládat v různých formátech (pdf, Excel, Word atd.).
Řádek 30: Řádek 30:
  
 ==== Uložení dat ==== ==== Uložení dat ====
-Databáze (datový sklad) obsahuje data o objektech (vrty, studny, srážkoměrné stanice, limnigrafy atd.), a to geologický popis, stratigrafii a technické provedení objektů. Dále obsahuje pozorování veličin (např. analytů, hladin, čerpání, srážek) v hloubkových inter­valech (např. perforace vrtu či interval odběru zeminy) a bodech v hloubce (např. karotáž). Níže je nejprve uvedena základní struktura dat. Dále databáze obsahuje strukturu pro uchování popisných dat o sondách (vrty), podmínkách vzorkování podzemní vody a časových inter­valech. Dále zejména číselníky, kódovníky a pomocná data pro načítání dat do systému, pro převod jednotek a veličin a pro přejmenování. Navíc obsahuje další tabulky pro data (sestavy analýz, plán vzorkování), metadata (obecná struktura pro zaznamenání interpretací k uloženým datům) a lokalizaci (vícejazyčné uživatelské rozhraní), které budou moci být v budoucnosti případně využity.+Databáze (datový sklad) obsahuje data o objektech (vrty, studny, srážkoměrné stanice, limnigrafy atd.), a to geologický popis, stratigrafii a technické provedení objektů. Dále obsahuje pozorování veličin (např. analytů, hladin, čerpání, srážek) v hloubkových inter­valech (např. perforace vrtu či interval odběru zeminy) a bodech v hloubce (např. karotáž). Níže je nejprve uvedena základní struktura dat. Dále databáze obsahuje strukturu pro uchování popisných dat o sondách (vrty), podmínkách vzorkování podzemní vody a časových inter­valech. Dále zejména číselníky, kódovníky a pomocná data pro načítání dat do systému, pro převod jednotek a veličin a pro přejmenování. Navíc obsahuje další tabulky pro data (sestavy analýz, plán vzorkování), metadata (obecná struktura pro zaznamenání interpretací k ulože­ným datům) a lokalizaci (vícejazyčné uživatelské rozhraní), které budou moci být v budoucnosti případně využity.
  
 Využíváme databázový systém PostgreSQL ([[tools#PostgreSQL / PostGIS|více v sekci o využitých nástrojích a technologiích]]).\\  Využíváme databázový systém PostgreSQL ([[tools#PostgreSQL / PostGIS|více v sekci o využitých nástrojích a technologiích]]).\\ 
Řádek 69: Řádek 69:
 Byly vytvořeny následující analýzy a reporty((pomocí Pentaho Report Designer a Pentaho Data Integration)): Byly vytvořeny následující analýzy a reporty((pomocí Pentaho Report Designer a Pentaho Data Integration)):
   * Graf a tabulka časového průběhu libovolných veličin v libovolných objektech a základní popisná statistika ({{ :prubeh_server.png?linkonly |snímek obrazovky}})   * Graf a tabulka časového průběhu libovolných veličin v libovolných objektech a základní popisná statistika ({{ :prubeh_server.png?linkonly |snímek obrazovky}})
-  * Identifikace redukčně-oxidačních podmínek a převažujících procesů ve vodách z chemického složení((CHAPELLE, Francis H., Paul M. BRADLEY, Mary Ann THOMAS a Peter B. MCMAHON, 2009. Distinguishing iron-reducing from sulfate-reducing conditions. //Ground Water//. **47**(2), 300–305. ISSN 1745-6584. [[doi>10.1111/j.1745-6584.2008.00536.x]])) ((JURGENS, Bryant C., Peter B. MCMAHON, Francis H. CHAPELLE a Sandra M. EBERTS, 2009. U.S. Geological Survey Open-File Report: //An Excel® workbook for identifying redox processes in ground water//. 2009-1004. [[usgs>https://pubs.usgs.gov/of/2009/1004/|pubs.usgs.gov/of/2009/1004/]])) ({{ :redoxpba.png?linkonly |snímek obrazovky}})+  * Identifikace redukčně-oxidačních podmínek a převažujících procesů ve vodách z chemického složení((CHAPELLE, Francis H., Paul M. BRADLEY, Mary Ann THOMAS a Peter B. MCMAHON, 2009. Distinguishing iron-reducing from sulfate-reducing conditions. //Ground Water//. **47**(2), 300–305. ISSN 1745-6584. [[doi>10.1111/j.1745-6584.2008.00536.x]])) ((JURGENS, Bryant C., Peter B. MCMAHON, Francis H. CHAPELLE a Sandra M. EBERTS, 2009. //An Excel® workbook for identifying redox processes in ground water//. [[usgs>https://pubs.usgs.gov/of/2009/1004/|U.S. Geological Survey Open-File Report 2009–1004]])) ({{ :redoxpba.png?linkonly |snímek obrazovky}})
   * Multikriteriální analýza hodnotící trend vývoje kvality vody jezer. Při překročení neznámé meze celkového skóre by se projevily důsledky eutrofizace (vodní květ). ({{ :mkaaq_pba.png?linkonly |snímek obrazovky}})   * Multikriteriální analýza hodnotící trend vývoje kvality vody jezer. Při překročení neznámé meze celkového skóre by se projevily důsledky eutrofizace (vodní květ). ({{ :mkaaq_pba.png?linkonly |snímek obrazovky}})
   * Profil vrtu – report profilu geologicky dokumentovaných objektů. ({{ :profil_prd.png?linkonly |snímek obrazovky }})   * Profil vrtu – report profilu geologicky dokumentovaných objektů. ({{ :profil_prd.png?linkonly |snímek obrazovky }})
Řádek 84: Řádek 84:
 //Obrázek: Průměrný hydraulický gradient z hladin vybraných vrtů a z toho odhad rychlosti proudění a doby zdržení (doběhu) – export do sešitu MS Excel// ((DEVLIN, J.F., 2003. A spreadsheet method of estimating best-fit hydraulic gradients using head data from multiple wells. //Ground Water//. **41**(3) 316–320. ISSN 1745-6584. [[doi>10.1111/j.1745-6584.2003.tb02600.x]])), kde je výpočet prováděn maticovými vzorci. //Obrázek: Průměrný hydraulický gradient z hladin vybraných vrtů a z toho odhad rychlosti proudění a doby zdržení (doběhu) – export do sešitu MS Excel// ((DEVLIN, J.F., 2003. A spreadsheet method of estimating best-fit hydraulic gradients using head data from multiple wells. //Ground Water//. **41**(3) 316–320. ISSN 1745-6584. [[doi>10.1111/j.1745-6584.2003.tb02600.x]])), kde je výpočet prováděn maticovými vzorci.
  
-Jednoduché modely je možné spouštět v PBA, pro náročnější simulace je možno data snadno exportovat pomocí PDI do formátu pro načtení do specifického simulačního software. Výpočty je možno provádět v PDI například za pomoci kroků ''Formula'', ''Analytic query'' či ''Calculator''. V reportech je možno používat vzorce, jejichž syntaxe (LibFormula) je zalo­žena na standardu OpenFormula((OASIS, 2011. //Open Document Format for Office Applications (OpenDocument) Version 1.2// Part 2: [[https://docs.oasis-open.org/office/v1.2/os/OpenDocument-v1.2-os-part2.html|Recalculated Formula (OpenFormula) Format]]. OASIS Standard.)), který využívá například LibreOffice/OpenOffice. Agregace dat je možno provádět například v PDI pomocí kroku ''Group By''. HgIS je navržen tak, aby umožňoval vytvářet dílčí (geo)prostorové analýzy v PDI či nad databází např. pomocí prostorového rozšíření jazyka SQL.+Jednoduché modely je možné spouštět v PBA, pro náročnější simulace je možno data snadno exportovat pomocí PDI do formátu pro načtení do specifického simulačního software. Výpočty je možno provádět v PDI například za pomoci kroků ''Formula'', ''Analytic query'' či ''Calculator''. V reportech je možno používat vzorce, jejichž syntaxe (LibFormula) je zalo­žena na standardu OpenFormula((OASIS, 2011. //Open Document Format for Office Applications (OpenDocument) Version 1.2// Part 2: [[doc>https://docs.oasis-open.org/office/v1.2/os/OpenDocument-v1.2-os-part2.html|Recalculated Formula (OpenFormula) Format]]. OASIS Standard.)), který využívá například LibreOffice/OpenOffice. Agregace dat je možno provádět například v PDI pomocí kroku ''Group By''. HgIS je navržen tak, aby umožňoval vytvářet dílčí (geo)prostorové analýzy v PDI či nad databází např. pomocí prostorového rozšíření jazyka SQL.
 === Rozesílání zpráv na základě událostí === === Rozesílání zpráv na základě událostí ===
 Pentaho Server (PBA) umožňuje automatizaci procesů např. pro informování uživatele, že daná veličina překročila stanovenou hodnotu (e-mail např. s tabulkou a grafem v příloze). E-maily s reporty (Word, Excel, pdf) v příloze mohou být rozeslány v přípa­dně události či v pravidelných inter­valech. Pentaho Server (PBA) umožňuje automatizaci procesů např. pro informování uživatele, že daná veličina překročila stanovenou hodnotu (e-mail např. s tabulkou a grafem v příloze). E-maily s reporty (Word, Excel, pdf) v příloze mohou být rozeslány v přípa­dně události či v pravidelných inter­valech.
Poslední úprava: 27.10.2023