HgIS

Správa a analýza dat o životním prostředí
Environmental data management and analysis

Uživatelské nástroje

Nástroje pro tento web


cs:tools

Využité nástroje

Platforma Pentaho (BI)   Pentaho Data Integration (Kettle)   Databáze PostgreSQL Správce databáze DBeaver + příp. Programovací jazyk R  Geografický informační systém QGIS Nextcloud (alternativa k Dropbox, Googdle Drive či OneDrive)

HgIS je postaven na přístupech a nástrojích, které se využívají v obchodní informatice (datové sklady, business intelligenceBI)1), geoinformatice (geografické informační systémy – GIS) a hydrogeologii. Stručně řečeno se jedná o (geo)spatial business intelligence (GeoBI) pro hydrogeologii. Kromě programu EnviroInsite je veškerý níže uvedený software open source, což znamená, že je možno jej využívat zdarma pro jakýkoliv účel a je možno jej upravovat.

Platforma Pentaho

Platforma Pentaho

Platforma Pentaho je sada nástrojů pro datové sklady a business intelligence.
Obsahuje následující komponenty (možno stánout z SourceForge):

Tahák PDI

Pentaho Data Integration

Pentaho Data Integration (PDI, dříve znám jako Kettle)2)download. Je to tzv. datová pumpa (ETL). Umožňuje načítat data z nejrůznějších databází, zdrojů (e-mail, lokální počítač, FTP, HTTP) a souborů (MS Excel, MS Access, CSV, TXT, ESRI SHP, XML, JSON, YAML, RSS, dBase, ZIP atd.). Umožňuje data transformovat (normalizace, denormalizace, výpočty, úpravy textových řetězců, atd.) a uložit do databáze či souborů (příklad formátů viz výše).

V PDI existují dva typy úloh:
1. transformation (v následujícím textu „transformace“), představuje základní instrukce pro načtení, transformaci a uložení dat či jiný převod dat.
2. job je nadřazená úloha, která může obsahovat více „transformací“ a další operace – např. kopírování či kontrola souborů a odeslání e-mailu při chybě v transformaci.

PDI obsahuje dílčí programy:

  • Spoon (snímek obrazovky) je integrované prostředí pro vývoj, testování a monitorování „transformací“ a jobů – využívá tzv. vizuální programování.
  • Kitchen resp. Pan jsou určeny pro spouštění jobů resp. „transformací“ z příkazové řádky (spouštění na úrovni operačního systému) a
  • Carte je server pro spouštění jobů (vzdálené spouštění a paralelizace). Od verze 7.0 však je již možno spouštět vše na serveru Pentaho (PBA).3)

Z hlediska praktické práce s vývojovým prostředím PDI (Spoon) hrají hlavní roli tzv. kroky, pomocí kterých se sestavují „transformace“. Jedná se o prvky, jež mají specifické funkce. Při tvorbě „transformací“ uživatel využívá kroků, které spojuje šipkami (boxes and arrows). Ty určují směr, jakým transformace probíhá. K dispozici jsou i kroky, které umožňují použít v „transformaci“ vlastní kód Java, Python, R nebo příkaz SQL. Pokud chcete sami začít používat PDI, pomůže vám náš tahák.

Funkce GIS umožňuje doplněk PDI GIS Plugins – geometrii z bodů zadat podle screenshotů doplňku na Marketplace.

PDI funguje také jako rozhraní mezi jednotlivými komponentami platformy Pentaho.

Pentaho Report Designer

Pentaho Report Designer (PRD) umožňuje návrh reportů4) (snímek obrazovky), jež poté mohou být zobrazovány na aplikačním serveru PBA. Reporty v Pentahu jsou tzv. „banded reports“ (pevně vymezené oblasti). Tip: využívejte vnořené reporty (subreports). Zdroj v angličtině: Pentaho Report Designer Tricks, další zastaralý zdroj: Reporting Tales: Pentaho Reporting Tips and Tricks.

Pentaho Server

Pentaho Server (PBA, dříve BI Server, snímek obrazovky) je klíčová komponenta platformy. Umožňuje v uživatelsky přívětivém prostředí spouštět transformace, datové analýzy, generovat reporty, vytvářet a spouštět přehledová zobrazení (dashboard) a je možné je integrovat do dalších aplikací (pomocí REST API). Jeho součástí je aplikační server Apache Tomcat. Není přímo vhodný pro správu souborů a pro předávání souborů se vstupními daty do systému, což by měl umožňovat Community File Repository – viz návod. Přehledová zobrazení (dashboard) je možno vytvářet za pomoci CDE – více: Community Tools (CTools) Nastavení pravidelného rozesílání vyexportovaných souborů e-mailem.
Obrázek: PBA – Nastavení pravidelného rozesílání vyexportovaných souborů e-mailem.

Pentaho Metadata Editor

Pentaho Metadata Editor vytvoří abstraktní vrstvu nad datovým modelem. Zjednodušuje se tak tvorba tiskových sestav a přehledových zobrazení (dashboards) včetně lokalizace. Viz obrázek (vrstvy též: physical, logical and delivery layer):

Alternativou k Pentaho Metadata je Community Data Access (CDA), který může využívat Pentaho Metadata. CDA je (stejně jako Pentaho Metadata) možno využít jako datový zdroj mj. pro reporty.

Prostředky využívané platformou Pentaho

Univerzitní knihovna Technické univerzity v Liberci má sadu nejužitečnějších knih o\_platformě Pentaho. Je to jediná knihovna v ČR, která má knihy v tištěné formě. Obraťte se na nás, pokud potřebujete absenční výpůjčku (na domů).

Kvalitu platformy demonstruje, že je využívána v jedné z největších výzkumných organizací na světě: CERN – viz reportáž o přednášce.

PostgreSQL (homepage)

PostgreSQL / PostGIS

PostgreSQL je databázový server (systém řízení báze dat). Pro administraci databáze používáme DBeaver.

PostGIS (homepage) PostGIS je prostorové rozšíření databáze PostgreSQL, který tedy umožňuje ukládat prostorová data (geodata, geografická data) jako jsou body, linie, polygony a rastry v různých souřadnicových systémech (prostorová databáze čili geoprostorová databáze). K PostGIS můžou snadno přistupovat GIS (např. ArcGIS, QGIS), které mohou uložená data nejen zobrazovat. PostGIS implementuje standard pro uchovávání geodat – mezinárodní standard organizace Open Geospatial Consortium5). Využívání standardů umožňuje snadněji provádět (např. pomocí dotazu SQL) prostorové úlohy6) V HgIS je využíván PostGIS v samostatném databázovém schématu bez jinak striktně definovaného datového modelu.

QGIS

QGIS

QGIS je geografický informační systém umožňující pracovat s prostorovými daty včetně dat, která jsou uložena v PostGIS. Pro publikaci prostorových dat kromě samotných bodů je možné využít mapový server. Zobrazení dat z bodových objektů (např. vrty, studny) je možné přímo v GIS či ve online mapové aplikaci (snímek obrazovky). V rámci HgIS využíváme mapový server QGIS Server. Zdrojem dat pro něj může být například prostorová databáze (např. PostGIS), georeferencované rastry (např. JPG – tzv. world file), soubory s geodaty (ESRI SHP, KML, GML atd.). Výstupy z mapového serveru mohou být publikovány pomocí standardizovaných služeb, jako jsou např. WMS (obrázky), WFS (vektory), WCS (rastry). Ty mohou být zobrazeny v desktopovém GISu (QGIS) či začleněny do online mapové aplikace. Publikace dat pomocí webových služeb je jednou z forem naplnění směrnice INSPIRE.

EnviroInsite - homepage

EnviroInsite

Pro pokročilou vizualizaci hydrogeologických dat využíváme7) software EnviroInsite. Jedná se o cenově dostupný komerční program implementovaný v .NET. Export do EnviroInsite podporují EDMS EQuIS, Enviro Data a EPIPHINY. Vyvíjí jej firma EI LLC. Reálně se jedná o jednu osobu (Bruce Jacobs), která zajišťuje vývoj, podporu a částečně prodej. Software je velmi flexibilní a dokáže zobrazovat veškerá hydrogeologická data. Práce s ním je intuitivní. Jeho cílem je, aby potřebnou vizualizaci dat mohl běžně provádět sám hydrogeolog a nepotřeboval k tomu specialistu GIS. Program zobrazuje data z databáze s danou strukturou. Databáze může být implementována v programu MS Access či MS Excel. Vlastní projekt je uložen v souboru XML. Software zobrazuje dokumentaci jednotlivých vrtů, stratigrafická schémata (snímek obrazovky), geologické řezy (snímek obrazovky), 3D vizualizaci geologie, mapy, chemické interpretační grafy (Piper, Stiff, Schoeller) umístěné na mapě nebo na samostatném listu. Obdobně zobrazuje souhrnné i detailní tabulky; grafy a tabulky časových řad. Umožňuje export pro zobrazení na webu 8). Software interpoluje data ve 2D i 3D a je možno do něj načíst běžné formáty podkladových map (ESRI SHP, DXF, DWG, DGN, rastrové obrázky – world file). EnviroInsite exportuje georeferencované vektory (DXF, DWG, ESRI SHP) i rastry (world file). Výsledky je možno vyexportovat např. jako EMF a zobrazit např. v ArcGIS (video). Na domovských stránkách EI jsou screenshoty a názorné videotutoriály.

FIXME Firma vyvíjející EI byla koupena firmou vyvíjející EQuIS (EarthSoft), která dále neplánuje vyvíjet samostatný EI.9) Proto EI nahradíme pravděpodobně QGISem s doplňkem Midvatten Midvatten či FREEWAT (informace v češtině) a programem Groundhog Desktop od Britské geologické služby.

Zotero

Bibliografický manažer Zotero

Pro systematické uložení zejména publikací (a dokumentů) je možné používat bibliografickou databázi obsahující plné texty i metadata. Je tak možno publikace uchovávat, sdílet online, spravovat a vytvářet citace. Vše je zadáváno včetně metadat, a knihovna je tak přehledná, i když s ní pracuje větší počet uživatelů. Využíváme bibliografický manažer Zotero. Zotero je využíváno na Technické univerzitě v Liberci pro vědu i výuku. Ve firemním prostředí může být vhodnější využití systémů pro správu dokumentů. Výukový materiál o Zoteru.

R a Python

Pro pokročilou analýzu dat a vizualizaci je využíván jazyk R a to včetně tvorby online aplikací (Shiny) – viz naše příklady. Další pokročilé nástroje (zejm. GIS) jsou integrovány za pomoci jazyka Python.

Zdroje

Aktuality () a literatura o výše uvedených technologiích a nástrojích.

1)
Business intelligence (BI) je soubor dovedností, znalostí, technologií, aplikací a postupů používaných v podnikání pro získání lepšího pochopení fungování obchodní společnosti pro potřeby manažerského rozhodování. Za tímto účelem provádí sběr, integraci, analýzu, interpretaci a prezentaci firemních dat. Dalšími definicemi je: „Znalosti o podniku získané za pomoci rozličných hardwarových a softwarových technologií, které umožňují organizaci přeměnit data na informace.“ (NOVOTNÝ, Ota, Jan POUR a David SLÁNSKÝ, 2005. Business intelligence: jak využít bohatství ve vašich datech. Praha: Grada. Management v informační společnosti. ISBN 80-247-1094-3, s. 18). Běžné funkce aplikací BI zahrnují ETL, uložení všech dat v datovém skladu (data warehouse), OLAP (OnLine Analytical Processing), reporting, přehledové zobrazení (dashboard), analýzy a dolování dat (data mining) či automatizovaná hlášení (alerty). Významnou roli hraje zpracování semistrukturovaných dat. S geodaty pracuje geospatial BI čili GeoBI (obdobné pojmy jsou location intelligence a spatial intelligence).
2)
Akronym znamená: Kettle Extraction, Transformation, Transportation and Loading Environment. Název Kettle (anglicky konvice, kotel) byl zdrojem inspirace pro názvy komponent PDI: Spoon (lžíce), Pan (pánev), Kitchen (kuchyně) a Carte (jídelní lístek).
3)
In Pentaho 7.0 we merged the servers (no more that nonsense of having a distinct "BA Server" and a "DI Server") and introduced the unified Pentaho Server with a new and great looking experience to connect to it.
4)
Reportingem rozumíme tiskové sestavy, analytické tabulky, grafy a přehledy realizované na základě dotazů do databází (Pour et al. 2012). Tyto sestavy je možno zobrazovat ve webovém prohlížeči i stahovat v různých formátech (PDF, RTF, MS Excel). Reportingové vykreslovací jádro je součástí PDI i PBA. Proto je možno zobrazovat reporty online na základě uživatelských voleb (výběr objektu, veličiny atd.) na serveru PBA a reporty v definovaných formátech je možno generovat a distribuovat pomocí PDI.
5)
ISO 19125-2:2004 Geographic information – Simple feature access. Z něj vychází norma definující jazyk SQL (ISO/IEC 9075), která je doplněna normou ISO/IEC 13249 SQL Multimedia and Application Packages, jejíž třetí část obsahuje specifikace práce s prostorovými daty ISO/IEC 13249-3 (2011)
6)
Například nalezení vrtů v obci ve vzdálenosti 50 m od vodního toku, kde vstupem jsou souřadnice vrtů a prostorový rozsah vodního toku a obcí.
7)
Alternativou je například HydroGeoAnalyst či RockWorks, který je dražší a má výhody (více funkcí, podpora puklin, zlomů) i nevýhody (méně intuitivní uživatelské prostředí). EnviroInsite může být snáze použit na uživatelských stanicích, kde může sloužit pro zcela flexibilní zobrazování hydrogeologických dat koncovým uživatelem. RockWorks má na druhou stranu funkce, jež by mohly být využity specialistou např. komplexnější geologické modelování.
8)
S využitím JavaScriptu – jQuery. Starý web: program-features/web-control
9)
"EarthSoft will release new versions of the desktop EnviroInsite in EQuIS Professional, but does not currently plan to release new versions of non-EQuIS versions of EnviroInsite."
Tato stránka využívá cookies pro analýzu provozu. Používáním stránky souhlasíte s ukládáním těchto cookies na vašem počítači.Více informací
cs/tools.txt · Poslední úprava: 2019-11-05

Nástroje pro stránku