Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

--- cs:competitors [24.06.2020] – upraveno mimo DokuWiki 127.0.0.1
+++ cs:competitors [14.03.2024] (aktuální) – Kamil Nešetřil
@@ Řádek 1: / Řádek 1: @@
+====== Srovnání s konkurencí ======
+**Kým se inspirujeme, v čem jsme lepší** \\ \\
+HgIS je software pro správu dat o životním prostředí \\ (<nowiki>EDMS</nowiki> – //Environmental Data Management Software//).
+EDMS vyvíjejí různé společnosti:
+[[cz>http://www.gdsoftware.cz|{{:gd.png?nolink&80|GD Software}}]]
+[[https://earthsoft.com/|{{:logo_compet_earthsoft.jpeg?nolink&150|EQuIS}}]]
+[[https://www.esdat.net/|{{:logo_compet_esdat.png?nolink&150|ESdat}}]]
+[[git>yogo/VOEIS|{{:logo_compet_voeis.png?nolink&50|VOEIS}}]]
+[[https://www.kisters.eu/|{{:logo_compet_kisters.svg?nolink&150|Kisters}}]]
+[[https://www.ribeka.com/en/|{{:logo_compet_ribeka.png?nolink&150|ribeka}}]]
+[[https://endar.tetratech.com/webapp/About|{{:endar_logo.png?nolink&80|Tetra Tech}}]]
+[[https://www.earthfx.com/|{{:logo_compet_earthfx.png?nolink&150|EarthFX}}]]
+[[http://alvis.software/en-gb/|{{:logo_compet_alvis.png?nolink&100|WISUTEC AL.VIS}}]]
+[[https://www.waterloohydrogeologic.com/products/hydro-geoanalyst/|{{:logo_compet_waterloo.jpg?nolink&150|Waterloo Hydrogeologic}}]]
+{{:logo_compet_dhi.png?nolink&85|DHI}}
+[[https://geotech.com/products/envirodata|{{:logo_compet_envirodata.gif?nolink&55|EnviroData}}]]
+[[https://www.seequent.com/products-solutions/geosoft-oasis-montaj/|{{:logo_compet_geosoft.svg?nolink&150|Seequent ( dříve GeoSoft)}}]]
+[[https://groundswelltech.com|{{:logo_compet_groundswell.png?nolink&100|Groundswell Technologies}}]]
+[[https://en.virtuosity.com/gint|{{:logo_compet_bentley.png?nolink&150|gINT}}]]
+[[https://www.acquire.com.au/products/gim-suite/|{{:logo_compet_acquire.png?nolink&150|acQuire}}]]
+[[https://www.ddmsinc.com/project-portal/about-project-portal/|{{:logo_compet_ddms.png?nolink&150|ddms}}]]
+[[https://www.locustec.com/applications/environmental-information-management/#groundwater|{{:logo_compet_locus.png?nolink&150|Locus}}]]
+[[https://qnopy.com|{{:logo_compet_qnopy.png?nolink&120|QNOPY}}]]
+[[https://www.gaea.ca/|{{:logo_compet_gaea.jpg?nolink&150|GAEA}}]]
+{{:logo_compet_seveno.png?nolink&150|Seveno}}
+[[https://aquaticinformatics.com/|{{:logo_compet_aquatic.png?nolink&50|Aquatic Informatics}}]]
+[[https://erams.com/catena/|{{:logo_compet_erams.png?nolink&100|eRAMS}}]]
+Jejich <nowiki>EDMS</nowiki> jsou například:
+  * V ČR je využívána zejména gdBase od firmy [[cz>http://www.gdsoftware.cz|GD Software]].
+  * [[cz>https://www.hydrogeolog.cz|eSymon]]
+  * SED ([[cz>https://progeo.consulting/|Progeo Consulting]])
+  * [[cz>https://automaticsensing.cz/|Automatic Sensing]] – pouze senzorová data
+  * [[https://earthsoft.com|EQuIS]] od firmy EarthSoft. Vhodné i pro opravdu velké organizace s náročnými požadavky.
+  * [[https://www.kisters.net/wiski/|WISKI]] a další řešení od firmy [[https://www.kisters.eu/|Kisters]] – Německo.
+  * GW-Base od firmy [[https://www.ribeka.com/en/|ribeka]] – Německý produkt zaměřený na podzemní vodu.
+  * [[https://www.esdat.net/|ESdat]] – Austrálie.
+  * [[https://endar.tetratech.com/webapp/About|EnDAR]] od firmy Tetra Tech integruje Power BI či Tableau.
+  * SiteFX od firmy [[https://www.earthfx.com/|EarthFX]] – USA. Má zdarma dostupný //(public domain)// datový model, který však není úplně podrobně dokumentován. Využívá MS Access jako běhové prostředí.
+  * [[https://geotech.com/products/envirodata|EnviroData]] od firmy Geotech Computer Systems z USA. Využívá MS Access jako běhové prostředí.
+  * [[https://www.seequent.com/products-solutions/geosoft-oasis-montaj/|Oasis-montaj]], Seequent Central a další od firmy Seequent (dříve GeoSoft).
+  * [[https://www.waterloohydrogeologic.com/products/hydro-geoanalyst/|Hydro GeoAnalyst]] od kanadské firmy Waterloo Hydrogeologic.
+  * [[https://www.geodin.com/english/software/|GeODin (Fugro)]]
+  * [[https://www.acquire.com.au/products/gim-suite/|GIM Suite]] (acQuire)
+  * [[https://www.gaea.ca/|EDMS]] (GAEA)
+  * [[https://qnopy.com|QNOPY]]
+HgIS je oproti konkurenci snadněji rozšiřitelný (zejm. automatické načítání dat z nových zdrojů) a zaměřuje se na analýzu dat a na modelování. Pokud ve vás nevzbuzuje HgIS dostatek důvěry, rádi vám poradíme s výběrem alternativy. Vždyť konkurenční produkty mohou být pro některé organizace lepší volbou. Nicméně k vývoji HgIS jsme přistoupili, až když nám existující systémy nevyhovovaly – možná tedy u HgIS skončíte i vy %%:-)%%
+==== Podrobněji ====
+Pro správu dat, jejich vizualizaci, vyhodnocení a tvorbu modelů je možno používat existující software. Na specifika mj. hydrogeologických dat se specializuje tzv. <nowiki>EDMS</nowiki> (//Environmental data management software// – software pro správu dat o životním prostředí).
+<nowiki>EDMS</nowiki> spravuje bázi dat o životním prostředí a provádí nad ní operace specifické pro environmentální data (import, export, validace dat, QA/QC, vizualizace: reporty, grafy, vrtné profily). Nebyl nalezen zdarma dostupný <nowiki>EDMS</nowiki>.  Existují následující <nowiki>EDMS</nowiki> (v závorce je uveden původce) – mimo uvedené výše: [[https://www.kisters.net/hydstra/|Hydstra (Kisters)]], [[https://www.ddmsinc.com/project-portal/about-project-portal/|Project Portal]] (ddms), [[http://www.epiphiny.com|EPIPHINY]] (Summit Envirosolutions), Virtual Observatory and Ecological Informatics System ([[git>yogo/VOEIS|VOEIS]]), [[https://erams.com/catena/|eRAMS]] (Colorado State University), ETRA <nowiki>GIS</nowiki> (VŠB – TU Ostrava), [[https://hplus.ore.fr/en/|H+]] (Réseau National de Sites Hydrogéologiques), [[https://www.claire.co.uk/projects-and-initiatives/gwsdat|GWSDAT]] [[r>https://github.com/WayneGitShell/GWSDAT|(v Shiny)]] (Wayne Jones), MIKE INFO – dříve IMS – Information Management System (DHI), DataSight (Seveno), [[https://ehsdata.com/monitorpro/features/|MonitorPro]] (EHS Data), [[https://www.waterlabs.eu/en/products/datalab|DATALAB]] (Waterlabs), Geological Data Management Software ([[https://www.dataminesoftware.com|Datamine]]), [[https://www.3ds.com/products-services/geovia/products/gems/|GEMS]] (GEOVIA), Enterprise Integration ([[https://www.minerp.com/|MineRP]]), [[http://www.wrdb.com/|Water Resources Database]], [[https://www.eqwinsoftware.com/|EQWin]] (EQWin® Software Inc.), [[http://www.pointstar.com/ChemPoint/default.aspx|ChemPoint]] (Starpoint Software) a [[https://aquaticinformatics.com/products/aquarius-environmental-water-data-management/|AQUARIUS]] (Aquatic Informatics). Některé tyto programy však vůbec nepracují s daty o geologii.
+Bylo provedeno důkladné srovnání uvedených EDMS. Z nich byly vybrány systémy EQuIS od firmy EarthSoft Inc. („světová jednička“) a Enviro Data od firmy Geotech Computer Systems, Inc., které mají zdrojový kód dostupný za podmínek dohody o mlčenlivosti a jsou zaměřeny na interoperabilitu se softwarem třetích stran. Tyto systémy byly otestovány. S majiteli firem, které tyto dva produkty vyvíjejí, bylo vedeno jednání (Geotech Computer Systems, Inc. – videokonference; EarthSoft Inc. – osobní setkání v Praze). Bylo plánováno zakoupení systému EQuIS. Nákup se nepodařilo realizovat, což se ze zpětného pohledu jeví jako šťastná okolnost. Nabyté zkušenosti s uvedenými systémy byly využity pro návrh HgIS, který není nepřiměřeně zatížen autorskými právy třetích stran a zcela splňuje požadavky.
+Dále: [[standards|]]
+==== Alternativy k Pentaho ====
+Alternativou k platformě Pentaho je například [[foss>https://www.knowage-suite.com|Knowage]] (dříve SpagoBI). Umožňuje mapové zobrazení. Co se týče ETL, není SpagoBI integrováno s PDI, ale s [[foss>https://www.talend.com/products/talend-open-studio/|Talend Open Studio for Data Integration]]. SpagoBI používá pro tvorbu reportů mezi jinými i silný nástroj [[foss>https://projects.eclipse.org/projects/technology.birt|BIRT]]. Srovnání těchto FOSS BI reportingových nástrojů je uvedeno v diplomových pracích z VŠE (Filipčík 2013((FILIPČÍK, Zdeněk, 2013. //Nástroje Business Intelligence jako Open Source//. Praha. Diplomová práce. VŠE. [[edu>https://vskp.vse.cz/34862]])); Bednář 2013((BEDNÁŘ, Jan, 2013. //Srovnání komerčních <nowiki>BI</nowiki> reportovacích nástrojů s nástroji Open Source//. Praha. Diplomová práce. Vysoká škola ekonomická v Praze. [[edu>https://vskp.vse.cz/38495]]))). GeoBI se zabývá diplomová práce (Sommer 2013)((SOMMER, Ondřej, 2013. //Integrace prostorových dat do podnikových informačních systémů.// Univerzita Pardubice. Diplomová práce. Fakulta ekonomicko-správní: Ústav systémového inženýrství a informatiky. [[edu>https://dk.upce.cz/handle/10195/53691]])). Nástroje pro tvorbu reportů běžně neumožňují standardně zobrazování map, ale u Knowage/SpagoBI je možné zobrazování dat v mapě přímo v online prostředí v rámci vizualizace ad hoc, mj. včetně integrace služeb WMS či WFS.
+Další alternativou je platforma [[foss>https://www.knime.com|KNIME]]. Je open source a je zaměřená na analýzu dat a data mining. Má funkcionalitu ETL i reporting (BIRT), ale server však už není open source a je velmi drahý. Existuje samozřejmě mnoho dalších alternativ k FOSS Pentaho a Knowage/SpagoBI. Jednou z komerčních jsou například hojně užívané nástroje od firmy Microsoft.
+V HgIS jsou využívány některé nástroje Pentaho. Důvodem volby je:
+  * dobrá integrace jednotlivých komponent,
+  * dostatečná funkcionalita již v komunitní (FOSS) verzi,
+  * ETL umožňující práci s prostorovými daty ([[git>atolcd/pentaho-gis-plugins|PDI GIS Plugins]], nově [[git>atolcd/hop-gis-plugins|HOP GIS Plugins]]),
+  * uživatelská přívětivost GUI.
+  * Obsahuje Adaptive Execution Layer ([[hitachi>https://help.hitachivantara.com/Documentation/Pentaho/9.3/Products/Adaptive_Execution_Layer|AEL]]), která umožňuje spouštět transformace nejen lokálně, ale také na Spark. Dále Pentaho umožňuje využívat různé cloudové platformy jako Amazon Web Services, Google Cloud Platform či Microsoft Azure //(Cloud agnostic analytic pipeline)//. Alternativou k AEL je [[foss>https://diethardsteiner.github.io/pdi/streaming/2018/12/01/Kettle-Beam.html|Apache Beam]].
+===== Zajímavé a unikátní vlastnosti HgIS =====
+HgIS je unikátní mimo jiné tím, že je jako jediný postaven na nástrojích, které se využívají v obchodní informatice (BI), geoinformatice (GIS) a hydrogeologii.
+^Vlastnost^Způsob splnění^
+|Rozvoj může provádět pokročilý zaškolený uživatel (//power user//).|Využití nástrojů //business ingelligence// s grafickým uživatelským rozhraním. Viz [[wp>End-user development]]. |
+|Zahrnutí všech dat při zachování jednoduchosti. Struktura i pro doposud neznámé veličiny (//data agnostic//).|Datový model, ve kterém jsou v podstatě všechny časové řady v jedné tabulce (''observations''). Veličiny jsou definovány pomocí záznamů v tabulce ''constituent''s, nikoliv samostatnými sloupci (normalizace). Data z karotáže jsou v tabulce ''point_values''.|
+|Škálovatelnost (lokální i serverové nasazení, paralelizace transformací, //big data//).|Využití nástrojů //business intelligence//, paralelizace transformací na serveru.|
+|Otevřenost, snadná rozšiřitelnost, udržitelnost. |Využité nástroje. Zákazník má přístup ke zdrojovým kódům. |
+|Přenositelnost – využitelnost v rámci jiných IS. Nezávislost na konkrétním DBMS (//database agnostic//).|Pentaho je možno integrovat do jiných systémů.|
+|Automatizované zpracování dat včetně netriviálních operací s prostorovými daty (nejen body).|Využíváme Pentaho Data Integration ([[git>atolcd/pentaho-gis-plugins|PDI GIS Plugins]]), PostGIS a QGIS.|
+|Snadná implementace systému včasného varování a automatických hlášení.|PBA a PDI umožňují např. odeslání reportu e-mailem v pravidelných intervalech či při definované události.|
+|Snadné propojení s nástroji pro analýzy dat a //data mining//|Využití Pentaho Data Integration (//steps:// [[https://pentaho-community.atlassian.net/wiki/spaces/DATAMINING/pages/276955922/Using+the+Weka+Scoring+Plugin|Weka scoring]], [[https://pentaho-community.atlassian.net/wiki/spaces/DATAMINING/pages/276956236/Using+the+ARFF+Output+Plugin|ARFF output]], Tableau data extract, [[https://pentaho-community.atlassian.net/wiki/spaces/EAI/pages/388311468/R+script+executor|Execute R script)]].|
+|Snadná tvorba exportu do specializovaného modelovacího software či implementace speciální analýzy.|Využití PDI, Report Designer, PBA.|
+HgIS využívá nástroje BI (Pentaho) a GIS. Souhrnně je tak možno HgIS charakterizovat jako „(geo)spatial business intelligence (<nowiki>GeoBI</nowiki>) tool for hydrogeology“. Takový systém doposud neexistoval. [[https://endar.tetratech.com/webapp/About|EnDAR]] integruje Power BI či Tableau pro analýzu dat. V [[https://esdat.net/esdat-features/|ESdat]] jsou integrovány Power BI and Excel Power Query. Telerik je využit v [[https://earthsoft.com|EQuIS]]. Na nástrojích BI od firmy Microsoft je postaven [[https://www.minerp.com/|MineRP]], který však zpracovává data týkající se agend v souvislosti s těžbou nerostných surovin. Boulil et al. (2014)((BOULIL, Kamal, Florence LE BER, Sandro BIMONTE, Corinne GRAC a Flavie CERNESSON, 2014. Multidimensional modeling and analysis of large and complex watercourse data: an <nowiki>OLAP</nowiki>-based solution. //Ecological Informatics//. 24, 90⁠–⁠106. ISSN 1574-9541. [[doi>10.1016/j.ecoinf.2014.07.001]])) prováděli OLAP analýzu kvality povrchové vody s využitím mj. Talend a PostgreSQL. Kingdon et al. (2016)((KINGDON, Andrew, Martin L. NAYEMBIL, Anne E. RICHARDSON a A. Graham SMITH, 2016. A geodata warehouse: Using denormalisation techniques as a tool for delivering spatially enabled integrated geological information to geologists. //Computers & Geosciences//. 96, 87–97. ISSN 0098-3004. [[doi>10.1016/j.cageo.2016.07.016]])) vytvořili datový sklad PropBase z 10 OLTP databází Britské geologické služby. Laraichi et al. (2016)((LARAICHI, Siham, Ali HAMMANI a Aziz BOUIGNANE, 2016. Data integration as the key to building a decision support system for groundwater management: Case of Saiss aquifers, Morocco. //Groundwater for Sustainable Development//. 2–3 (Supplement C), 7–15. ISSN 2352-801X. [[doi>10.1016/j.gsd.2016.04.003]])) vytvořili datový sklad (PostgreSQL) – data integrovali pomocí QGIS a ručních transformací.
+Výše se vyskytuje populární pojem //big data//. Pro hydrogeologii je doposud větší výzvou než objem dat spíše jejich rozmanitost a špatná dostupnost.
+Zatímco seismologie či astrofyzika (//big science//) generují //big data//, tak např. hydrogeologie (//long tail science//) spíše //long-tail data//: jednotlivci a malé týmy během dlouhé doby sbírají pro různý účel rozmanitá data, která systematicky neukládají a nesdílí. Tato data jsou často jedinečná a je nákladné je pořídit (např. hluboké vrty, dokumentace odkryvů při zemních pracích). Jsou však opětovně využitelná, zejména pokud budou sdílena. //Long tail science// se týká většiny vědců, kteří nevyužívají //big data// (uspořádaná dostupná data). Odstavec je hydrogeologickou interpretací článku Wallis et al. (2013)((WALLIS, Jillian C., Elizabeth ROLANDO a Christine L. BORGMAN, 2013. If we share data, will anyone use them? Data sharing and reuse in the long tail of science and technology. PLOS ONE. **8**(7), e67332. ISSN 1932-6203. [[doi>10.1371/journal.pone.0067332]])).
+===== Pentaho je pro data engineering =====
+{{ :data-science-engineer-software.png?direct |}}
+[[external>https://ryanswanstrom.com/2016/11/28/data-scientists-data-engineers-software-engineers-the-difference-according-to-linkedin/|Zdroj]]
+[[info>https://hgovind.wordpress.com/2018/09/18/using-pentaho-data-integration-jupyter-and-python-together/|Spojení Pentaho + Python či R umožňuje každé profesi věnovat se tomu, v čem jsou nejlepší.]]
+===== Co nabízí Pentaho navíc  =====
+{{ :ael.png?direct |PDI může používat technologie pro velká data}}
+[[drive>https://drive.google.com/open?id=1F2lgDVCtHtoU8o3UXy7szcV44CKlv7LQ|Zdroj]]
+{{ :cloud_agnostic.png?direct |PDI může používat technologie pro velká data}}
+[[drive>https://drive.google.com/open?id=1oAP7YdSNrGrQxNw0yR_47rbbrlwlpna5|Zdroj]]
+{{ :engines.png?direct |PDI může používat technologie pro velká data}}