title_header Laboratoř geoinformatiky a kartografie KVALITA (PROSTOROVÝCH) DAT title_header Laboratoř geoinformatiky a kartografie •Soubor základních metodik hodnocení kvality (prostorových) dat v kartografii, geoinformatice i dálkovém průzkumu Země •Deklarována také jako ČSN ISO 19157 –verze ISO 19157:2013/Amd.1:2018 •Nahrazuje původní normy (ČSN) ISO 19113:2005 a ISO 19114:2005 –oproti nim je výrazně přehlednější, s vyšším důrazem na příklady ISO 19157 Geografická informace – kvalita dat title_header Laboratoř geoinformatiky a kartografie Komponenty a elementy kvality dat Elementy kvality dat title_header Laboratoř geoinformatiky a kartografie Strategie vzorkování pro hodnocení kvality dat Počet prvků z celkového počtu vybraných pro hodnocení (například každý pětistý prvek podle ID). •Pokud neanalyzuji celý statistický soubor. jednoduché/stratifikované náhodné vzorkování ploch nenáhodné vzorkování pravidelnými plochami vzorkování založené na pravděpodobnosti -musím znát pravděpodobnost výběru -detaily ISO 2859 … title_header Laboratoř geoinformatiky a kartografie Deklarace výsledků Grid s buňkami zachycujícími střední kvadratickou chybu datové sady. Typ prvku Heliporty, 5. třída měřické přesnosti, podle ČSN 01 3410 (2014) Instance prvku s ID7841 2D ei = 1,73 m Typ prvku výšk. bod σz (95%) = 12 cm První odraz laserového skenování obecně dosáhl nižší absolutní polohové přesnosti ve 3D (střední hodnota nejistot polohy) oproti … title_header Laboratoř geoinformatiky a kartografie •Konkrétní metodické pokyny, tzv. procedury, jak zjistit (vypočítat) daný element kvality dat •Vždy se řeší, na jaké úrovni mohou (mají) být aplikovány, např. –série datových sad –datová sada –podmnožina datové sady –typ prostorového prvku –instance prostorového prvku –typ atributu –instance atributu – Míry kvality dat title_header Laboratoř geoinformatiky a kartografie Míry kvality dat title_header Laboratoř geoinformatiky a kartografie Přehled základních výpočtů měr kvality dat Jméno základní míry kvality dat Definice základní míry kvality dat Příklad Hodnotový typ kvality dat Indikátor chyby Indikátor položky je chybný false Boolean (hodnota ‘true’ značí, že jednotka není správná) Indikátor správnosti Indikátor položky je správný true Boolean (hodnota ‘true’ značí, že jednotka je správná) Počet chyb Celkový počet položek, které jsou předmětem nějaké chyby specifického typu 11 Integer Počet správných položek Celkový počet položek, které nevykazují chyby specifického typu 571 Integer Poměr chybných položek Počet chybných položek s ohledem na celkový počet položek, které by měly být uvedeny 0,0189 Real [procenta nebo poměr] Poměr správných položek Počet správných položek s ohledem na celkový počet položek, které by měly být uvedeny 0,9811 Real [procenta nebo poměr] title_header Laboratoř geoinformatiky a kartografie •Boolean, počet či podíl nekorektně zastoupených dat –tj. nad plánovaný rámec (DQ_CompletenessCommission) – nebo –chybějící data oproti záměru (DQ_CompletenessOmmission) •Způsoby zjišťování, např. –zpětné vazby od uživatelů –vnitřní revize průběžných kontrol (tj. kolik prvků vrátil supervisor operátorům) Úplnost (DQ_Completeness) Datová sada obsahuje 5 národních parků, ale v dané oblasti existují pouze 4. V datové sadě chybí 40% všech biotopů zjištěných při terénním průzkumu. 14 adresních bodů v datové sadě je duplicitních. title_header Laboratoř geoinformatiky a kartografie •Konceptuální konzistence (DQ_ConceptualConsistency) •Dodržení pravidel konceptuálního schématu •Implicitně se nastavuje s hodnotou „true“ •Hodnocení pomocí křížové tabulky prvků databáze –popis přípustnosti všech stavů vzájemného umístění prvků databáze (bodů, čar, ploch a jejich atributů) v rámci jejich dotyku, duplikace, tolerance přesnosti, překrytu a logické návaznosti těchto prvků Logická konzistence (DQ_LogicalConsistency) neplatné překrytí železnice a jezera title_header Laboratoř geoinformatiky a kartografie •Doménová konzistence (DQ_DomainConsistency) •Obvykle „jen“ zda instance prostorového prvku je/není ve shodě s doménou hodnot •Úzce souvisí se –způsobem sběru dat a –definicí aplikačního schématu Logická konzistence (DQ_LogicalConsistency) false, nebyla detekována žádná chyba – v množině dat jsou uvedeny pouze (povinné) typy prostorových prvků z aplikačního schématu title_header Laboratoř geoinformatiky a kartografie •Formátová konzistence (DQ_FormatConsistency) •Obvykle hodnoceno pouze na úrovni fyzické struktury –Jsou data v požadových formátech? –Často proto implicitní hodnota „true“ Logická konzistence (DQ_LogicalConsistency) false: data jsou publikována jako shapefile oproti definovanému GeoPackage 5 souborů používá kódování Windows-1250 oproti definovanému UTF-8 title_header Laboratoř geoinformatiky a kartografie •Topologická konzistence (DQ_TopologicalConsistency) •Obecně je doporučováno relativní (poměrové) vyjádření chyb v těch případech, kdy je to možné (i ve 3D) –Poměr vadných spojení bod-křivka –Počet chybějících spojení z důvodu nedotažení –Počet chybějících spojení z důvodu přetažení –Počet neplatných ploch štěrbin –Počet chyb neplatných sebeprůseků –Počet neplatných sebepřekryvů Logická konzistence (DQ_LogicalConsistency) title_header Laboratoř geoinformatiky a kartografie •Absolutní nebo vnější přesnost (DQ_AbsoluteExternalPositionalAccuracy) •Definice tzv. ground truth (např. geodetická měření) –Soulad s hodnotami, které jsou považovány za správné •Značné množství měr kvality dat (viz ISO 19157) •Pro 1D, 2D i 3D, vektorová i gridová data •Klíčové pro mapové/datové produkty NATO • Polohová přesnost (DQ_PositionalAccuracy) lokalizace prvku v datové sadě lokalizace prvku podle geodetického měření Absolutní přesnost: dvojice odpovídajících bodů Relativní přesnost: jak konzistentní je např. polohová přesnost na mapovém listu title_header Laboratoř geoinformatiky a kartografie Tematická přesnost (DQ_ThematicAccuracy) Správnost klasifikace (DQ_ThematicClassificationCorrectness) •Porovnání tříd přiřazených k prvkům nebo atributům •Komplexní, ale náročná matice chybných klasifikací –zpětná vazba od uživatelů, případně obohacené o hodnotu vnitřní revize (supervisor à operátor) – Klasifikační třída v datové sadě Klasifikační třída v realitě železnice silnice dálnice SUMA železnice 7 2 1 10 silnice 1 2 2 5 dálnice 1 1 3 5 SUMA 9 5 6 20 title_header Laboratoř geoinformatiky a kartografie Tematická přesnost (DQ_ThematicAccuracy) Správnost nekvantitativních atributů (DQ_NonQuantitativeAttributeAccuracy) •Oproti správnosti klasifikace se vyjadřuje jen jako sumární absolutní či relativní informace –zpětná vazba od uživatelů, případně obohacené o hodnotu vnitřní revize (supervisor à operátor) 5 geografických jmen v datové sadě nepoužívá oficiální geografické názvosloví 5 z 10 000 0,05% title_header Laboratoř geoinformatiky a kartografie Tematická přesnost (DQ_ThematicAccuracy) Přesnost kvantitativních atributů (DQ_QuantitativeAttributeAccuracy) •Většinou není řešena pro celou datovou sadu –Stanovení reprezentativních vzorků •Typicky řešení nejistoty hodnot atributů na určité hladině významnosti Uvedení šířky vodního toku 2,15 metru odpovídá nejistotě hodnot atributů na 68,3% hladině významnosti. Na hladině významnosti 99% je výška stromu definována s odchylkou maximálně 0,3 metru. title_header Laboratoř geoinformatiky a kartografie Časová kvalita (DQ_TemporalQuality) •Přesnost měření času –Standardně na 50%, 68,3%, 90%, 95%, 99% a 99,8% hladině významnosti •Časová bezespornost (konzistence) • •Časová platnost • true, 150 údajů z měření NOx je uvedeno v datové sadě, ale nejsou správně chronologicky uspořádány. Pro 25% predikovaných prostorových prvků vypršela časová platnost. Atribut HLUK_MER vykazuje přesnost měření času ± 5 sekund na hladině významnosti 95%. title_header Laboratoř geoinformatiky a kartografie •Samostatná zpráva o kvalitě dat, která je založena na požadavcích uživatele •Může se opírat o kterýkoli prvek kvality i být jakkoli rozšířeno –například na základě specifických uživatelských požadavků –nicméně se doporučuje používat deskriptory prvků kvality jako u ISO 19157 •Výsledkem je deklarace shody množiny dat se speciálním určením Použitelnost (DQ_UsabilityElement) Routovatelná datová sada pro navigační účely nákladních automobilů s parametrickým nastavením výšky vozidla… polohová přesnost silničních segmentů ve 2D ei = 0,25 m podjezdová výška mostu ID 7832 s přesností σz (95%)= 0,10 cm title_header Laboratoř geoinformatiky a kartografie •Doporučený postup (tzv. top-down approach): 1.Definuje se účel, co a proč je třeba ověřit z hlediska kvality dat. 2.V souladu s účelem se vybírají konkrétní komponenty kvality dat – od obecných prvků kvality ke konkrétním mírám kvality. 3.Vybírá se mezi absolutním, relativním, maticovým či jiným komplexním vyjádřením výsledků podle účelu. 4.Aplikuje se metodika (výpočet) z dané míry dat a procedury na reprezentativním vzorku dat nebo celku. 5.Výsledky se publikují jako technická zpráva, v registru a v metadatech, poté vše sémanticky propojím. 6. 6. 6. Závěrem