Geoinformatika V – Transformace dat jaro 2020 Petr Kubíček kubicek@geogr.muni.cz Laboratory on Geoinformatics and Cartography (LGC) Institute of Geography Masaryk University Czech Republic Geoinformatika Chyby v datech • Při vkládání dat do systému není možné zabezpečit správnost 100% zadání dat. • Identifikace chyb je velice obtížná. Obvykle se data kontrolují vizuálně. Dalším způsobem kontroly chyb prostorových dat je proces vytváření topologie neboli topologické čištění dat. • GIS mají většinou schopnosti procházet místa s potenciální chybou a umožní uživateli interaktivně odstranit případné chyby. Geoinformatika Možné chyby při zadávání • Nekompletnost dat - scházejí body, linie, polygony. • Chybné umístění prostorových dat - chyby vycházející ze špatné kvality vstupních dat nebo z nedostatečné přesnosti při digitalizování. • Zkreslení prostorových dat - chyby z nepřesností vstupních dat (deformace podkladových dat, zkreslení již existující analogové kresby). • Špatná vazba mezi prostorovými a atributovými daty. • Atributy jsou chybné nebo nejsou kompletní – velice častá chyba zvláště pokud jsou atributy pořizoványz různých zdrojů v různých časech. Geoinformatika Chyby při vytváření topologie • Třísky a mezery (Sliver and gaps) - jev nastává, když jsou dvě hranice digitalizovány z různých zdrojů, ačkoli v terénu představují jednu a tu samou. V takovém případě jsou linie představující tutéž hranici neidentické (nepřerývají se) • Mrtvé konce (dead ends) - nedotahy a přetahy. • Duplikátní linie (hlavně v CAD, ale i u některých GIS, které z toho vytváří regulární polygon) reprezentující stejný objekt. • Pokud se používá pro reprezentaci polygonů metoda hranic a centroidů, tak i přiřazení více centroidů jednomu polygonu. Geoinformatika Geoinformatika Topologické čištění dat • Jednotlivé úlohy – Eliminace duplikátních linií (stejných i podobných). – Odstraňování nedotahů a přetahů. – Nalezení průsečíků dvou nebo více liniových prvků s následující segmentací. – Odstranění mezer (souvisí s nedotahy). • Topologicky čistá data jsou taková data, nad kterými je možné vytvořit topologii, aniž by se jakkoli změnila jejich poloha. • Pro tvorbu topologicky čistých dat se používají topologické koncepty (konektivita, definice plochy, sousednost). Geoinformatika Chyby právního charakteru • Při pořizování dat je nutné brát v potaz i právní souvislosti problematiky, kdo má na data obchodní práva, zda je možné data využívat pro akademické, soukromé, či obchodní účely. • Zdroje obvykle přesně popisují možnosti využití a omezují zejména komerční či veřejné použití dat (i jako podkladu). • Ochrana dat (vodotisk, záměrné chyby). Geoinformatika Uchovávání a zpracování dat • Pravidelné (např. mapové listy). – Na disku je každý mapový list v jednom souboru (resp. ve více souborech se stejným jménem, lišících se pouze příponou) či adresáři. • Nepravidelné (mapové listy, zájmové území - katastrální území, území národního parku, okresu, kraje …). – Na disku je každé zájmové území v jednom souboru (resp. ve více souborech se stejným jménem, lišících se pouze příponou) či adresáři. • Bezešvé (Seamless) – Celé zájmové území je uloženo v jednom souboru, adresářiči databázi). Geoinformatika Geoinformatika Kahoot Geoinformatika Komplexní GIS schéma Geoinformatika Transformace • Polohová – geometrická transformace – Lineární – Afinní – Projektivní • Datového modelu – RAVE – rastr to vector – VERA – vector to rastr • Formátu Geoinformatika Geometrické transformace • Transformace mezi rovinnými pravoúhlými souřadnicemi jsou založeny na poznání přesné polohy vybraných identických bodů. Geoinformatika Geometrické transformace volba identických bodů • U výběru dvojic identických bodů je také vhodné mít na paměti, že je nutné je vybírat co nejblíže okrajům transformovaného území, aby nebyly způsobeny nežádoucí deformace na okrajích. Geoinformatika Geometrické transformace identické body a transformační koeficienty • Transformační koeficienty jsou hodnoty, vypočtené z dvojic identických bodů, kterými se vyjadřuje přechod od zdrojové souřadnicové soustavy do cílové. • U transformace se ale obvykle používá více identických bodů, než je nutné pro výpočet transformačních koeficientů. • Hodnoty transformačních koeficientů se pak vypočtou metodou nejmenších čtverců, kde se minimalizuje suma rozdílů v poloze mezi souřadnicemi transformovaných bodů (více – Matematická kartografie). • Transformace je například posun a změna měřítka. Geoinformatika Geometrické transformace – typy transformací Transformace souřadnicového systému mezi rovinnými pravoúhlými souřadnicemi: – Lineární konformní transformace (LKT) – Afinní transformace (polynomická prvního řádu a polynomické transformace vyšších řádů) – Projektivní transformace Geoinformatika Lineární konformní transformace • X(X,Y) - nové souřadnice • x(x,y) - staré souřadnice • B - úhel otočení • m - změna měřítka • p(a,b) - posun • Transformační koeficienty (m, B, a, b) lze vypočíst již ze dvou dvojic identických bodů (X1,Y1), (X2,Y2) a původní (x1,y1), (x2, y2). Zápis rovnicí X = m . cos (B) . x - m . sin (B) . y + a Y = m . sin (B) . x + m . cos (B) . y + b Helmertova transformace – speciální případ LKT; m = 1 Geoinformatika Lineární konformní transformace • Posun • Rotace • Uniformní změna měřítka (v obou osách stejná) • Zachovává tvar objektu! (konformní) • Je potřeba dvou dvojic identických bodů Geoinformatika Afinní transformace • Jednotlivé souřadnice nejsou na sobě závislé – změna měřítka v různých směrech. • X(X,Y) - nové souřadnice • x(x,y) - staré souřadnice • A - regulární matice • p(c,f) – posun • Transformační koeficienty (a, b, c,d,e,f) lze spočíst ze tří dvojic identických bodů. Zápis rovnicí X = a.x + b.y + c Y = d.x + e.y + f Geoinformatika Afinní transformace • Posun • Rotace • Neuniformní změna měřítka (v každé ose jinak – zkosení) • „Z obdélníka kosodélník“ • Je potřeba tří dvojic identických bodů Geoinformatika Projektivní transformace • Transformace jednoho rovinného prostoru do druhého – vhodné pro data s menšími deformacemi. • Posun • Rotace • „Z obdélníka lichoběžník“ • Je potřeba čtyř dvojic identických bodů Geoinformatika Další typy geometrických transformací - Rubber sheeting, edge matching • Rubber sheeting -pro zdeformované mapy – lineární transformace po částech. • Edge Matching – sjednocení okrajů mapy. V důsledku dělení plochy na mapové listy, odpovídá rubber sheetingu, ale platí pouze pro okraje mapových listů. Geoinformatika Projevy geometrických transformací • Helmertova? • LKT, m=1 Geoinformatika Transformace datového modelu • Jelikož pro některé analýzy jsou vhodnější vektorové reprezentace dat a pro jiné zase rastrové, GIS systémy pracující s oběma typy nabízejí nejrůznější nástroje umožňující a usnadňující převod mezi oběma reprezentacemi. • Převod z rastrové do vektorové podoby se nazývá vektorizace (RAVE), opačný proces z vektorové do rastrové podoby je rasterizace (VERA). Geoinformatika Vektorizace Ruční • Vše dělá operátor (případně za asistence počítače při přichytávání vektorových prvků na existující rastrovou kresbu - tzv. „čtvrtautomatická). Poloautomatická • Operátor zvolí počátek rastrové linie, systém se pokusí identifikovat rastrový objekt, ukáže operátorovi směr, kterým se vektorizace bude ubírat, a při potvrzení ze strany operátora, se vydá vektorizovat, dokud nenarazí na nějakou překážku (mezera, křižovatka) či sporný bod, kde se zastaví a čeká na operátorovu odezvu (jestli má pokračovat, v jakém směru má pokračovat, …). • Existují dva módy poloautomatické vektorizace, podle způsobu přichytávání: – na střed rastru (používaný pro vektorizaci linií), – na okraj rastru (používaný pro vektorizaci polygonů). Geoinformatika Poloautomatická • Přichytávání na okraj je pro počítač výrazně jednodušší, jelikož vektorizační software pouze hledá hranu v rastrovém obrazu, které se drží. • Přichytávání na střed je složitější a pro identifikaci středu vektorizovaného objektu se využívá principu nazývaného „skeletizace“ , který vychází z principů používaných v automatické vektorizaci. Geoinformatika Poloautomatická • Pro poloautomatickou vektorizaci lze obvykle nastavit několik důležitých parametrů pro zautomatizování činnosti. • Mezi tyto parametry patří: • kvalita rastrového podkladu (jestli jsou objekty homogenní oblasti či ne), • maximální přípustná šířka linie, • akceptovatelná mezera v rastrové linii (při digitalizaci čerchovaných a jiných čar), • akceptovatelný úhel mezi částmi linie a variabilita (jak reaguje systém na změny šířky pouze v jednom směru). Geoinformatika Automatická vektorizace • Při automatické vektorizaci probíhá převod rastr>vektor automatizovaně, bez aktivní účasti operátora. • Algoritmy automatické vektorizace vycházejí z algoritmů zpracování digitalizovaného obrazu a umělé inteligence. • Tuto metodu však většinou nelze použít pro převod běžných analogových podkladů, ale pouze pro již tištěné map z digitálních podkladů (podobně jako OCR). Geoinformatika Automatická vektorizace Princip automatické vektorizace pro jednotlivé typy základních objektů: • Body - zpracovávací program vyhledá střed buňky reprezentující bod a zjistí jeho souřadnice a zaznamená je spolu s identifikátorem bodu v rastru (obvykle barva, či nějaká skalární hodnota). • Linie - automatická vektorizace linií funguje na principu hledání kostry (skeletu, odtud skeletizace) objektů, což je metoda velice často používaná pro ztenčování objektů. Po nalezení skeletu jsou pak pouze vyhledány na sebe napojené pixely (v rámci 4 nebo 8 okolí) a ty tvoří požadovanou linii. • Polygony - podobně jako u poloautomatické vektorizace jsou hledány hrany objektů a ty pak převáděny do linií. Poté se ze všech uzavřených liniových objektů vytvoří polygony. Geoinformatika Rasterizace Princip • Provádí se jako překryt vektorové vrstvy na rastrovou mřížku (o určené velikosti buňky) a přiřazení hodnoty této buňky z vybraného atributu. • Při rasterizaci je nejdůležitější určit správnou velikost buňky výsledného rastru (která bude dostatečně velká pro požadované účely, ale přitom nebude příliš velká pro možnosti hardware, které zpracovává rastr). Geoinformatika Generalizace Proč vůbec je generalizace v GIS potřebná: • Ekonomické požadavky - svět nelze nikdy modelovat úplně přesně, vždy je to kompromis přesnost/cena. • Požadavky redukce objemu dat – čím více je dat, tím je větší možnost udělat chybu a čím je přesnější (intenzivnější) měření, tím je větší šance ovlivnění dílčích měření individuální chybou. – generalizace slouží k odfiltrování těchto chyb a konsolidaci. • Víceúčelovost požadavků pro údaje - z jedné digitální reprezentace dat je nutné vytvářet mapy s různými informacemi i v různých měřítkách, často velice rozdílných. • Požadavky zobrazování a komunikace (percepce-vnímání) dat – vychází z kartografických doporučení některých limitů, při jejichž překročení se mapy stávají nečitelnými (př. Max 10 gr. znaků na cm2). Geoinformatika Přehled metod Vybrané generalizační metody užívané v kartografii a GIS • Selekce (výběr prvků) • Eliminace (eliminace prvků) • Zjednodušení (zjednodušení prvků) • Agregace (kombinování malých prvků do větších) • Prostorová redukce (collapse) • Typifikace (redukce hustoty prvků) • Zvýraznění (přehnání, exageration ) • Reklasifikace a spojení (spojení prvků se stejnými vlastnostmi) • Řešení konfliktů (posunutí méně důležitých prvků) • Redukce vrcholů (Coordinate Thinning) Geoinformatika Selekce • Selekce – výběr tématických vrstev Geoinformatika Eliminace • Eliminace – ostranění prostorově nedůležitých prvků Geoinformatika Zjednodušení • Zjednodušení tvaru prvků, např. redukce počtu vrcholů Geoinformatika Agregace • Agregace – kombinování malých prvků do větších Geoinformatika Prostorová redukce (collapse) • Prostorová redukce – redukce dimenze prvku nebo jeho prostorového rozměru (například polygon na linii) Geoinformatika Typifikace • Typifikace – redukce hustoty prvků a LoD, zachování prostorového vzoru. Geoinformatika Zvýraznění • Zvýraznění – opak prostorové redukce, prostorové zvýraznění (zvětšení) prvku. Geoinformatika Reklasifikace a spojení • Reklasifikace a spojení – spojení prvků se stejnými vlastnostmi do jednoho, například vrstvy listnatých a jehličnatých lesů spojit do vrstvy lesů – při změně měřítka. Geoinformatika Řešení konfliktů • Řešení konfliktů – posunutí některých prvků nacházejících se na jednom místě, přehlednost mapy je zde kladena nad její absolutní prostorovou správnost. • Na původním místě zůstává nejdůležitější prvek (např. silnice na mapě silnic) a posunují se ostatní (v našem příkladě to může být např. železnice, vodstvo, elektrické vedení,…) Geoinformatika Zjemnění • Zjemnění – úprava vzhledu objektu ke zvýšení estetičnosti, například vyhlazení linie řeky. Geoinformatika Redukce vrcholů • Redukce vrcholů – coordinate thinnig Geoinformatika Nástroje generalizace v ArcGIS – příklady a užití • Aggregate Points, Polygons • Collapse Dual Lines To Centerline • Merge Divided Roads • Simplify Building, Line, Polygon • Smooth Line, Polygon Geoinformatika Aggregate Points, Polygons • Kombinování menších prvků do větších – nahrazení shluku bodů či objektů (polygonů) jedním velkým objektem. Geoinformatika Collapse Dual Lines To Centerline • Prostorová redukce – obrysové linie nahrazeny centrální linií. Geoinformatika Simplify Building, Line, Polygon • Douglas –Peucker algoritmus Geoinformatika Point x pásmo (tvar!) Geoinformatika Smooth Line, Polygon • Shlazení (polynomální aproximace) • Bézierovy křivky Geoinformatika Automatizace generalizace • GIS obsahují jen omezené nástroje pro automatizovanou generalizaci, jelikož se jedná o poměrně složitou problematiku, než aby mohla být plně automatizována. – Automatizovaně lze provádět pouze dílčí, specializované kroky z celého procesu (viz některé výše), – Celý proces které musí s ohledem na aplikaci řídit uživatel – kartograf! – Měřítkové řady a přechody. Geoinformatika Vliv generalizace na kvalitu údajů • Snižuje se polohová (prostorová) přesnost. • Při snížení polohové přesnosti se může snížit i atributová přesnost! • např. reklasifikace a spojení.