1 Lekce 4 ­ Společné procesy v GIS 1. Cíle lekce..............................................................................................................................................1 2. Společné procesy v GIS.......................................................................................................................1 2.1 Metoda určení společných procesů ................................................................................................1 2.2 Výsledky dekompozice společných procesů v GIS ........................................................................2 2.3 Sběr dat...........................................................................................................................................2 2.4 Aktualizace dat................................................................................................................................3 2.5 Výměna dat.....................................................................................................................................3 2.6 Migrace dat .....................................................................................................................................4 2.7 Distribuce, publikace a poskytování dat .........................................................................................4 2.8 Odvození a analýzy dat ..................................................................................................................4 2.9 Vytváření tematických map.............................................................................................................5 2.10 Vstup a výstup dat pomocí webových služeb...............................................................................6 2.11 Řízení provozu GIS.......................................................................................................................6 3. Příklad: procesy při správě digitální mapy veřejné správy ...................................................................6 3.1 Digitální mapa veřejné správy.........................................................................................................6 3.2 Procesy při správě DMVS...............................................................................................................7 3.3 Prvotní sjednocení dat z obcí..........................................................................................................7 3.4 Datová komunikace obce -kraj .......................................................................................................8 3.5 Sběr dat...........................................................................................................................................8 3.6 Řízení zakázek pro aktualizaci DMVS............................................................................................8 3.7 Správa DMVS .................................................................................................................................8 3.8 Distribuce dat ..................................................................................................................................9 3.9 Vstup dat a poskytování dat pomocí služeb ...................................................................................9 1. Cíle lekce Definovat procesy, které jsou společné geografickým informačním systémům Ilustrovat dekompozici procesů na příkladu správy digitální mapy veřejné správy 2. Společné procesy v GIS 2.1 Metoda určení společných procesů Procesní analýza se provádí v rámci analýzy a návrhu každého informačního systému, a tedy i GIS. Dekompozicí procesů v návrzích GIS můžeme dospět k procesům, které jsou většině GIS společné. Metoda: Analýza požadavků uživatelů a zadavatelů na pokrytí procesů, na požadované funkce a data Dekompozice procesů na elementární procesní kroky, vytvoření hierarchie procesů Nalezení podobnosti v hierarchii a v elementárních procesních krocích Je vhodné míru podobnosti procesů formálně kvantifikovat Syntéza: zobecnění procesních kroků a procesní hierarchie a vytvoření procesního modelu společných procesů 2 2.2 Výsledky dekompozice společných procesů v GIS Společné procesy v GIS: sběr dat aktualizace dat výměna dat migrace dat distribuce, publikace a poskytování dat odvozování a analýzy dat vytváření tematických map vstup a výstup dat pomocí webových služeb řízení provozu GIS (Migrace dat jako jednorázový proces není v diagramu uvedena.) 2.3 Sběr dat Sběr dat může být podporován portálem. Probíhá dvěma možnými způsoby: korekcemi ­ oprávněná osoba si zobrazí data GIS a do pomocné vrstvy vyznačí opravy převzetím souborů změnových dat, která vznikla v systému třetí strany (správce technické infrastruktury, obce, poskytovatele dat) Výsledkem obou způsobů sběru dat jsou soubory, které jsou ukládány v pracovním úložišti portálu a které jsou přebírány správcem dat do pracovního úložiště pro aktualizaci a použity ve změnovém řízení při aktualizaci dat. cd Společné procesy v GIS řízení provozu GIS datastore úložiště dat GISsběr dat distribuce, poskytování a publikace dat externí systém systém 1 systém 2 . . . systém n výměna dat prvotní sjednocení dat průběžná datová komunikace s externím systémem vstup a výstup dat pomocí webových služeb aktualizace dat datastore úložiště GIS externího uživatele správce dat externího systému poskytovatel dat oprávněná osoba správce GIS veřejnost oprávněná osoba správce dat externího systému oprávněná osoba odvozování dat a analýzy vytváření tématických map uživatel uživatel 3 Tento proces zahrnuje i jednorázový vstup dat, který zajišťuje efektivní pořizování velkého množství dat (datový model, do kterého se pořizují data, může být rozšířen o objekty a vztahy, které souvisejí s technologií pořizování dat, zejména s kontrolou práce při pořizování dat). Před pořizováním většího množství dat je vhodné ve vztahu k této konkrétní úloze analyzovat různé metody pořizování dat (manuální digitalizace, skenování, skenování a vektorizace, měření, GPS) a implementovat nejvýhodnější z nich (kritéria mohou být různá - podle požadavků uživatele: cena x přesnost, rychlost x aktuálnost, apod.). 2.4 Aktualizace dat Aktualizace probíhá v zásadě dvěma způsoby: data se aktualizují v rámci jednoho sezení data jsou exportována ven - do okolí systému, po několika dnech až týdnech se vrátí změněná (tento způsob se realizuje v rámci výměny dat) Aplikace zajišťující aktualizaci by měly mít možnost volby z několika stupňů mezi dvěma krajními metodami: aplikace přísně definuje pracovní postup konstrukce nových dat a nahrazení starých dat novými, který je pro operátora závazný aplikace umožní operátorovi volnou práci (ve vymezené oblasti), procesy v pozadí kontrolují pořizovaná data Vizualizace dat pro aktualizaci může být jednoduchá, ale musí umět: měnit symbologii (barevnost) geometrických objektů (podle tematiky i podle stavu dat v procesu aktualizace dat) zobrazovat topologické vztahy zobrazovat popisná data (zobrazitelné atributy) Aktualizace dat probíhá často formou zpracování zakázek. Zpracování zakázky, kterou řeší oprávněná osoba (geodet, projektant, investor) začíná výdejem dat. Oprávněná osoba po autentizaci vyplní Zakázkový list, který je automaticky systémem odeslán správci systému. Ten po kontrole Zakázkového listu a po kontrole a ocenění dat předá data dohodnutým způsobem oprávněné osobě (stažením z ftp serveru, osobně v kanceláři správce, apod.). Vydaná data jsou archivována. Po zpracování zakázky jsou vrácena aktualizovaná dat zpět se Zakázkovým listem. Správce zkontroluje předaná data, provede jejich archivaci a zahájí změnové řízení. V něm zaktualizuje data, provede kontrolu geometrické homogenity, zkonsoliduje kontext nezměněných dat, provede další dohodnuté kontroly a upraví, resp. vytvoří nová metadata popisující data a změnové řízení. Změnu správce zapíše do metainformačního systému. Poté zplatní aktivuje nový stav dat, zaprotokoluje průběh a ukončí změnové řízení. Při zplatnění změn si systém zároveň zapamatuje předchozí verze dat. Řešitel zakázky je informován o průběhu aktualizace daty z jeho zakázky. 2.5 Výměna dat Často je nutné nejen přijímat nová data, ale vyměňovat data jak mezi komponentami jednoho systému, tak mezi systémem a jeho okolím. Klasickým příkladem je výměna dat mezi různými organizačními stupni uživatele GIS. Výměna dat probíhá v těchto krocích: export dat ze systému úprava (změna) dat mimo systém import dat do systému Tato činnost může být prováděna v síti (včetně Internetu) i mimo síť. Základní problémy: systém musí umět rozpoznat data, která se vracejí do systému (problém jednoznačného klíče) data změněná mimo systém mohou být změněna v rámci jiných výměn i uvnitř systému Výměna dat je shodná s aktualizací dat s tím, že změna dat probíhá externě. Výměna dat je dlouhá transakce nad daty (trvá často až několik týdnů). Z technologických důvodů je nutné řešit případné kolize transakcí optimisticky (nelze dlouhodobě zamknout exportované prvky). 4 2.6 Migrace dat Zvláštní pozornost si zasluhuje konverze (migrace) digitálních dat ze stávajících systémů do nově navrhovaného systému. Součástí migrace dat je analýza stávajícího (fyzického) datového modelu, kontrola stávajících dat, jejich opravy úpravy a konverze do tvaru, který přijme nový systém. Jednorázový vstup velkého množství dat je vhodné v rámci budování GIS řešit samostatným projektem, jehož součástí musí být metodika vstupu dat. Často se postupuje metodou pilotního projektu, který se skládá z těchto kroků: návrh metody vstupu dat vstup dat za vybrané (pilotní) území vyhodnocení vstupu dat za vybrané území (vyhodnocení pilotního projektu) úprava návrhu podle závěrů z vyhodnocení pilotního projektu Pokud jsou úpravy návrhu vstupu dat významné, je vhodné pilotní projekt opakovat na dalším území. Projekty vstupu dat patří mezi nejdéle trvající a nejdražší projekty při budování GIS. 2.7 Distribuce, publikace a poskytování dat Každého správce informačního systému zajímá užití dat mimo jeho systém, neboť očekává, že za data obdrží finanční úhradu. Jiným důvodem může být zákonná povinnost poskytovat data, což ovšem vyvozuje nárok na dotaci provoz systému. Proto distribuce dat jednou z nejvíce sledovaných funkcí GIS. Distribuce dat se skládá z těchto procesů: sběr požadavků na data výstup digitálních dat externím uživatelům (včetně konverze do požadovaných formátů) evidence distribuovaných dat účtování za distribuovaná data analýza požadavků a anticipace jejich dalšího vývoje Při distribuci, publikování a poskytování dat jsou s výhodou využívány moderní prostředky pro přenos dat včetně portálových řešení. Distribuci dat je možné evidovat a řídit metainformačním systémem. Proces vlastního výdeje dat probíhá v těchto krocích: zahájení řízení výdeje dat výběr dat do pracovního prostoru (tak, aby byla zajištěna integrita dat při případných průběžně prováděných dalších změnách dat) dohodnuté konverze a úpravy dat (podle dohod se smluvními partnery včetně ORP je možné data konvertovat do jiných formátů) kontroly vydávaných dat archivace vydaných dat ukončení řízení výdeje dat Vydaná data budou archivována a proces výdeje dat bude protokolován. Protokol o výdeji dat bude předán odběrateli dat. 2.8 Odvození a analýzy dat Mezi základní metody odvození dat patří: sumarizace (hodnoty atributů popisných dat vzniknou sčítáním dat za nižší jednotky) agregace (prostorový objekt v nové třídě objektů vznikne sloučením několika objektů z jiné třídy) selekce (prostorový objekt v nové třídě objektů vznikne výběrem z jiné třídy objektů) simplifikace (zjednodušení geometrických atributů prostorového objektu) generalizace (vytvoření prostorových objektů menšího měřítko z objektů většího měřítka kombinací předcházejících metod odvození dat) Při odvození dat je nutné dbát na kontext objektů, se kterými se v průběhu odvození manipuluje. Právě proto je odvození prostorových dat proces s velkým podílem práce operátora, a tedy drahá 5 činnost. Z tohoto důvodu je významným problémem způsob aktualizace odvozených dat. Je možné volit mezi dvěma variantami: promítnutí změn v originálních datech do odvozených dat, tedy manuální aktualizace odvozených dat nové odvození dat O tom, jaký způsob zvolit, případně jak často provést nové odvození dat, rozhoduje vždy konkrétní situace ovlivněná cenou odvození dat, cenou aktualizace odvozených dat a frekvencí změn ve zdrojových datech. Analytické funkce odpovídají na dotazy uživatelů nad geografickými daty - některé z těchto dotazů jsou standardní a známé v průběhu návrhu GIS a odpovědi je možné připravit, na některé (ad hoc) kladené dotazy nelze připravit odpovědi. Kvalita návrhu informačního systému se projeví v tom, jak je systém odpovídat právě na tyto - nepřipravené - dotazy. Aby bylo možné na některé dotazy odpovídat, nestačí mít data ve vhodném datovém modelu v relační databázi. Často je nutný vznik nových tříd objektů odvozením nebo analytickým výpočtem z jiných tříd (například operací overlay). Typickými dotazy nad prostorovými daty jsou tyto dotazy: jaké objekty se nacházejí v zadaném území kde (v jakém území) se nalézají objekty se zadanými vlastnostmi jaké jsou vztahy zadaných objektů k okolí 2.9 Vytváření tematických map Vytvořením mapy vznikají obvykle nová data v datovém modelu, kterým je reprezentována realita v (digitální) mapě. Schematicky: realita datový model reality v GIS datový model reality v (digitální) mapě vstup výstup mapování Datový model reality v GIS a v mapě Ideální stav - shodnou reprezentaci objektů reality v GIS i v digitální mapě - nelze dodržet z těchto důvodů: datový model reality v digitální mapě je určen pro vizualizaci geografických dat, datový model reality v GIS je určen pro realizaci všech funkcí GIS pokud by byly oba datové modely shodné, byl by datový model reality v mapě velmi komplikovaný a jen obtížně popsatelný běžnými prostředky návrhu relačního nebo objektově orientovaného systému datový model reality v digitální mapě je obtížně použitelný pro další, především analytické funkce GIS v datovém modelu reality v digitální mapě jsou obsaženy objekty, které nereprezentují žádné objekty reality: je totiž výhodné, aby procesy, které pracují s digitální mapou, pracovaly jako s objekty s prvky, které nejsou objekty datového modelu GIS - ale zobrazují například vztah mezi objekty GIS nebo atribut objektu GIS Vytváření digitálních map z dat GIS se skládá z těchto procesů: 6 odvození grafické podoby prostorových objektů včetně jejich tematizace (konverze datového modelu reality v GIS do datového modelu reality v mapě) řešení kolizí mezi objekty datového modelu reality v mapě aktualizace mapy podle změn v originálních datech (zde platí stejné úvahy jako při odvození geografických dat) 2.10 Vstup a výstup dat pomocí webových služeb Vstup dat, resp. výstup dat pomocí služeb jsou procesy, kterými data vstupují, resp. vystupují ze systému ve standardních formátech (WMS, WFS). Vstupující data mohou být přenesena na klienty ke zobrazení, nebo mohou být registrována v systému pro další využití. Vystupující data mohou být obdobně užívána dalšími systémy. Datová komunikace pomocí služeb může být využita také interně ke komunikaci mezi komponentami systému. 2.11 Řízení provozu GIS Provoz velkého informačního systému se neobejde bez evidence provozu. Tato činnost je podporována protokolováním práce systému a směřuje k vyhodnocování činností prováděných v systému a k podpoře řízení provozu. 3. Příklad: procesy při správě digitální mapy veřejné správy 3.1 Digitální mapa veřejné správy V současné době neexistuje ucelené digitální mapové dílo velkého měřítka v rozsahu celého území České republiky, které by sloužilo jako základní referenční podklad pro agendy veřejné správy. Proto bylo rozhodnuto o vytvoření díla ,,Digitální mapa veřejné správy (DMVS)". Cílem DMVS je podpořit: rychlou elektronizaci agend veřejné správy, při jejichž výkonu jsou prostorová data využívána, prezentaci výstupů z agend veřejné správy ve vazbě na území, grafickou interpretaci popisných údajů ISVS, například RÚIAN. DMVS bude sestavená z tematických vrstev: digitální ortofotomapy existující digitální a digitalizované katastrální mapy digitální účelové katastrální mapy, které byly a budou vytvořeny v rámci činnosti samosprávy digitální technické mapy, vytvořené v rámci činnosti samosprávy nebo správců sítí Součástí díla bude zpracování metadat. Základními uživateli DMVS budou subjekty veřejné správy a občané. Dále bude DMVS hlavním zdrojem informací pro složky Integrovaného záchranného systému České republiky. Tvorba DMVS není součástí projektu RÚIAN, RÚIAN bude jedním z uživatelů. DMVS je dílem, na základě kterého nelze vyvozovat právní důsledky. Tolik citace z Memoranda o spolupráci mezi orgány veřejné správy při přípravě, řešení, testování a realizaci projektu ,,Digitální mapa veřejné správy", Praha, 27. 11. 2008. V průběhu zpracovávání typizovaných projektových záměrů DMVS (Ministerstvem vnitra ČR) byly vymezeny tři vrstvy DMVS, pro které byly připraveny samostatné typizované projektové záměry: účelová katastrální mapa (ÚKM) územně analytické podklady (ÚAP) digitální technická mapa (DTM) Odpovědnými za realizaci DMVS jsou krajské úřady. 7 3.2 Procesy při správě DMVS 3.3 Prvotní sjednocení dat z obcí Při sjednocení dat z obcí s rozšířenou působností (ORP), případně i z dalších obcí, musí v první etapě dojít k analýze datových modelů stávajících GIS na obcích a k analýze datového obsahu těchto GIS. Je posouzena kvalita dat, zejména jejich geometrická přesnost, logická konzistence dat, jejich úplnost a aktuálnost. Z analýzy vyplyne návrh na sjednocení datových modelů obcí a kraje na různých úrovních sjednocení (úplné sjednocení, sjednocení na úrovni typů objektů a atributů a nezávislé systémy s obousměrnými konverzemi dat). Prvotní sjednocení je zahájeno shromážděním dostupných dat do pracovního datového rozhraní. Z tohoto rozhraní jsou data přenesena (pokud možno všechna) do pracovního úložiště. Parametry přenosu jsou určeny v předcházejícím kroku při analýze dat. Nad daty probíhají dohodnuté kontroly dat podle parametrů nastavených při analýze. Všechny chyby i jejich případné korekce jsou protokolovány. Informace o kvalitě dat je ukládána u všech datových objektů. Pokud na stejném území jsou k dispozici různě kvalitní datové sady obsahující data stejného typu, mohou být uchovány obě datové sady s odlišením kvality pomocí atributů, nebo může být uchována pouze kvalitnější datová sada. Po provedení kontrol proběhne ­ podle parametrů nastavených při analýze dat ­ konverze dat do cílového datového modelu. Všechny kroky přenosu, kontrol a konverzí jsou protokolovány. Výsledek prvotního naplnění dat je verifikován dohodnutou sadou testů a akceptován uživatelem. Kvalita zabezpečení procesu prvotního sjednocení dat z obcí má rozhodující vliv na úspěch celého projektu. ad Procesy správy DMVS správa DMVS datastore úložiště DMVS správce dat sběr dat distribuce dat poskytovatel dat správce dat veřejnost obec jiná oprávněná osoba GIS ORP ORP 1 ORP 2 . . . ORP n jiná oprávněná osoba sjednocení datové základny ORP prvotní sjednocení dat z ORP datová komunikace ORP - kraj správce technické infrastruktury správce dat ze státní správy vstup dat pomocí služeb datastore data třetích stran řízení zakázek pro aktualizaci DMVS investor projektant geodetposkytování dat pomocí služeb datastore úložiště DMVS na krajském úřadě 8 3.4 Datová komunikace obce -kraj Proces pravidelné datové komunikace mezi obcemi a krajem je zabezpečen dvěma souvisejícími procesy: směr z obcí na kraj zabezpečí procesy sběru dat a správy dat: data jsou předána na pracovní úložiště, zkontrolována a konvertována podle dohodnutých pravidel; dále vstupují do změnového řízení aktualizace jako ostatní data směr z kraje na obce zabezpečí proces distribuce dat; na jeho závěr může být implementována funkce konverze dat podle dohodnutých pravidel 3.5 Sběr dat Sběr dat je podporován portálem. Probíhá dvěma možnými způsoby: korekcemi ­ oprávněná osoba si zobrazí data DMVS a do pomocné vrstvy vyznačí opravy převzetím souborů změnových dat, která vznikla v systému třetí strany (správce technické infrastruktury, obce, poskytovatele dat) Výsledkem obou způsobů sběru dat jsou soubory, které jsou ukládány v pracovním úložišti portálu a které jsou přebírány správcem dat do pracovního úložiště pro aktualizaci a použity ve změnovém řízení při aktualizaci dat. 3.6 Řízení zakázek pro aktualizaci DMVS Zpracování zakázky pořízené geodetem (projektantem, investorem) začíná výdejem dat. Geodet po autentizaci vyplní Zakázkový list, který je automaticky systémem odeslán správci DMVS. Ten po kontrole Zakázkového listu a po kontrole a ocenění dat předá data dohodnutým způsobem geodetovi (stažením z ftp serveru, osobně v kanceláři správce, apod.). Vydaná data jsou archivována. Po zpracování zakázky jsou vrácena aktualizovaná dat zpět se Zakázkovým listem. Správce JDTM zkontroluje předaná data, provede jejich archivaci a zahájí změnové řízení. V něm zaktualizuje data, provede kontrolu geometrické homogenity, zkonsoliduje kontext nezměněných dat, provede další dohodnuté kontroly a upraví, resp. vytvoří nová metadata popisující data a změnové řízení. Změnu správce zapíše do metainformačního systému. Poté zplatní aktivuje nový stav dat, zaprotokoluje průběh a ukončí změnové řízení. Při zplatnění změn si systém zároveň zapamatuje předchozí verze dat. Geodet je informován o průběhu aktualizace daty z jeho zakázky. 3.7 Správa DMVS Vstupem do tohoto procesu jsou data v pracovních úložištích. Vstupní data jsou podrobena kontrolám a konverzím. Pokud jsou kontroly a konverze úspěšné, následuje vlastní aktualizace dat pomocí změnového řízení v těchto krocích: otevření změnového řízení a pracovního prostoru pro aktualizaci import dat do pracovního prostoru provedení základních kontrol geometrie, obsahu, topologických kontrol, případně dalších dohodnutých kontrol změnových dat v kontextu stávajících dat konsolidace kontextu stávajících dat zápis změn do metainformačního systému zplatnění aktivace dat z pracovního prostoru, promítnutí změn do aktuálního stavu a ukončení změnového řízení případná synchronizace dat (promítnutí změn) na dalších úložištích (synchronizaci je možné provádět po každém změnové řízení i dávkově v dohodnutých časových intervalech) protokolace průběhu změnového řízení 9 3.8 Distribuce dat Proces distribuce dat zabezpečuje jednak prohlížení a výdej dat oprávněným uživatelům, jednak prohlížení dat veřejností. Po přihlášení a registraci uživatele je mu umožněno dle přístupových práv buď prohlížení dat, nebo zadání požadavku na výdej dat. Po kontrole požadavku proběhne výdej dat v těchto krocích: zahájení řízení výdeje dat výběr dat do pracovního prostoru (tak, aby byla zajištěna integrita dat při případných průběžně prováděných dalších změnách dat) dohodnuté konverze a úpravy dat (podle dohod se smluvními partnery včetně ORP je možné data konvertovat do jiných formátů) kontroly vydávaných dat archivace vydaných dat ukončení řízení výdeje dat Vydaná data budou archivována a proces výdeje dat bude protokolován. Protokol o výdeji dat bude předán odběrateli dat. 3.9 Vstup dat a poskytování dat pomocí služeb Vstup dat, resp. poskytování dat pomocí služeb jsou procesy, kterými data vstupují, resp. vystupují ze systému ve standardních formátech (WMS, WFS). Vstupující data mohou být přenesena na klienty k zobrazení, nebo mohou být registrována v systému pro další využití. Vystupující data mohou být obdobně užívána dalšími systémy. Výstup dat pomocí služeb může být využit také interně k synchronizaci obsahu datových úložišť správce a jednotlivých uživatelů DMVS. Připomínky a dotazy k obsahu lekce posílej, prosím, na adresu: Rudolf Richter, richter@fi.muni.cz