1 Téma 3 Prvotní plnění a migrace dat 1 Co je prvotní plnění a migrace dat? ..................................................................................................1 2 Cíle migrace dat ................................................................................................................................3 3 Parametry migrace dat......................................................................................................................3 4 Procesy migrace dat..........................................................................................................................4 5 Projekt migrace dat ...........................................................................................................................6 6 Zařazení projektu migrace do projektu IS .........................................................................................7 1 Co je prvotní plnění a migrace dat? Prvotní plnění – informační systém (část informačního systému), který podporuje naplnění datového úložiště daty při zahájení provozu (nového) informačního systému. Prvotní plnění může být realizováno migrací dat ze stávajícího systému. Prvotní plnění se může týkat také plnění publikačního úložiště ze zdrojových agendových systémů. Pak musí být zajištěna také aktualizace dat změnami ze zdrojových systémů a – na rozdíl od migrace – se data ze zdrojových systémů v nich dále používají. Migrace dat – informační systém (část informačního systému), který podporuje proces převodu dat ze stávajícího do nového informačního systému. Po úspěšné migraci obvykle končí provoz stávajícího systému a migrována data v něm nejsou dále používána. 2 Prvotní plnění a migrace dat cmp Provtní plnění a aktualizace Zdrojové agendové informační systémy AIS1 AIS2 AISn. . . Cílový systém (publikační databáze) Prvotní plnění Aktualizace cmp Migrace Stávající (zdrojové) informační systémy AIS2AIS1 AISn . . . Nový informační systém Migrace dat 3 2 Cíle migrace dat Pokud není uvedeno jinak, v dalším textu se vše, co je napsáno o migraci, týká i (obecnějšího) prvotního plnění. Hlavní cíl  převod stávajících dat do nového informačního systému Vedlejší cíle  kontrola a úprava dat stávajícího systému (s tím, že pokud se jedná o prvotní plnění publikační databáze, je nutné případné úpravy dat zahrnout i do její aktualizace)  příprava dat pro testování aplikací nového systému  poskytnutí informací o skutečných parametrech DB cílového systému, verifikace odhadů parametrů databáze 3 Parametry migrace dat  velikost dat  členitost (rozmanitost) dat  rozdíly mezi datovými modely stávajícího a nového IS  počet pracovišť, na kterých se budou migrovat data  počet opakování migrace dat  požadavky na dobu migrace na jednotlivých pracovištích a na dobu migrace celého systému 4 4 Procesy migrace dat Příprava dat Prostředky stávajícího systému se provede export dat. Formát bude dohodnut v rámci analýzy migrace a datové rozhraní tomu bude přizpůsobeno. Uchazeč podle předaného vzorku dat v zadávací dokumentaci předpokládá, že data budou ve tvaru VTX. Soubory budou přeneseny do dohodnuté struktury adresářů ve file systému. Přenos dat Přenos, kontroly dat a konverze dat jsou dávkové procesy. Přenosem budou data ze vstupního rozhraní přenesena do pracovního úložiště, jehož datový model se bude blížit datovému modelu cílového systému. Zpřesnění datového a funkčního modelu přenosu, které je provedeno v rámci návrhu migrace, je provedeno s cílem provést tento proces rychle, minimalizovat ztrátu dat a tím poskytnout všechna data pro kontroly v následujícím procesu. Pokud dojde při přenosu dat k chybě, bude zaprotokolována pro další analýzu. S nejvyšší pravděpodobností povede chyba při přenosu dat po odstranění chyby k opakování celého přenosu. Kontroly dat Kontroly dat budou prováděny podle pravidel, definovaných při analýze a návrhu migrace. Kontroly mohou nalézt chyby čtyř závažností. analysis migrace dat «datastore» vstupní datové rozhraní «datastore» stávající data příprava dat přenos dat «datastore» pracovní úložištěkontroly dat konverze dat «datastore» úložiště nového systému vyhodnocení migracerozhodnutí o migraci Princip: přenos všech dat s minimální ztrátou Princip: provést maximální množství kontrol před konverzemi Princip: maximální efektivita a rychlost konverzí 5  Závažnost 1 – varování: vlastnosti dat odporují pravidlům, ale nevadí provozu systému (příklad: nenaplněný méně důležitý údaj). Chyba je protokolována pro pozdější opravu v novém systému.  Závažnost 2 – oprava dat: vlastnosti dat odporují pravidlům, nelze je konvertovat do nového systému, ale lze je automaticky (podle předem dohodnutých pravidel) opravit (příklad: příliš dlouhý text u méně důležitého textového údaje). Chyba je protokolována, do protokolu je zaznamenán původní stav dat a data jsou automaticky opravena podle pravidel, stanovených v rámci návrhu migrace pro různé typy chyb.  Závažnost 3 – odmítnutí konverze migrační jednotky: vlastnosti dat odporují pravidlům, nelze je konvertovat do nového systému, nelze je automaticky opravit. Chyba umožňuje migraci jiných dat, resp. nehrozí nebezpečí zkreslení dat při pokračování migrace (příklad: chybějící cizí klíč u podřízeného záznamu). Chyba je protokolována, je odmítnuta konverze migrační jednotky (migrační jednotka je množina dat, která je definována pro každý typ chyby v rámci návrhu migrace).  Závažnost 4 – odmítnutí celé migrace: data mají takové chyby, že další konverze ohrožuje výrazně kvalitu většiny dat (příklad: chyba v hlavním číselníku, chyba v metadatech datového modelu). Chyba je protokolována a migrace je zastavena. Jedním z cílů zkušební migrace (v případě potřeby i vícekolové) je odstranit v datech chyby závažnosti 3 a 4. Systém kontrol je otevřený. Mohou být použity kontrolní funkce cílového systému popsané v kapitole 2.2 nebo mohou být doplněny další kontroly navržená v rámci kroku analýza a návrh migrace. Pro migraci bude připraven seznam typů chyb se závažnostmi a s doporučenou reakcí na daný typ chyby. Kontroly jsou prováděny dávkově v pořadí a s parametry určenými v souboru metadat. Konverze dat Konverze dat převede automaticky data z pracovního úložiště přesně definovaným postupem do úložiště cílového systému, ve kterém už budou implementována všechna pravidla datového modelu, udržující integritu a konzistenci dat. Cílem procesu je provést efektivní a rychlou konverzi dat. I když většinu chyb odhalí proces kontrol, i při konverzi se mohou vyskytnout chyby, které jsou kategorizované stejně jak v předcházejícím odstavci. Vyhodnocení migrace – interní a externí verifikace Po ukončení konverze dat bude provedeno vyhodnocení migrace s cílem rozhodnout o její úspěšnosti nebo neúspěšnosti. Konečné rozhodnutí provede odpovědný pracovník uživatele. Podkladem pro rozhodnutí bude zpráva, kterou připraví společně tým migrace se zástupci uživatele a která bude vycházet z následujících zdrojů. a) Protokol migrace s výpisy chyb a výsledků interní verifikace. Interní verifikace je systém algoritmů, které kontrolují nezávisle na vlastním algoritmu přenosu nebo konverze vlastnosti dat na vstupu a na výstupu z procesního kroku. Příklad: počet bodů polohopisu na vstupu do konverze se musí rovnat počtu bodů polohopisu na výstupu z konverze. Chyby zjištěné interní verifikací jsou obvykle chybami systému migrace a po otestování migrace uchazečem by se neměla vyskytovat. b) Výsledky externí verifikace. Externí verifikace je dohodnutý pracovní postup, kterým se porovnají (obvykle namátkově) data na vstupu do migrace a data na výstupu z migrace. Příklad: vizuální porovnání plotrovacích výstupů stejné části území vytvořených jednou ve starém systému a jednou v novém systému. Pracovní postupy externí verifikace připraví zadavatel ve spolupráci s uchazečem v rámci analýzy migrace tak, aby mohl v dobré víře rozhodnout o úspěchu (nebo neúspěchu) migrace. 6 5 Projekt migrace dat Analýza systému migrace dat a přechodu na nový systém  Vymezení migrovaných dat  Popis stávajícího DM  Omezení migrace dat  Definice datového rozhraní  Principy verifikace migrace dat  Konceptuální návrh systému migrace dat Design systému migrace dat  Vymezení části DM nového systému, do kterého budou migrována data  Design aplikace  Verifikace migrace Tvorba systému migrace dat  Programování migrace  Testování  Školení Zkušební provoz migrace dat  Ověření migrace dat na pilotních datech  Opakovaná migrace dat (zejména procesy přenos a kontroly) s cílem zkontrolovat stávající data Scénář přechodu na nový systém  popis činností souvisejících s migrací  instalace nového systému a migrace dat  rozhodnutí o úspěchu/neúspěchu migrace Popis činností souvisejících s migrací 1.10.2010 31.12.2010 1.11.2010 1.12.2010 Před zahájením migrace Před ukončením migrace Při migraci Po ukončení migrace Činnosti probíhající 17.11 - 27.11 Migrace 7 6 Zařazení projektu migrace do projektu IS 8.2.2011 Akceptace definice projektu 29.3.2011 Akceptace analýzy požadavků 1.1 - 8.2 Definice projektu 8.2 - 29.3 Analýza požadavků 10.6.2011 Akceptace designu 21.8.2011 Akceptace programování a testování 29.3 - 10.6 Design 10.6.2011 - 21.8.2011 Programování a testování 21.8 - 1.11 Zkušební provoz 10.6.2011 - 21.8.2011 Programování a testování 1.11 - 31.12 Migrace a přechod na nový systém 1.11.2011 Akceptace zkušebního provozu a systému migrace 31.12.2011 Akceptace systému pro produktivní provoz 10.6 - 9.7 Design migrace 21.8 - 4.10 Zkušební provoz migrace 9.7 - 21.8 Implementace a testování migrace 7.5 - 10.6 Analýza stávajícího DM a požadavků na migraci 10.6.2011 Akceptace analýzy migrace 4.10.2011 Akceptace systému migrace pro ostrou migraci 21.8.2011 Akceptace migrace pro zkušební provoz 9.7.2011 Akceptace designu migrace 8 Připomínky a dotazy k obsahu lekce posílej, prosím, na adresu: Rudolf Richter, richter@fi.muni.cz