1 Alternativní metodické přístupy k analýze z obrazových dat v prostředí města Vybrané kapitoly z DPZ II Urban Remote Sensing Možné přístupy k řešení problému 1. Spektrální zvýraznění I. - indexy 2. Spektrální zvýraznění II. (PCA, MNF) 3. Obrazová spektrometrie 4. Analýza smíšených pixelů (spectral mixture analysis) 5. Objektově orientovaná klasifikace, kontextuální 6. Texture analysis, GLCM 7. Neparametrické metody (strojové učení, neuronové sítě,…) 8. … 1. Spektrální indexy • Jaký je obecný princip vytváření spektrálních indexů? • Jak by bylo možné zkonstruovat spektrální index zvýrazňující zastavěné plochy? • Proč se využívá tzv. normalizovaných indexů? Spektrální indexy Slouží ke studiu prostorového rozložení zastavěných ploch a časových změn v jejich rozsahu Normalized Difference Built-up Index (NDBI) NDBI = Built_up_area = NDBI - NDVI TM5 – TM4 TM5 + TM4 Ve výsledném snímku mají zastavěné a holé plochy bez vegetace kladné hodnoty a ostatní druhy povrchů hodnoty záporné TM5 + TM4 (PCA - Principal Component Analysis) se používá jako prostředek zvýraznění obrazu k vizuální interpretaci i jako metoda zvýraznění obrazu před jeho automatickou klasifikací. Analýzou hlavních komponent lze další zpracování omezit na méně pásem bez podstatné ztráty informace - redukuje tedy rozměrnost (dimensionalitu) zpracování. PCA je statistická metoda, která rotuje osami vícerozměrného prostoru tvořícího multispektrální snímek, a to ve směru maximálního rozptylu dat. 2. Metody spektrálního zvýraznění Obrazová analýza hlavních komponent Princip PCA 2 Výstup PCA Číslo Vlastní Procenta Kumulov. PC čísla rozptylu procenta TM1 TM2 TM3 TM4 TM5 TM7 1 2262,96 75,62 75,62 0,243 0,181 0,346 0,230 0,728 0,454 2 682,34 22,80 98,42 0,115 0,050 0,229 -0,936 -0,012 0,237 3 33,80 1,13 99,55 0,553 0,323 0,513 0,201 -0,531 -0,064 4 7,79 0,26 99,81 -0,264 -0,141 -0,037 0,168 -0,432 0,833 5 4,54 0,15 99,96 0,712 -0,102 -0,668 -0,034 0,000 0,186 6 1,21 0,04 100,00 -0,212 0,911 -0,343 -0,044 -0,022 0,069 Zátěže 7655443322111 TMaTMaTMaTMaTMaTMaPC +++++= 7655443322112 TMbTMbTMbTMbTMbTMbPC +++++= … Výstup PCA – jednotlivá transformovaná pásma PC1 PC2 PC3 PC4 PC5 PC6 Výstup PCA – barevná syntéza z PC1, PC2 a PC3 Minimum Noise Fraction (MNF) transformace Transformace "TASSELED CAP" TC1 = .2043TM1 +.4158TM2 +.5524TM3 +.5741TM4 +.3124TM5 +.2303TM7 TC2 = -.1603TM1 -.2819TM2 -.4934TM3 +.7940TM4 -.0002TM5 -.1446TM7 TC3 = .0315TM1 +.2021TM2 +.3102TM3 +.1594TM4 -.6806TM5 -.6109TM7 Lineární transformace původních pásem obratu. Koeficienty transformačních rovnic jsou určeny empiricky tak, aby každé z nově vypočtených pásem zvýrazňovalo informaci korelující s určitými vlastnostmi půdy a vegetace: TC1 - orientováno ve směru maximálního rozptylu hodnot odrazivosti půdy a označuje se jako index „brightness“, TC2 - kolmé k TC1 a je orientováno ve směru největšího kontrastu mezi viditelnou a blízkou infračervenou částí spektra. Je tedy ukazatelem množství zelené hmoty - index „greenness“. TC3 - koreluje s vlhkostí půdy a vegetace - index „wetness“ . • Jak velký je problém empirického určení koeficientů? • Jak lze algoritmus využít k identifikaci zastavěných ploch? Transformace "TASSELED CAP" Příznakový prostor vybraných spektrálních indexů transformace Tasseled Cap vypočtená ze senzoru TM (http://ciesin.org/docs/005-419/fig3.gif) 3 3. Metody obrazové spektrometrie (hyperspektrální snímky) • Kontinuální záznam odrazových vlastností povrchů v optické části spektra • Možnost podchytit specifika především u povrchů spektrálně „čistých“ • Identifikace jevů, které v krajině souvisejí se změnami chemického složení • Identifikace a lokalizace tzv. absorpčních pásů • Identifikace antropogeních tvarů a procesů • ….. Příklady konkrétních systémů - družice Družice EO-1 (NASA), skener HYPERION – hyperspektrální skener s 242 pásmy v rozsahu 0,4 - 2,5 µm s rozlišením 30 metrů a velikostí scény 7,7 x 42 resp. 185 km, časové rozlišení 16 dní AISA Eagle – www.usbe.cas.cz 64 spektrálních pásem, prostorové a spektrální rozlišení přibližně 0,4 m a 10 nm • předzpracování dat • kalibrace dat • tvorba spektrálních knihoven • vizualizace hyperspektrálních dat a knihoven spekter • automatické porovnání spekter • definování elementárních povrchů (tzv. endmembers) • analýza a automatická klasifikace heterogenních pixelů Základní etapy analýzy dat obrazové spektrometrie Předzpracování dat • úprava geometrie snímků, odstranění páskování (stripping), potlačení šumu Kalibrace dat (DN hodnoty – radiance – reflectance) • atmosférické korekce a korekce na vlivy topografie jsou nezbytnou prvotní částí zpracování • cílem je převést naměřená data, která obsahují charakteristiky celkového vyzařování objektů (angl. radiance), na data charakterizující odrazové vlastnosti objektů (angl. reflectance) • Zář (radiance) – množství dopadající na plochu čidla (senzoru) • Odrazivost (reflectance) – podíl mezi množstvím odražené elektromagnetické energie a množstvím energie dopadající na studovaný povrch Vztah mezi DN, zářivými a odrazovými vlastnostmi povrchů • DN • L - zář [W.m2.sr-1] (radiance) • ρ - odrazivost (reflectance) L1 : záření rozptýlené atmosférou „path radiance“ L2 : záření odražené snímaným povrchem L3 : záření odražené a rozptýlené okolními objekty c0, c1 : (offset, gain) – kalibrační konstanty 4 Vztah mezi DN, zářivými a odrazovými vlastnostmi povrchů Skutečné odrazové vlastnosti objektů zářivé vlastnosti objektů DN hodnoty Spektrální knihovny a automatické rozpoznávání objektů Příklady záznamů ze spektrální knihovny pro pět vybraných materiálů. Na ose X jsou vlnové délky, na ose Y normalizované hodnoty odrazivosti (R). (1 - smrkové jehličí, 2 - suchý travnatý povrch, 3 - listy vlašského ořechu, 4 - listy javoru, 5 - kaolinit) Spektrální profily vybraných umělých povrchů target spectra - typické příklady (z knihoven) Image spectra – reálné povrchy (často smíšené) Spektrální profily Možné přístupy ke klasifikaci • Porovnávání spekter (Spectral matching) • Klasifikace tzv. „spektrálním úhlem“ • Analýza smíšených pixelů (mixing) • Metody shlukové analýzy, … • Neparametrické metody (NN) • Rozhodovací stromy Porovnávání spekter (simple spectral matching) 5 Porovnávání spekter (simple spectral matching) • Vyžaduje konverzi obrazových spekter na hodnoty odrazivosti • Dobře funguje, pokud jsou v obraze větší plochy spektrálně „čistých “ povrchů • Z vyhovujících spekter je nutné vybírat to nejvhodnější – prahování resp. „fuzzy“ výsledek • Řada povrchů je však smíšených • Někdy vyžaduje i „mixed“ spektra ve spektrální knihovně • Výsledek – „material map“ – mapuje dominantní druh povrchu na ploše každého pixelu. Spektra jako vektory ve spektrálním prostoru Spektrální profily jsou vhodné pro vizualizaci a porovnávání několika málo spekter Pro analýzu a klasifikaci většího počtu spekter – N rozměrný spektrální prostor Matematicky lze tento koncept využít i pro hyper – rozměrný prostor Není důležitá velikost vektoru, ale jeho orientace Klasifikace tzv. „spektrálním úhlem“ (Spectral Angle Mapper) Vektor reprezentující spektrum ve 2D spektrálním prostoru Klasifikace tzv. „spektrálním úhlem“ Algoritmus je založen na výpočtu míry podobnosti mezi testovaným spektrálním profilem ze zpracovávaného obrazu a spektrem z knihovny Jako míry podobnosti je využito tzv. spektrálního úhlu, A - vektor známého spektra (např. z knihovny spekter), B vektor spektra testovaného, ββββ - spektrální úhel; data v použitých pásmech jsou korigována na vlivy atmosféry a zastínění 4. Analýza smíšených pixelů – „linear unmixing“ a hledán spektrálně čistých pixelů „Tradiční“ přístup - zjednodušující předpoklad, že každý jeden obrazový prvek svoji hodnotou reprezentuje pouze jeden objekt či povrch. Křivka spektrálního chování heterogenního pixelu (mixel - mixture element) je složena z jednotlivých „spektrálně čistých“ křivek elementárních pixelů (povrchů) tzv. endmembers. Koncept „linear mixing“ Spektra všech povrchů, které jsou kombinací tří elementárních povrchů A, B, C musí ležet uvnitř prostoru, který tyto povrchy vymezují v spektrálním prostoru Pokud jsme schopni nalézt spektra elementárních povrchů, jsme schopni najít i jejich lineární kombinace Předpoklad – v obraze se nachází konečný, relativně malý počet elementárních pixelů a velké množství smíšených pixelů, které jsou jejich lineární kombinací 6 - redukce dimensionality - odstranění šumu v datech - první krok k hledání „endmembers“ Minimum Noise Fraction (MNF) transformace • cílem je odstranit nadbytečnou (redundantní) informaci a potlačit šum v datech • výsledkem je menší množství tzv. MNF snímků • MNF aplikuje metodu hlavních komponent ve dvou krocích: 1) Odstraní korelaci šumové složky mezi jednotlivými pásmy a transformuje snímky tak, že šum má jednotkový rozptyl 2) V nově transformovaných snímcích (MNF) odděluje užitečnou informaci od šumové složky Minimum Noise Fraction (MNF) transformace Pixel Purity Index (PPI) Pixel Purity Index (PPI) • Metoda, která pracuje s tzv. smíšenými pixely. • Hledá ve snímku pixely, které jsou spektrálně co nejčistší • Nejčistší pixely většinou odpovídají spektrálně odlišným povrchům. • Metoda hledá, kolikrát se pixel objeví jako extrémní v tzv. simplexu • PPI generuje snímek, ve kterém je zaznamenáno, kolikrát byla daný pixel extrémní • Prahováním se oddělí pixely, které byly extrémní nejčastěji Pixel Purity Index (PPI) Výsledek klasifikace spektrálním úhlem SAM max. angle = 0.10 SAM max. angle = 0.35 7 „Fraction“ image („abundance“ image) Možné přístupy k analýze smíšených pixelů - linear mixing Vychází z předpokladu, že spektrální informace smíšeného pixelu vzniká lineární kombinací spektrálního chování všech obsažených elementárních povrchů Fyzikální model R = 0,5 A + 0,2 B + 0,3 C Lineární kombinace spekter (linear mixing) • Model lineární kombinace (smíchání) spekter - tzv. mixing předpokládá, že známe spektra jednotlivých elementárních povrchů i jejich procentuální zastoupení v ploše pixelu. • Z těchto informací lze „smíchat“ výsledné spektrum smíšeného pixelu • Analýza potom spočívá v obráceném procesu označovaném jako tzv. un - mixing, • Známe pouze spektrum výsledné, obrazovou analýzou hledáme spektra jednotlivých elementárních povrchů (endmembers) • Z modelu „lineárního smíchání“ hledáme procentuální zastoupení jednotlivých elementárních povrchů v analyzovaném obraze. Matematický model lineárního smíchání výsledného spektra heterogenního pixelu n - počet elementárních povrchů m - počet zpracovávaných pásem Y - výsledné spektrum X - koeficienty určující zastoupení jednotlivých elementárních povrchů Z - spektrální chování n elementárních povrchů v m intervalech spektra (pásmech) UNMIXING – určení procentuálního zastoupení elementárních povrchů Linear mixing Fraction images 8 V-I-S (vegetation-impervious surface-soil) model for urban ecosystem analysis Ridd, M.K., 1995. Exploring a V–I–S (Vegetation–Impervious Surface–Soil) model for urban ecosystem analysis through remote sensing - Comparative anatomy for cities. Int. J. Remote Sens., 16, pp. 2165- 2185. Konceptuální model – předpokládá, že každý pixel představující lad-cover v oblasti městské zástavby je lineární kombinací tří základních povrchů – vegetace, zastavěné plochy a půdy. http://www.springerlink.com/conten t/u25162w3t3411703/ Urban Remote Sensing Elementární povrchy ve městské zástavbě odvozené ze snímků Landsat ETM+ transformovaných metodou MNF Urban Remote Sensing Urban Remote Sensing Detekce změn 5. Objektová („per-object“) klasifikace Naše rozpoznávání není založeno na postupném skládání celku z jednotlivostí. Je založeno m.j. na: 1. zkušenosti 2. schopnosti hodnotit vztahy Základní východiska • Klasifikace založená na identifikaci jednotlivých obrazových prvků má mnohá omezení. • Vychází z předpokladů, které již a priori vylučují úspěšnou aplikaci těchto přístupů na některé úlohy (zastavěné plochy). • Informace uložená v obraze má často fraktální povahu, hierarchii – záleží na měřítku. (Části stromu – strom – les – krajinná mozaika). • Analýza obrazu prozatím málo využívá jiných charakteristik (interpretačních znaků) než spektrálních (např. na radarová data nelze v důsledku značného podílu šumu použít klasický per-pixel přístup). 9 Základní východiska • Objektový přístup – základní jednotkou pro klasifikaci není obrazový prvek (pixel), ale skupina prostorově souvisejících pixelů (field, image object primitive, …). • Tato skupina pixelů je vytvořena procesem segmentace obrazu. Jejím cílem je pospojovat pixely podobných vlastností do skupin. • Nejsou uvažovány jen vlastnosti spektrální, ale například textura, kontext, vlastnosti související s tvarem a velikostí pixelů apod. • Vytvoření skupin pixelů podobných vlastností umožňuje následně definovat vztahy sousedství mezi jednotlivými skupinami Příklad- vytváření objektů v obraze Atributy objektů Každému z objektů přísluší množina atributů, které popisují spektrální vlastnosti, tvar, topologické vazby, texturní znaky, … Obecný postup objektové klasifikace obrazu 1. Spojování podobných pixelů do homogenních ploch – segmentů 2. Testování homogenity segmentů 3. Výpočet atributů pro každý segment 4. Klasifikace segmentů (objektů) Segmentace obrazu Definování základních obrazových objektů je založeno na spojování podobných pixelů. Podobnost či homogenita je posuzována z hlediska těchto tříd informací: • Spektrální informace • Texturální informace • Informace o tvaru objektů • Informace o topologických vztazích (kontextuální) Nastavení parametrů segmentace obrazu 10 „Mulitresolution segmentation“ Hierarchicky uspořádaný systém vrstev Nejnižší vrstvu tvoří vrstva jednotlivých pixelů, nejvyšší vrstvu pak celý obraz. Mezi těmito dvěma krajními úrovněmi se vytváří další úrovně právě procesem segmentace obrazu. Celá síť má jednoznačně definované topologické vazby. Hierarchické uspořádání klasifikačního schématu - podle dědičnosti (inheritance) - podle sémantiky (významu) Příklad klasifikace Příklad klasifikace Ostrov Les hustý X řídký Les list. X jehl Klasifikační schéma - příklady - binární strom: daná třída je definována vždy jako negace příslušnosti k třídě jiné - příznakový prostor využívající ke klasifikaci topologických vazeb Klasifikace objektů může probíhat dvěma způsoby • jako klasifikace bez uvažování topologických a hierarchických vazeb objektů • jako klasifikace hodnotící též topologické a hierarchické vazby objektů v obraze • Jednotlivé třídy již nemusí představovat land cover, ale mohou být již kategoriemi land use. To je umožněno hodnocením odlišné skupiny atributů při klasifikaci tříd – příznakový prostor může být definován různě pro různé kategorie: 11 Vlastní klasifikace může být založena na klasifikátoru nejbližšího souseda (Nearest Neighbor) Trénovací data tvoří vybrané objekty Klasifikátor zařadí všechny ostatní objekty do třídy, ke které má v předem definovaném příznakovém prostoru nejblíže. Klasifikace objektů I. Klasifikace objektů II. Příslušnost jednotlivých objektů ke každé třídě je hodnocena prostřednictvím funkce příslušnosti (membership function) pro každý z uvažovaných atributů. Membership function normalizuje hodnoty jakéhokoliv použitého atributu (např DN hodnot pásma obrazu 0 až 255) do hodnot 0 až 1. Funkce má různý průběh (např. sigmoida). Průběh membership function definuje neostré (fuzzy) hranice a nahrazuje binární logiku (patří - nepatří). Klasifikace založená na principu neostrých množin (fuzzy logic). 6. Hodnocení a klasifikace textury na snímcích Texturální klasifikátory se snaží popsat typickou proměnlivost spektrálního chování Hodnocení a klasifikace textury na snímcích GLCM (Grey Level Co-occurrence Matrix) 3322 2220 1100 1100 Každý prvek GLCM matice nese informaci, kolikrát se daná kombinace hodnot v okně vyskytuje. Míry textury - vážený průměr buněk GLCM. ( )2 1 0, , jiPKontrast N ji ji −⋅= ∑ − = Interpretace: Je-li i a j stejné (na diagonále) váha je 0. Liší li se i a j o 1 váha je 1, liší li se o 2 váha je 4 atd. Váhy exponenciálně rostou. 10003 13002 00201 01220 3210 Neuronové sítě • počítačová architektura, která se snaží napodobit procesy probíhající v nervové soustavě • je nezávislá na statistickém rozložení dat • je odolná proti chybám, má schopnost učit se (asociativní učení), dovede abstrahovat i generalizovat • dokáže odhadnout nelineární vztah mezi vstupními a požadovanými výstupními daty • umožňuje v procesu klasifikace kombinovat různé typy vstupních dat. 7. Klasifikace obrazu metodami strojového učení • Neuronové sítě • Rozhodovací stromy Základní pojmy Schematizované uspořádání neuronové sítě A - vstupní vrstva, B - skrytá vrstva, C - výstupní vrstva (multi-layer perceptron) • neuron – výkonný prvek NS • synapse – spojení neuronů • váhové koeficienty neuronů • adaptivní fáze – učící • aktivní fáze – vybavovací 12 NN pro klasifikaci multispektrálního snímku Příklad třívrstvé perceptronové sítě se 6 vstupními, 8 skrytými a 11 výstupními uzly (MLP 6-8-11) s příkladem vstupu a výstupu při klasifikaci družicových snímků s vyznačenými aktivacemi zastavěné plochy Model neuronu x1 w1 x2 w2 kde xi - hodnota i-tého vstupu wi - váha i-tého vstupu i i i xwxS ∑=)( Neuron provádí tři akce: • sumuje vstupy z jiných neuronů • provádí prahování • posílá výstup do jiných neuronů Model neuronu • Neurony v síti jsou propojeny tzv. váhovými koeficienty, které zesilují nebo zeslabují signál přicházející z předchozích neuronů. • Suma těchto vážených signálů určuje aktivaci neuronu, která ovlivňuje další výstup z neuronu. • Výstup z neuronu je funkcí této aktivace, kdy výstup je vypočten na základě logistické aktivační funkce - sigmoida. • Výstup z uzlu je realizován pouze překračuje-li určitou prahovou hodnotu. • Váhové koeficienty jsou na počátku náhodnými čísly Příklad aktivační funkce neuronu (sigmoida) Učící - adaptivní fáze • Učení – váhy na spojích mezi jednotlivými výkonnými prvky sítě se mění podle určitého tzv. učícího algoritmu. • Použije se trénovací soubor, ve kterém známe správné zařazení pixelů do jednotlivých klasifikačních tříd. • Učící algoritmus – předpis, podle kterého se předkládají síti vzory k učení a podle kterého se mění váhy jednotlivých spojení mezi neurony. • Učení se s učitelem – analogie řízené klasifikace Algoritmus zpětného šíření (Back propagation) • Učení se bez učitele – analogie shlukové analýzy (neřízené klasifikace) – samo-organizující se sítě (Self-organizing) – Kohonenova síť • Ustálení – dosažení stabilního stavu sítě Algoritmus zpětného šíření (Back propagation) • signály nejprve vyšlou směrem dopředu • u výstupních neuronů se porovnají výstupy s požadovanými • zjištěné chyby se použijí ke změně nastavení vah v síti Výstup ze sítě má formu vektoru: Očekávaný výstup (z učící množiny): Aktuální výstup: Hodnocení úspěšnosti učení – chyba e: ( )∑= −= k j jj aoe 12 1 ( )0,0,0,0,1,0=a ( )0,0,1,0,0,0=o • Učení probíhá iteračním způsobem – cílem je dosáhnout nulové či minimální akceptovatelné chyby. • Adaptace sítě – úprava vah synapsí - probíhá po krocích. • Délka kroku se nazývá learning rate. • Velká délka kroku značí rychlejší, ale méně přesné učení 13 Přednosti neuronových sítí Nedostatky neuronových sítí • nezávislost na statistickém rozdělení • schopnost generalizace • síť je tolerantní k šumu v učících datech • problém návrhu architektury sítě (počet skrytých vrstev a počet neuronů v nich) • dlouhá doba učení • problém lokálního minima (oscilace) • nastavení úvodních (náhodných) vah synapsí Klasifikace Rozhodovacími stromy (Decision Trees) TM3 <= 35 : | TM4 > 99 : polev (12.0) | TM4 <= 99 : | | TM5 > 58 : lesl (30.0/1.0) | | TM5 <= 58 : | | | TM6 <= 12 : lesl (2.0) | | | TM6 > 12 : lesj (8.0) TM3 > 35 : | TM6 <= 23 : voda (17.0) | TM6 > 23 : poleb (26.0) Základní pojmy: • Název atributu - uzel • Aritmetický či logický výraz větev stromu • Název třídy - list stromu • Mohou ale i nemusí být založeny na binárním třídění, jsou neparametrické. • Umožňují testování sousedů - grafy sousednosti a topologických vazeb (meet, contain, overlap, …) • Umožňují testování atributů různé povahy • Možnost klasifikace po vrstvách – hierarchické třídění („layered classification“) • Problém objektivního hodnocení („ground truth“) Klasifikace rozhodovacími stromy • Layered classification • CART – Classification and Regression Tree Klasifikace po vrstvách či hierarchická klasifikace CART – Classification and Regression Tree (Lawrence, Wright 2001) CART – Classification and Regression Tree (Bittencourt, Clarke 2003)