1 Statistické metody a zpracování dat Faktorová a komponentní analýza (Úvod do vícerozměrných metod) Petr Dobrovolný Úvod do vícerozměrných metod Cíle prezentovaných metod: 1. redukovat počet proměnných 2. detekovat strukturu vztahů mezi proměnnými (klasifikovat, vytvořit typologii dat) O řadě jevů či procesů máme k dispozici ne jeden statistický znak ale znaků několik. Př. Struktura obyvatelstva, vlastnosti povodí, klimatické poměry místa, ... Vstupní data: Statistické jednotky (např. městské obvody) a k nim několik charakteristik (např. demografická data). Faktorová analýza (Factor Analysis ­ FA) Analýza hlavních komponent (Principal Component Analysis ­ PCA) Literatura: Heřmanová, E. (1991): Vybrané vícerozměrné statistické metody v geografii. SPN, Praha, 133 s. Hendl, J. (2004): Přehled statistických metod zpracování dat. Portál, Praha, 583 s. http://www.statsoft.cz/textbook/stathome.html Ilustrativní příklad ­ vstupní data Podíl zaměstnaných v devíti odvětvích ve 26 evropských zemích (údaje z konce 70. let 20. století) 1. AGR = agriculture 2. MIN = mining 3. MAN = manufacturing 4. PS = power suplies 5. CON = construction 6. SER = service industries 7. FIN = finance, 8. SPS = social and personal services 9. TC = transport and communications Vstupní matice: 9 řádků (proměnných ­ odvětví) a 26 sloupců (případy ­ státy) Cíl: Redukce počtu proměnných a odhalení typických znaků v zaměstnanosti jednotlivých států Příklad ­ typický výstup PCA I. ˇ pořadové číslo nové proměnné (PC - hlavní komponenty) ˇ tzv. vlastní hodnota ­ část z celkového rozptylu původních dat vysvětlená každou z nových komponent ˇ procentuální vyjádření množství rozptylu vysvětleného komponentou ˇ kumulativní hodnota procentuálního podílu vysvětleného příslušnými komponentani (např. první 4 komponenty vysvětlují 85,68 % celkové variability původních dat) ˇ tzv. sutinový graf sloužící k určení počtu významných komponent Příklad ­ typický výstup PCA II. Tzv. zátěže (loadings) - představují míru korelace mezi původními a novými proměnnými 2 Příklad ­ typický výstup PCA Struktura zaměstnanosti jednotlivých zemí vyjádřená polohou v grafu hodnot prvních dvou (nejvýznamnějších) hlavních komponent. Charakteristiky, které na jednotkách měříme, jsou jen určitou formou projevu tzv. skrytých veličin, které přímo měřit nemůžeme. Řada měřených charakteristik spolu do značné míry souvisí ­ vypovídá o stejné vlastnosti, koreluje spolu (mezi proměnnými existují ,,překryvy"). Cílem obou metod je eliminování duplicit, zhuštění informace obsažené v původních proměnných do menšího počtu vzájemně nekorelovaných proměnných. Tyto nové proměnné (faktory, hlavní komponenty) popisují soubor jednotek syntetičtěji a úsporněji. Princip FA a PCA Základní východiska Máme-li pro soubor znaků dvě proměnné a ty spolu vzájemně korelují ­ potom vypovídají z velké části o tomtéž ­ jsou redundantní. Pokud takového dvě (korelované) proměnné vyneseme do grafu a proložíme rovnicí přímky ­ potom tuto přímku můžeme považovat za osu, na niž jsou vyneseny hodnoty nové proměnné, která ponese podstatnou informaci z obou proměnných původních. Princip redukce dat a ,,skryté"proměnné (interpretace následujícího obrázku) Základní východiska Základní východiska Tedy ­ dvě původní proměnné redukujeme do jedné nové proměnné ­ do tzv. faktoru (FA) či hlavní komponenty (PC). Faktor či hlavní komponenta je lineární kombinací původních proměnných. Uvedený princip lze zobecnit na větší počet proměnných a je podstatou metod FA a PCA. Tyto metody se používají k analýze vztahů závislosti ve vícerozměrném (obecně r- rozměrném) ortogonálním (pravoúhlém) prostoru. Vstupní datová matice Vstupní data představuje matice, která obsahuje n případů pro m proměnných. V běžném případě představují proměnné sloupce datové matice a případy její řádky. Charakteristiky vstupují do analýzy obvykle ve standardizovaném tvaru (ve formě směrodatných proměnných. - = i i x t 3 Dva způsoby analýzy Analýza podobnosti jednotek ­ dimenze r- rozměrného prostoru jsou charakteristiky (proměnné). Cílem analýzy je redukovat sloupce datové matice Analýza podobnosti proměnných - dimenze r- rozměrného prostoru jsou jednotky (případy). Cílem analýzy je redukovat dimensionalitu řádků. Geometrický model Dvojice charakteristik může být vyjádřena dvěma vektory se společným počátkem. Orientace a těsnost jejich vztahu je určena velikostí sevřeného úhlu. Příklad pro tři proměnné a dva případy Úhly mohou nabývat hodnot od 0 do 180 stupňů a cos úhlu odpovídá hodnotě korelačního koeficientu: Grafické znázornění korelací mezi pěti proměnnými cos 0 =1, rxy = 1 cos 90 =0, rxy = 0 cos 180 =-1, rxy = -1 1V5 -0,621V4 -0,880,911V3 -0,910,220,601V2 0,75-0,98-0,97-0,411V1 V5V4V3V2V1 Geometrický model Rozdíly mezi FA a PCA Obě metody lze považovat za dva modely založené na stejném principu. PCA ­ uzavřený systém, ve kterém veškerá variabilita v hodnotách proměnných je vysvětlena proměnnými samotnými. Nepředpokládáme žádnou strukturu a jde nám jen o redukci počtu proměnných FA ­ model, který předpokládá, že nemáme k dispozici všechny proměnné, které popisují daný problém. S souboru existuje i variabilita, která není vysvětlena jednotlivými faktory a přísluší reziduální složce (neznámé či chybové). Jen část celkové variability je vysvětlena použitými proměnnými. Rozdíly mezi FA a PCA Za jistých podmínek oba modely dávají podobné výsledky ­ např. v případě, že korelace mezi původními proměnnými jsou vysoké. Komunalita FA používá k výpočtu tzv. komunality . Hodnoty komunality se nacházejí na hlavní diagonále korelační matice. U PCA se na hlavní diagonále nacházejí hodnoty 1. Jedničky na hlavní diagonále korelační matice vyjadřují předpoklad, že celková variabilita daného souboru je vysvětlena vybranými proměnnými. Komunalita se značí h2 a a lze ji interpretovat jako část rozptylu připadajícího na společné faktory hlavní diagonála 4 Obecný algoritmus výpočtu komponentní a faktorové analýzy 1. Sestavení matice standardizovaných charakteristik typu n,m 2. Výpočet korelační matice typu m,m 3. Pro FA odhad komunalit, kterými jsou nahrazeny jedničky na hlavní diagonále korelační matice. 4. Výpočet r ortogonálních proměnných (faktorů či hlavních komponent) z příslušných korelačních matic 5. Rotace faktorů či komponent 6. Interpretace výsledků Extrahování PC1 či FA1 - geometrický model Extrahování faktorů - geometrický model Cílem extrakce je nalezení průmětu použitých vektorů se společným počátkem do prostoru o menším počtu dimenzí tak, aby zůstala zachována co možná největší délka jednotlivých vektorů (,,ostnů" ježka) (délka ostnů = variabilita) Soustavou vektorů se společným počátkem se postupně prokládají osy definující nový prostor ­ jsou na sebe kolmé a jsou prokládány tak, aby každá osa vystihovala maximální variabilitu ­ geometricky ­ aby průměty vektorů ­ původních proměnných ­ na novou osu byly co nejdelší. Délka projekce vektorů se označuje l a odpovídá hodnotě korelačního koeficientu mezi původní a extrahovanou proměnnou. Hodnota l je definována jako váha (zátěž ­ loading). Druhá nová osa je proložena tak aby vystihovala maximum ze zbývající variability atd. Vektory proměnných u PCA mají jednotkovou délku. U FA je délka vektoru rovna odmocnině z příslušné komunality. Faktorové zátěže Výpočetní model pro první faktor (hlavní komponentu) 2,52,42,3 korelací 1,00,80,7X3 0,71,00,6X2 0,70,61,0X1 X3X2X1Proměnná Faktorové zátěže: suma korelací každé proměnné /druhá odmocnina z celkové sumy koeficientů. Celková suma koeficientů v matici: 7,2 Druhá odmocnina z celkové sumy koeficientů (tj. společná variabilita): 2,68 Výpočet zátěží l1, l2, l3 pro první faktor l1 = 2,3/2,68 = 0,86 l2 = 2,4/2,68 = 0,90 l3 = 2,5/2,68 = 0,93 Zátěže představují míru korelace mezi původními proměnnými a novým faktorem ­ tedy korelační koeficient. Z toho tedy plyne, že druhá mocnina zátěže vyjadřuje část rozptylu původní proměnné, která je vysvětlena novým faktorem (analog. koeficientu determinance). 5 2,39Vlastní hodnota 0,860,93X3 0,810,90X2 0,720,86X1 l2Zátěž (l)Proměnná Vlastní hodnotu (eigenvalue) vypočteme jako sumu druhých mocnin zátěží jednotlivých proměnných. Vlastní hodnota představuje hodnotu rozptylu vysvětleného faktorem či komponentou Výpočet velikosti korelace reprodukované poslední extrahovanou komponentou (faktorem) Rozptyl nového faktoru můžeme vztáhnout k celkovému rozptylu obsaženému v korelační matici původních proměnných: Procento rozptylu vysvětlené faktorem = Vlastní hodnota faktoru / počet původních proměnných * 100 V našem případě tedy část variability vysvětlená prvním faktorem činí 79 % (2,39/3*100) Významnost extrahovaného faktoru Vlastnosti první hlavní komponenty PC1 je lineární kombinací vstupních proměnných PC1 vystihuje 79 % variability původních dat První hlavní komponenta tedy nepostihuje veškerou variabilitu. Proto v následném kroku tedy extrahujeme druhou hlavní komponentu (či faktor), která by objasňovala zbývající proměnlivost původních proměnných. Extrahování PC2 či FA2 - geometrický model 1. Sestavíme matici, která vyjadřuje variabilitu vysvětlenou první komponentou. 2. Tuto matici odečteme od korelační matice původních proměnných. 3. Dostaneme tzv. matici reziduálních (zbytkových) korelací. 4. Vypočteme váhy (zátěže) a procento variability reprodukované dalšími PC či FA 5. Celý výpočet se opakuje pro tolik komponent, kolik bylo vstupních proměnných Celý proces se opakuje výpočtem PC2, PC3, ... následovně: Zátěže mezi první PC či FA a původními proměnnými: X1 X2 X3 0,86 0,90 0,93 např. 0,86 * 0,90 = 0,77 Potom matice, která vyjadřuje velikost korelace reprodukované právě extrahovanou komponentou bude: 0,860,840,80X3 0,840,810,77X2 0,800,770,74X1 X3X2X1 Tuto matici odečteme od původní korelační matice a dostaneme matici reziduálních (zbytkových) korelací Určení matice vyjadřující variabilitu vysvětlenou první komponentou 6 ˇ Druhá (a každá následující) PC či FA postihuje rozptyl, který nesouvisí s PC či FA první (předchozí) ˇ Jednotlivé faktory jsou vzájemně nekorelované (ortogonální) ˇ Postupně obsahují (či vysvětlují) menší část variability původních dat. Shrnutí vlastností vypočtených faktorů (komponent) Rozhodování o počtu interpretovatelných nových faktorů Dvě základní kritéria: ˇ Je-li hodnota vlastního čísla větší než 1, potom daný faktor vysvětluje více celkového rozptylu než jedna původní proměnná. ˇ,,Scree"-graf ­ hledá se zřejmý zlom ve sklonu křivky, která prezentuje spojnici hodnot celkového rozptylu vysvětleného jednotlivými faktory. Typický výstup FA či PCA Tabulka ve sloupcích obsahuje pro sedm extrahovaných faktorů (hl. komponent) hodnotu vlastního čísla (1), dále procento variability vysvětlené daným faktorem (2), kumulovanou hodnotu vlastních čísel (3) a kumulovanou hodnotu vysvětlené variability (4) 1 2 3 4 Typický výstup FA či PCA Váhy (zátěže) pro první dva faktory, které informují o těsnosti korelace mezi určitým faktorem a každou ze vstupních proměnných. Zátěže informují o tom, které proměnné nejvíce ,,zatěžují" jednotlivé nové faktory (které v nich mají největší zastoupení). Pro identifikaci struktury v datech jsou důležité absolutní hodnoty zátěží. Strukturu lze odhalit i na základě zkušenosti. Cílem je dát vypočteným faktorům konkrétní význam, název, označení,... K lepší interpretaci výsledků PCA lze provést jejich rotaci Interpretace výsledků I. Vstupní data: výsledky dosažené ve výběru 220 žáků v šesti předmětech: 1. gaelština 2. angličtina 3. dějepis 4. aritmetika 5. algebra 6. geometrie Příklad Korelační matice vstupních dat 7 Příklad ­ výstup: vlastní čísla a zátěže Příklad ­ výstup: vlastní čísla a zátěže (výsledek po provedení rotace) Příklad Korelační strukturu pozorovaných dat lze vysvětlit dvěma faktory. První faktor vyjadřuje matematickou dispozici žáka, druhý dispozici jazykově-humanitní. Rotace faktorů Hledá se ,,jednoduchá struktura" ­ tedy výsledek, kdy každá původní proměnná ,,hodně zatěžuje" jeden faktor a málo jiný. Ve většině případů prvotní analýza tuto jednoduchou strukturu neposkytuje a odvozené faktory nejasně (ve smyslu obtížné interpretace) popisují původní proměnné. Možným řešením je tzv. rotace faktorů. Smyslem rotace je nalezení stejně výstižného, ale z hlediska věcné interpretace podstatně výhodnějšího řešení. Cíl PCA či FA ­ nalézt nové proměnné, které by zřetelněji a úsporněji popisovaly vstupní datový soubor. Geometrické vyjádření rotace Cílem rotace je zvýraznit shluky proměnných beze změny jejich relativní polohy ve vícerozměrném prostoru. Jedná se vlastně o pootočení souřadné soustavy faktorů kolem počátku. Podstata rotace ­ otočení systému os o určitý úhel tak, aby se co nejvíce přiblížily vektorům proměnných. Změní se vztah mezi osami a proměnnými a tedy změní se i struktura zátěží. Vzájemné vztahy mezi vektory proměnných se nezmění. Rotace faktorů 8 -0,520,535 0,20-0,864 0,95-0,103 0,330,502 0,330,831 F2F1 -0,700,255 0,55-0,684 0,900,333 0,080,602 -0,070,901 F2*F1* Matice nerotovaných faktorových vah (zátěží) Matice rotovaných faktorových vah Rotace ortogonální a neortogonální F ­ nerotované faktory (komponenty) F* - rotované faktory (komponenty) Rotace ortogonální a neortogonální Neortogonální rotace se hůře iterpretuje. Ortogonální rotace ­ ideální je případ, kdy každá proměnná má zátěž jednoho faktoru rovnu jedné a zátěže ostatních faktorů jsou nulové. Existuje několik metod rotace - nejpoužívanější je metoda VARIMAX - rotace ve směru maximálního rozptylu. Kritérium jednoduché struktury: ˇ V rotované matici vah má být co nejvíce nulových zátěží (-0,1 ; 0,1) ˇ Každá proměnná má být významně obsažena v co nejmenším počtu faktorů ˇ Každý faktor má být představován kombinací jen několika málo proměnných Typický výstup FA či PCA Nerotované a rotované hodnoty zátěží (,,korelačních koeficientů") pro jednotlivé extrahované faktory. Rotovaný výsledek má ,,jednoduchou strukturu" Typický výstup FA či PCA Graf umožňující odhadnout počet interpretovatelných faktorů"c Projekci původních proměnných do 2-D prostoru definovaného prvními dvěma (nejvýznamnějšími) vypočtenými faktory 9 Matice faktorových skóre je jedním z důležitých výsledků FA. Je důležitá pro interpretaci výsledků v geografii při analýze prostorových struktur (uspořádání). Ukazuje do jaké míry je konkrétní pozorování zastoupeno v nových faktorech (poskytuje míru vztahu mezi každým pozorováním (případem) a novými faktory). Jestliže určitý (případ) má vysokou hodnotu v určité proměnné a ta má vysokou zátěž v daném faktoru, potom také tento případ bude mít vysokou hodnotu skóre u tohoto faktoru. Využití faktorových skóre Faktorová skóre mohou sloužit k vynášení do mapy ­ k jednotlivým prostorovým objektům - k vytváření typologií a klasifikaci. Každý případ (např. okres, povodí, ...) může být přiřazen k určitému faktoru podle hodnoty faktorového skóre. Tedy statisticky podobné jednotky budou patřit ke stejnému faktoru. Pro každý faktor můžeme vytvořit mapu. Variabilita PC1 Variabilita PC2 Faktorová skóre mohou být dále využita pro vytváření grafů ve vícerozměrném prostoru definovaném nově extrahovaným faktory.