Vícerozměrné statistické metody Podobnosti a vzdálenosti ve vícerozměrném prostoru, asociační matice I Jiří Jarkovský, Simona Littnerová Vícerozměrné statistické metody Princip využití vzdáleností ve vícerozměrném prostoru logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Vzdálenosti nebo podobnosti objektů ve vícerozměrném prostoru •Vícerozměrný popis objektů představuje jejich pozici ve vícerozměrném prostoru •Vztahy mezi objekty lze vyjádřit pomocí jejich vzdálenosti v prostoru •Existuje celá řada způsobů měření vzdálenosti v prostoru pro různé typy dat (binární, kategoriální, spojitá) •Výběr metriky vzdálenosti nebo podobnosti silně ovlivňuje výsledky analýzy, protože definuje jakým způsobem vztah mezi objekty interpretujeme • • 3 •Výběr metriky je dán dvěma pohledy: •Typ dat – s různými typy dat jsou spjaty různé metriky •Předpoklady výpočtu metriky – obdobně jako klasické statistické metody ani metriky nelze použít ve všech situacích a v některých by dokonce díky jejich předpokladům šlo o hrubou chybu •Expertní interpretace vztahů objektů • • logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Euklidovská vzdálenost jako princip výpočtu vícerozměrných analýz •Nejsnáze představitelným měřítkem vztahu dvou objektů ve vícerozměrném prostoru je jejich vzdálenost •Nejjednodušším typem této vzdálenosti (bohužel s omezeným použitím na data společenstev) je Euklidovská vzdálenost vycházející z Pythagorovy věty 4 a b c y11 y12 y21 y22 X1 X2 logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Různé přístupy k měření vzdálenosti 5 A B Jednou na Manhattanu ……. Hodnoty parametrů pro jednotlivé objekty NxP MATICE ASOCIAČNÍ MATICE Korelace, kovariance, vzdálenost, podobnost Výpočet metriky podobností/ vzdáleností Asociační matice logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Mapa prostoru 7 evropa.jpg Vzdálenost měst v mapě není ničím jiným než maticí vzdálenosti v 2D prostoru logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Metrika vzdálenosti/podobnosti jako klíčový bod vícerozměrné analýzy •Výběr metriky vzdálenosti/podobnosti je klíčovým bodem každé vícerozměrné analýzy: –Některé metody umožňují úplnou volnost ve výběru metriky podobnosti (hierarchická aglomerativní shluková analýza, multidimensional scaling) –Některé metody jsou přímo spjaté s konkrétní metrikou (PCA, CA, k-means clustering) – •Chybný výběr metriky může vést k chybným závěrům analýzy (stejně jako v klasické statistické analýze výběr nevhodného testu nebo popisné statistiky) • •Metriky podobností nebo vzdáleností kromě vícerozměrných statistických metod mohou vstupovat i do klasických statistických výpočtů: –Popisná statistika a vizualizace metrik –Analogie t-testů a ANOVA pro asociační matice –Korelace asociačních matic –Regrese asociačních matic 8 logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Software pro výpočet metrik podobnosti/vzdálenosti •Různé SW obsahují různé typy metrik –Statistica – velmi omezený seznam –SPSS – velké množství metrik –R – jakékoliv metriky, potřeba nainstalování knihoven 9 Vícerozměrné statistické metody Kvantitativní metriky vzdáleností a podobností logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Euklidovská vzdálenost •Jde o základní metrické měřítko vzdálenosti a počítá vzdálenost objektů obdobně jako Pythagorova věta počítá přeponu pravoúhlého trojúhelníku. Metoda je citlivá na rozdílný rozsah hodnot vstupujících proměnných (vhodným řešením může být standardizace) a double zero problém. Nemá horní hranici hodnot. • • • Jako další měřítko se používá také čtverec této vzdálenosti. . Jeho nevýhodou jsou semimetrické vlastnosti. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Průměrná vzdálenost •Euklidovská vzdálenost je přepočítána na počet parametrů (druhů v případě vzdálenosti společenstev odběrů). logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Chord distance (Orlóci, 1967) •Odstraňuje double zero problém a vliv rozdílného počtu jedinců druhů ve vzorcích při výpočtu Euklidovské vzdálenosti. Její maximální hodnota je druhá odmocnina ze dvou a minimum 0. Při výpočtu počítá pouze s poměry druhů v rámci jednotlivých vzorků. Jde vlastně o Euklidovskou vzdálenost počítanou pro vektory vzorků standardizované na délku 1, nebo je možný přímý výpočet už zahrnující standardizaci. Vnitřní část výpočtu je vlastně cosinus úhlu svíraného vektory, zápis vzorce je možný i v této formě. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Geodetická metrika •Počítá délku výseče jednotkové kružnice mezi normalizovanými vektory (viz. Chord distance). logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Mahalanobisova vzdálenost (Mahalanobis 1936) •Jde o obecné měřítko vzdálenosti beroucí v úvahu korelaci mezi parametry a je nezávislá na rozsahu hodnot parametrů. Počítá vzdálenost mezi objekty v systému souřadnic jehož osy nemusí být na sebe kolmé. V praxi se používá pro zjištění vzdálenosti mezi skupinami objektů. Jsou dány dvě skupiny objektů w1 a w2 o n1 a n2 počtu objektů a popsané p parametry: • • •Kde je vektor o délce p rozdílů mezi průměry p parametrů v obou skupinách. V je vážená disperzní matice (matice kovariancí parametrů) uvnitř skupin objektů. • • •kde S1 a S2 jsou disperzní matice jednotlivých skupin. Vektor měří rozdíl mezi p- rozměrnými průměry skupin a V vkládá do rovnice kovarianci mezi parametry. • logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Minkowskeho metrika •Je obecnou formou výpočtu vzdálenosti – podle zadaného koeficientu může odpovídat např. Euklidovské nebo Manhattanské metrice. Se stoupající koeficientem umocňování stoupá významnost větších rozdílů. Existuje ještě obecnější forma, kdy koeficient umocňování a odmocňování je zadáván zvlášť. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Manhattanská vzdálenost •Jde vlastně o součet rozdílů jednotlivých parametrů popisujících objekty logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Mean character difference (Czekanowski 1909) •Manhattanská vzdálenost přepočítaná na počet parametrů. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Whittakerův asociační index (Whittaker 1952) •Je dobře použitelný pro data abundancí, každý druh je nejprve transformován ve svůj podíl ve společenstvu, následující výpočet je opět obdobou Manhattanské vzdálenosti. • • • • • •Jeho hodnota je 0 v případě identických proporcí druhů. Stejný výsledek lze získat i jako součet nejmenších podílů v rámci obou vzorků. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Canberra metric (Lance & Williams 1966) •Varianta Manhattanské vzdálenosti (před výpočtem musí být odstraněny double zero a není jimy tedy ovlivněna). Stejný rozdíl mezi početnými druhy ovlivňuje vzdálenost méně než mezi druhy vzácnějšími. • • • • •Stephenson et al. (1972) a Moreau & Legendre (1979) použili tuto metriku jako součást koeficientu podobnosti • logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Koeficient divergence •Obdobná metrika jako D10 ale založená na Euklidovské vzdálenosti a vztažená na počet parametrů. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Coefficient of racial likeness (Pearson 1926) •Umožňuje srovnávat skupiny objektů podobně jako Mahalanobisova vzdálenost, ale na rozdíl od ní neeliminuje vliv korelace parametrů. Dvě skupiny objektů w1 a w2 jsou charakterizovány (průměr parametrů ve skupinách) a (rozptyl parametrů ve skupinách). logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody c2 metrika (Roux & Reyssac 1975) •První ze skupiny metrik založených na c2 pro výpočet vzdáleností odběrů založených na abundancích druhů nebo jiných frekvenčních datech (nejsou přípustné žádné záporné hodnoty). Data původní matice abundancí/frekvencí Y jsou nejprve přepočítána do matice poměrných frekvencí (součty frekvencí v řádcích (odběry) jsou rovny 1). Jako dodatečné charakteristiky uplatňované při výpočtu jsou spočteny součty řádků yi+ a sloupců y+j celé! matice n(i) odběrů x p(j) druhů. • • • • •Výpočet odstraňuje problém double zero. Nejjednodušším výpočtem je obdoba Euklidovské vzdálenosti •která je dále vážena součty jednotlivých druhů logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody c2 vzdálenost (Lébart & Fénelon 1971) •Výpočet je podobný c2 metrice, ale vážení je prováděno relativní četností řádku v matici místo jeho absolutního součtu, při výpočtu se užívá parametr y++ (celkový součet matice). Je využívána také při výpočtu vztahů řádků a sloupců kontingenční tabulky. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Hellingerova vzdálenost (Rao 1995) •Koeficient související s D15 a D16. Vícerozměrné statistické metody Symetrické binární koeficienty podobnosti logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Koeficienty podobosti (indexy podobnosti) •Ve vícerozměrné analýze se využívá řada indexů podobnosti založených buď na přítomnosti/nepřítomnosti kategorií objektů Binární koeficienty podobnosti Společenstvo 1 Společenstvo 2 1 0 1 a b 0 c d a, b, c, d = počet případů, kdy souhlasí binární charakteristika společenstev 1 a 2 a+b+c+d=p Symetrické binární koeficienty - není rozdíl mezi případem 1-1 a 0-0 Asymetrické binární koeficienty - rozdíl mezi případem 1-1 a 0-0 Více informací a další měření vzdáleností a podobností najdete v knize LEGENDRE, P. & LEGENDRE, L. (1998). Numerical ecology. Elseviere Science BV, Amsterodam. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Simple matching coefficient (Sokal & Michener, 1958) •Obvyklou metodou pro výpočet podobnosti mezi dvěma objekty je podíl počtu deskriptorů, které kódují objekt stejně, a celkového počtu deskriptorů. Při použití tohoto koeficientu předpokládáme, že není rozdíl mezi nastáním 0 a 1 u deskriptorů. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Rogers & Tanimoto koeficient (1960) •Dává větší váhu rozdílům než podobnostem. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Sokal & Sneath (1963) •Další čtyři navržené koeficienty obsahují double-zero, ale jsou navrženy tak, aby se snížil vliv double-zero: • • •tento koeficient dává dvakrát větší váhu shodným deskriptorům než rozdílným; • • • porovnává shody a rozdíly prostým podílem v měřítku jdoucím od 0 do nekonečna; • • • porovnává shodné deskriptory se součty okrajů tabulky; • • • je vytvořen z geometrických průměrů členů vztahujících se k a a d, podle koeficientu S5. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Hammannův koeficient Yuleho koeficient Pearsonovo F (phi) Vícerozměrné statistické metody Kvantitativní asymetrické metriky podobnosti a vzdálenosti logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody „Klasické“ indexy podobnosti •Sørensenův kvantitativní koeficient, kde aN a bN jsou celkové počty jedinců v společenstvech A a B, jN je pak suma abundancí pokud se druh nachází v obou společenstvech, je počítána vždy z nižší abundance daného druhu ve společenstvu • • • •Morisita-Horn index, kde aN je celkový počet jedinců ve společenstvu A a ani počet jedinců druhu i ve společenstvu A (obdobně platí pro společenstvo B) logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Jednoduchý srovnávací koeficient (Sokal & Michener, 1958) •modifikovaný simple matching coefficient může být použit pro multistavové deskriptory - čitatel obsahuje počet deskriptorů, pro které jsou dva objekty ve stejném stavu – např. je-li dvojice objektů popsána následujícími deseti multistavovými deskriptory: hodnota S1,vypočítaná pro 10 multistavových deskriptorů bude S1,(x1,x2) = 4 agreements/ 10 descriptors = 0.4 •Podobným způsobem je možné rozšířit všechny binární koeficienty pro multistavové deskriptory. Deskriptors S Object x1 9 3 7 3 4 9 5 4 0 6 Object x2 2 3 2 1 2 9 3 2 0 6 Agreements 0 +1 +0 +0 +0 +1 +0 +0 +1 +1 4 logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Gowerův obecný koeficient podobnosti (1971) I. •Gover navrhl obecný koeficient podobnosti, který může kombinovat různé typy deskriptorů. Podobnost mezi dvěma objekty je vypočítána jako průměr podobností, vypočítaných pro všechny deskriptory. Pro každý deskriptor j je hodnota parciální podobnosti s12j mezi objekty x1 a x2 vypočítána následovně: • • • üPro binární deskriptory sj=1 (shoda) nebo 0 (neshoda). Gower navrhl dvě formy tohoto koeficientu. Následující forma je symetrická, dává sj=1 double-zero. Druhá forma, Gowerův asymetrický koeficient S19 dává pro double-zero sj=0 üKvalitativní a semikvantitivní deskriptory jsou upraveny podle jednoduchého zaměňovacího pravidla, sj=1 při souhlasu a sj = 0 při nesouhlasu deskriptorů. Double zero jsou ošetřeny stejně jako v předchozím odstavci. üKvantitativní deskriptory (reálná čísla) jsou zpracovány následovně: pro každý deskriptor se nejprve vypočte rozdíl mezi stavy obou objektů který je poté vydělen největším rozdílem (Rj), nalezeným pro daný deskriptor mezi všemi objekty ve studii (nebo v referenční populaci – doporučuje se vypočítat největší diferenci Rj každého deskriptoru j pro celou populaci, aby byla zajištěna konzistence výsledků pro všechny parciální studie). logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Gowerův obecný koeficient podobnosti (1971) II. •normalizovaná vzdálenost může být odečtena od 1 aby byla transformována na podobnost: • • • •Gowerův koeficent může být nastaven tak, aby zahrnoval přídavný flexibilní prvek: žádné porovnání není vypočítáno u deskriptorů, u nichž chybí informace buď u jednoho, nebo u druhého objektu. Toto zajišťuje člen wj, nazývaný Kroneckerovo delta, popisující přítomnost/nepřítomnost informace v obou objektech: je-li informace o deskriptoru yj přítomna u obou objektů (wj=1), jinak (wj=0), tento koeficient nabývá hodnot podobnosti mezi 0 a 1 (největší podobnost objektů). Další možností je vážení různých deskriptorů prostým přiřazením čísla v rozsahu 0-1 wj. Vícerozměrné statistické metody Asymetrické binární koeficienty logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Jaccardův koeficient (1900, 1901, 1908) •Všechny členy mají stejnou váhu logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Sørensenův koeficient (1948) (Coincidence index, Dice(1945)) •varianta předchozího koeficientu dává dvojnásobnou váhu dvojitým prezencím , protože se může zdát, že přítomnost druhů je více informativní než jejich absence, která může být způsobena různými faktory a nemusí nutně odrážet rozdílnost prostředí. Prezence druhu na obou lokalitách je silným ukazatelem jejich podobnosti. S7 je monotónní k S8, proto podobnost pro dvě dvojice objektů vypočítaná podle S7 bude podobná stejnému výpočtu S8. Oba koeficienty se liší pouze v měřítku. Tento index byl poprvé použit Dicem v R-mode studii asociací druhů. Jiná varianta tohoto koeficientu dává duplicitním prezencím trojnásobnou váhu. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Sokal & Sneath (1963) •navržen jako doplněk Rogers & Tanimotova koeficientu (S2), dává dvojnásobnou váhu rozdílům ve jmenovateli. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Russel & Rao (1940) •navržená míra umožňuje porovnání počtu duplicitních prezencí (v čitateli) proti celkovému počtu druhů, nalezených na všech lokalitách, zahrnujícím druhy, které chybějí (d) na obou uvažovaných lokalitách. logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Kulczynski (1928) •koeficient porovnávající duplicitní prezence s diferencemi logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Binární verze asymetrického kvantitativního Kulczynski koeficientu (1928) •Mezi svými koeficienty pro presence/absence data zmiňují Sokal & Sneath (1963) tuto verzi kvantitativního koeficientu S18, kde jsou duplicitní prezence srovnávány se součty okrajů tabulky (a+b) a (a+c). logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Ochiachi (1957) •použil jako míru podobnosti geometrický průměr poměrů a k počtu druhů na každé lokalitě, tj. se součty okrajů tabulky (a+b) a (a+c), tento koeficient je obdobou S6, bez části, týkající se double-zero (d). logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Faith (1983) •V tomto koeficientu je neshoda (přítomnost na jedné a absence na druhé lokalitě) vážena proti duplicitní prezenci. Hodnota S26 klesá s růstem double-zero Vícerozměrné statistické metody Práce s asociační maticí logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Asociační matice •Typická asociační matice je čtvercová matice •Typická asociační matice je symetrická kolem diagonály –Ve speciálních případech existují i asymetrické asociační matice • •Diagonála obsahuje 0 (v případě vzdáleností) nebo identitu objektu se sebou samým (podobnosti, obvykle 1 nebo 100%) • •Asociační matice může být spočtena mezi objekty pomocí metrik podobnosti a vzdálenosti (Q mode analýza) nebo mezi proměnnými pomocí korelací a kovariancí (R mode analýza) • •Asociační matice mohou být jak vstupem do vícerozměrných analýz tak vstupem pro klasické jednorozměrné statistické výpočty, kdy základní jednotkou není jeden objekt, ale podobnost/vzdálenost dvojice objektů 47 logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Příklad výpočtu asociační matice 48 Asociační matice euklidovských vzdáleností mezi rostlinami logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Histogram jako popis asociační matice 49 logo-IBA logomuni Jiří Jarkovský, Simona Littnerová: Vícerozměrné statistické metody Vztahy mezi různými metrikami vzdáleností 50