Pokročilé metody analýzy dat v neurovědách IBA # RNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr. Jaro 2016 Blok 5 Ordinační analýzy I Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ij^Jj 2 Osnova i- 1. Principy redukce dimenzionality dat 2. Selekce a extrakce proměnných 3. Analýza hlavních komponent (PCA) 4. Faktorová analýza (FA) Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách l^JJ Principy redukce dimenzionality dat Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ij^Jj 4 Schéma analýzy a klasifikace dat Předzpracování I _____________i Redukce I _____________i Klasifikace Ukázka - kognitivní data apod. A B C E 1 id vek pohlaví výska vaha 2 l 33 Z 164 45 3 2 35 M 90 4 3 26 Z 173 70 A B C D j E 1 id vek pohlaví výska vaha 2 l 33 Z 164 45 2 36 M 167 90 4 3 26 Z 17S 70 A B C 1 D E 1 id vek pohlaví výska vaha 2 1 33 Z 164 45 2 35 M 167 90 4 3 26 Z 178 70 L__________ _____________________________P nebo Ukázka - obrazová data Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách IBA W 5 Proč používat redukci dat? Obrazová data Klasifikace X voxely ■ ■ ■ subjekty h • • • 270 x 1 000 000 subjekty \ • • • pac. kon. Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ^jjj- I^J 6 Proč používat redukci dat? Obrazová data -t—> X _í_L voxely 270 x 1 000 000 voxely ■■ ■ subjekty 270 x h • • • 1 000 Klasifikace -t—> h • • • pac. kon. Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách IBA Proč používat redukci dat? zjednodušení další práce s daty možnost použití metod analýzy dat, které by na původní data nebylo možno použít umožnění vizualizace vícerozměrných dat - může být nápomocné k nalezení vztahů v datech či k jejich interpretaci redukce dat může být i cílem analýzy (např. identifika ce oblastí mozku, kde se nejvíce liší od sebe liší skupiny subjektů) Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ij^Jj 8 Volba a výběr proměnných - úvod • počáteční volba proměnných je z velké části empirická, vychází ze zkušeností získaných při empirické klasifikaci člověkem a závisí kromě rozboru podstaty problému i na technických (ekonomických) možnostech a schopnostech hodnoty proměnných určit • kolik a jaké proměnné? - málo proměnných - možná nízká úspěšnost klasifikace či jiných následných analýz - moc proměnných - možná nepřiměřená pracnost, vysoké náklady KOMPROMIS (určit ty proměnné, jejichž hodnoty nesou nejvíce informace z hlediska řešené úlohy, tj. např. ty proměnné, kterou jsou nejefektivnější pro vytvoření co nejoddělenějších klasifikačních tříd) MU Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ^BÄ ^! 9 Zásady pro volbu proměnných I výběr proměnných s minimálním rozptylem uvnitř tříd Hi-^-1—\ V--V~ T výběr proměnných s maximální vzdáleností mezi třídami @ 1 A 3. 2- Hnu* Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách IRŮ W io Zásady pro volbu proměnných II • výběr vzájemně nekorelovaných proměnných - pokud jsou hodnoty jedné proměnné závislé na hodnotách druhé proměnné, pak použití obou těchto proměnných nepřináší žádnou další informaci - stačí jedna z nich, jedno která • výběr proměnných invariantních vůči deformacím - volba elementů formálního popisu závisí na vlastnostech původních i předzpracovaných dat a může ovlivňovat způsob předzpracování A A A A B A illili ! A ■ A A e i. b s m MU Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ^BÄ ^! H Selekce a extrakce proměnných Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ij^Jj 12 Selekce a extrakce proměnných popis objektu původně reprezentovaný p rozměrným vektorem se snažíme vyjádřit vektorem m rozměrným tak, aby množství diskriminační informace obsažené v původním vektoru bylo v co největší míře zachováno dva principiálně různé způsoby: 1. selekce - výběr těch proměnných, které přispívají k separabilitě klasifikačních tříd nejvíce „ , _ J _ _oromenne -t—> xi X2 X3 x4 X5 X6 x7 X8 12 13 • • • pac. pac. kont. 2. extrakce - transformace původních proměnných na menší počet jiných proměnných (které zpravidla nelze přímo měřit a často nemají zcela jasnou interpretaci) proměnné -t—> xi X2 X3 X4 X5 X6 x7 X8 h pac. h pac. h • • • kont. yi y2 y3 y4 • • • Janoušová, Dušek: Pokročilé metody analýzy dat v neurovédách IBA w 13 Selekce proměnných • cílem je výběr proměnných, které jsou nejužitečnější pro další analýzu (např. při klasifikaci výběr takových proměnných, které nejlépe od sebe dokáží oddělit skupiny subjektů/objektů) • metod selekce je velké množství, nejpoužívanější metody jsou: - výběr proměnných na základě statistických testů - výběr oblastí mozku (ROI) podle atlasu - algoritmy sekvenční selekce (dopředně či zpětné nebo algoritmus plus p mínus q) Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ^jjj- I^J 14 Výběr proměnných na základě statistických testů Princip: Výběr statisticky významných proměnných pomocí dvouvýběrového t-testu či Man nova-Whitneyova testu. proměnné co xi X2 X3 x4 X5 X6 x7 X8 ■ ■ ■ ^1 *2 ^3 *4 5 • • • pac. pac. kont. pac. kont. p-hodnoty: o,34 0,02 0,09 0,01 0,25 0,63 0,03 0,12 Výhody: + rychlé + u obrazů mozku výhodou, že je analýza provedena na celém mozku Nevýhody: - jednorozměrná metoda (výběr proměnných bez ohledu na ostatní proměnné) - potřeba použít metody korekce pro mnohonásobné testování (např. FDR) Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách IBA m i5 Výběr oblastí mozku (ROI) podle atlasu Princip: Výběr oblastí mozku s využitím atlasu mozku podle expertní znalosti daného onemocnění (tzn. výběr oblasti postižené danou nemocí). Výhody: + anatomicky/funkčně relevantní - snadnější interpretace + zpravidla rychlé Nevýhody: - ne vždy dopředu víme, která z oblastí je vhodná pro odlišení skupin osob - některá onemocnění postihují celý mozek (např. schizofrenie) Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách tik * 'e Algoritmy sekvenční selekce í- • algoritmus sekvenční dopředně selekce: - algoritmus začíná s prázdnou množinou, do které se vloží proměnná s nejlepší hodnotou selekčního kritéria - v každém následujícím kroku se přidá ta proměnná, která s dříve vybranými veličinami dosáhla nejlepší hodnoty kritéria • algoritmus sekvenční zpětné selekce: - algoritmus začíná s množinou všech proměnných - v každém následujícím kroku se eliminuje ta proměnná, která způsobuje nejmenší pokles kriteriální funkce Výhody : + dopředný algoritmus je výpočetně jednodušší, protože pracuje maximálně v n-rozměrném prostoru + zpětný algoritmus umožňuje průběžně sledovat množství ztracené informace Nevýhody : - dopředná selekce - nelze vyloučit ty veličiny, které se staly nadbytečné po přiřazení dalších veličin - zpětná selekce - neexistuje možnost opravy při neoptimálním vyloučení kterékoliv proměnné • algoritmus plus p mínus q: - po přidání p veličin se q veličin odstraní; - proces probíhá, dokud se nedosáhne požadovaného počtu příznaků l jyj 17 Extrakce proměnných • jednou z možných přístupů redukce dat • transformace původních proměnných na menší počet jiných proměnných =^> tzn. hledání (optimálního) zobrazení Z, které transformuje původní p-rozměrný prostor (obraz) na prostor (obraz) m-rozměrný (p > m) • pro snadnější řešitelnost hledáme zobrazení Z v oboru lineárních zobrazení • metody extrakce proměnných: - analýza hlavních komponent (PCA) - faktorová analýza (FA) - analýza nezávislých komponent (ICA) - korespondenční analýza (CA) - vícerozměrné škálování (MDS) - redundanční analýza (RDA) - kanonická korelační analýza (CCorA) - manifold learning metody (LLE, Isomap atd.) - metoda parciálních nejmenších čtverců (PLS) • metody extrakce proměnných často nazývány jako metody ordinační analýzy MU Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ^BÄ ^! 18 Ordinační analýza dat = pohled ze správného úhlu Vícerozměrná analýza nám pomáhá nalézt v x-dimenzionálním prostoru nejvhodnější pohled na data poskytující maximum informací o analyzovaných objektech Všechny obrázky ukazují stejný objekt z různých úhlů v 3D prostoru. Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách IBA m i9 Obecný princip redukce dimenzionality dat pomocí extrakce • V převážné většině případů existují mezi dimenzemi korelační vztahy, tedy dimenze se navzájem vysvětlují a pro popis kompletní informace v datech není třeba všech dimenzí vstupního souboru • Všechny tzv. ordinační metody využívají principu identifikace korelovaných dimenzí a jejich sloučení do souhrnných nových dimenzí zastupujících několik dimenzí vstupního souboru • Pokud mezi dimenzemi vstupního souboru neexistují korelace, nemá smysl hledat zjednodušení vícerozměrné struktury takovéhoto souboru !!! z Jednoznačný vztah dimenzí x a y umožňuje jejich nahrazení jedinou novou dimenzí z V případě neexistence vztahu mezi x a y nemá smysl definovat nové dimenze - nepřináší žádnou novou informaci oproti x a y Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách IBA W 20 Korelace jako princip výpočtu vícerozměrných analýz • Kovariance a Pearsonova korelace je základem analýzy hlavních komponent, faktorové analýzy jakož i dalších vícerozměrných analýz pracujících s lineární závislostí proměnných • Předpokladem výpočtu kovariance a Pearsonovy korelace je: - Normalita dat v obou dimenzích - Linearita vztahu proměnných • Pro vícerozměrné analýzy je nejzávažnějším problémem přítomnost odlehlých hodnot Lineární vztah - Korelace je dána 2 skupinami Korelace je dána odlehlou bezproblémové použití hodnot - vede k identifikaci hodnotu - analýza popisuje Pearsonovy korelace skupin objektů v datech pouze vliv odlehlé hodnoty MU Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ^BÄ ^ Typy ordinační analýzy )- • Ordinačních analýz existuje celá řada, některé jsou spjaty s konkrétními metrikami vzdáleností/podobností • V přehledu jsou uvedeny pouze základní typy analýz, nikoliv jejich různé kombinace hodnotící vztahy dvou a více sad proměnných (CCA, kanonická korelace, RDA, co-coordinate analysis, co-inertia analysis, diskriminační analýza apod.) Typ analýzy Vstupní data Metrika Analýza hlavních komponent (PCA) NxP matice Korelace, kovariance, Euklidovská Faktorová analýza (FA) NxP matice Korelace, kovariance, Euklidovská Analýza nezávislých komponent (ICA) NxP matice Korelace, kovariance, Euklidovská Korespondenční analýza (CA) NxP matice Chi-square vzdálenost Analýza hlavních koordinát (PCoA) Asoc. matice libovolná Nemetrické mnohorozměrné škálování(MDS) Asoc. matice libovolná Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ^jjj- I^J 22 Analýza hlavních komponent (PCA) Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ij^Jj 23 Analýza hlavních komponent • anglicky Principal Component Analysis (PCA) • snaha redukovat počet proměnných nalezením nových latentních proměnných (hlavních komponent) vysvětlujících co nejvíce variability původních proměnných • nové proměnné (Xv X2) lineární kombinací původních proměnných (Y^ Y2) Ti Ť Ť T PCA A2 \ \ \ \ «*» \ \ \ \ \ \ Výhody: + analýza na celém mozku vícerozměrná metoda Nevýhody: - nevyužívá informaci o příslušnosti subjektů do skupin - potřebné určit, kolik hlavních komponent se použije pro transformaci Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách IBA W 24 Analýza hlavních komponent - cíle Popis a vizualizace vztahů mezi proměnnými Výběr neredundantních proměnných pro další analýzy Vytvoření zástupných faktorových os pro použití v dalších analýzách Identifikace shluků v datech spjatých s variabilitou dat Identifikace vícerozměrně odlehlých objektů Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ij^Jj 25 Analýza hlavních komponent - předpoklady i- • vstupem do analýzy datová matice n x p obsahující kvantitativní proměnné (s normálním rozdělením) • předpoklady obdobné jako při výpočtu korelací a kovariancí: - nepřítomnost odlehlých hodnot (s výjimkou situace, kdy analýzu provádíme za účelem identifikace odlehlých hodnot) - nepřítomnost více skupin objektů (s výjimkou situace, kdy analýzu provádíme za účelem detekce přirozeně existujících shluků spjatých s největší variabilitou souboru) • datový soubor by měl mít více objektů než proměnných, pro získání stabilních výsledků se doporučuje alespoň lOx tolik objektů než proměnných, ideální je 40-60x více objektů než proměnných Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ll^Jj 26 Analýza hlavních komponent-volba asociační matice i • autokorelační matice - data nejsou nijak upravena (zohledňována průměrná hodnota i rozptyl původních dat) • kovarianční (disperzní) matice - data centrována (od každé příznakové proměnné odečtena její střední hodnota) - zohledňován rozptyl původních dat • matice korelačních koeficientů - data standardizována (odečtení středních hodnot a podělení směrodatnými odchylkami) - použití pokud mají proměnné různá měřítka • každou úpravou původních dat ale přicházíme o určitou informaci!!! Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ll^Jj 27 Analýza hlavních komponent-volba asociační matice )- • s jakými daty PCA pracuje v případě použití různých asociačních matic: původní data autokorelační matice (data nijak neupravována) Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ^jjj- I^J 28 Analýza hlavních komponent - postup 1. Volba asociační matice (autokorelační, kovarianční nebo kor. koeficientů) 2. Výpočet vlastních čísel a vlastních vektorů asociační matice: - vlastní vektory definují směr nových faktorových os (hlavních komponent) v prostoru - vlastní čísla odrážejí variabilitu vysvětlenou příslušnou komponentou 3. Seřazení vlastních vektorů podle hodnot jim odpovídajících vlastních čísel (sestupně) 4. Výběr prvních m komponent vyčerpávajících nejvíce variability původních dat Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ^jjj- I^J 29 Identifikace optimálního počtu hlavních komponent pro další analýzu >- • pokud je cílem ordinační analýzy vizualizace dat, snažíme se vybrat 2-3 komponenty • pokud je cílem ordinační analýzy výběr menšího počtu dimenzí pro další analýzu, můžeme ponechat více komponent (např. u analýzy obrazů MRI je úspěchem redukce z milionu voxelů na desítky) • kritéria pro výběr počtu komponent: 1. Kaiser Guttmanovo kritérium: - pro další analýzu jsou vybrány osy s vlastním číslem >1 (při analýze matice korelačních koeficientů) nebo větším než průměrná hodnota vlastních čísel (při analýze kovarianční matice) - logika je vybírat osy, které přispívají k vysvětlení variability dat více, než připadá rovnoměrným rozdělením variability 2. Sutinový graf (scree plot) - grafický nástroj hledající zlom ve vztahu počtu os a vyčerpané variability 3. Sheppardův diagram - grafická analýza vztahu mezi vzdálenostmi objektů v původním prostoru a redukovaném prostoru o daném počtu dimenzí MU Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ^BÄ ^! 30 Sutinový graf (scree plot) 3.5 3.0 2.5 2.0 CD _2 CO c 1.5 CD O) LU 1.0 0.5 0.0 -0.5 Eigenvalues of comi Active variabl Zlom ve vztahu mezi počtem vlastních čísel a jimi vyčerpanou variabilitou - pro další analýzu použity první dvě faktorové osy lation matrix s only -1-1 : 72.í i-1-1 56% 1-1-1 1-1- 22yř 35% 7% 3-—-—____ >% Eigenvalue number Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách IBA W 31 Sheppardův diagram Vztahuje vzdálenosti v prostoru původních proměnných ke vzdálenostem v prostoru vytvořeném PCA Je třeba brát ohled na typ PCA (korelace vs. kovariance) Obecná metoda určení optimálního počtu dimenzí v ordinační analýze (třeba respektovat použitou asociační metriku) Za optimální z hlediska zachování vzdáleností objektů lze považovat dvě nebo tři dimenze Při použití všech dimenzí jsou vzdálenosti perfektně zachovány m. Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách IBA W 32 PCA - geometrická interpretace OBRALO X! použití obou hlavních komponent X2 Xi použití 1. hlavní komponenty X2 použití 2. hlavní komponenty X- v- Vi y-i y Xi X Xi Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách ij^Jj 33 PCA - rozdělení do tříd odečtení průměru každé skupiny zvlášt -> není vhodné odečtení celkového průměru -> je vhodné Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách IBA W 34 PCA a klasifikace I PCA často nebývá vhodnou metodou redukce dat před klasifikací 2. hlavní komponenta 1. hlavní komponenta Pro klasifikaci vhodnější 2. HK, přestože vyčerpává méně variability! Janoušová, Dušek: Pokročilé metody analýzy dat v neurovědách IBA W 35 PCA a klasifikace II Když hlavní komponenta vyčerpává hodně variability, neznamená to, že musí rovněž dobře klasifikovat vysoká korelace mezi proměnnými 1 a 2 - způsobená tím, že se skupiny od sebe hodně liší \ # pacient • kontrola proměnná 1 -> v tomto případě obě proměnné budou korelovat s první hlavní komponentou a dokáží dobře diskriminovat pacienty a kontroly Janoušová, vysoká korelace mezi proměnnými 1 a 2 - skupiny se ale od sebe neliší proměnná 1 -> v tomto případě obě proměnné budou také korelovat s první hlavní komponentou, ale nedokáží diskriminovat pacienty a kontroly MU : Pokročilé^ieC^9\a^a^ý^a/Wiar^^(dW m 36 PCA - rozšiřující poznatky I Výpočet PCA, když je počet proměnných mnohem větší než počet subjektů; - 1. způsob: iterativní postupný výpočet vlastních vektorů a vlastních čísel - 2. způsob: pPCA - výpočet vlastních vektorů v, „velké'' kovarianční matice (proměnných) XTX(pp)z vlastních vektorů w, „malé" kovarianční matice (subjektů) XXTM) pomocí: v_ = Datová matice: proměnné -t—> Kovarianční matice VI V2 ... SI S2 • • • 173x 1 923 207 ^ proměnné VI V2 ... VI : V2 1 923 207 S(D C • • • X "omen 1 923 207 Q. Kovarianční 1 ■ subjekty