Pokročilé laboratorní metody sběru dat BSSn4405 Koncepce a metody výzkumu v bezpečnostních a strategických studiích Michal Tóth Jaro 2024 1 2 Sledovanie pohybu očí Eye-tracking Ľudské oko – základ ET • dôležité pre pochopenie princípu eye-trackingu • približne guľovitý tvar s priemerom cca 2,3 cm • oči dohromady poskytujú obraz priestoru v rozpätí cca 200° na šírku a 130° na výšku • v jeden okamihu vnímajú ostro len obmedzenú časť tohoto priestoru – 1-2° priestoru (cca veľkosť nechtu na palci pri natiahnutí ruky pred seba) • svetlo → zrenica → šošovka (otočenie obrazu „hore nohami“, zaostrenie) → sietnica • svetlocitlivé bunky na sietnici – tyčinky (videnie za šera) a čapíky (vnímanie farieb) → transformácia svetla na elektrické impulzy → nervovou sústavou do mozgu • rohovka • vonkajšia časť oka • dôležitá pre ET (odráža svetelné lúče) 3 Ľudské oko – pohyby • oko ostro vníma len čas priestoru → potreba neustáleho pohybu • jeden z najdôležitejších pohybov oka nie je vo svojej podstate pohyb • FIXÁCIA • schopnosť oka udržať sa zamerané na určitý bod v priestore • niekoľko desiatok ms až sekúnd • oko nie je nikdy ÚPLNE fixované - mikrosakády, tremor (tras) • zložením väčšieho množstva fixácií vzniká vizuálny vnem • SAKÁDA • presun oka z jednej fixácie na druhú • rýchly balistický pohyb (až 500°/sekundu) • najrýchlejší pohyb časti ľudského tela • 3-4 sakády za sekundu (200 tis. za den) • počas sakády oko nevníma žiaden vizuálny vnem • zachytíte pohyb vlastných očí v zrkadle? (ručičky na hodinkách?) 4 5 História eye-trackingu • už v antickom grécku (Aristoteles, Ptolemaios) • Jan Evangelista Purkyně (19. stor.), fyziológ, anatóm, biológ • popísal obrazy tvorené odrážaním svetla od povrchu oka – tzv. Purkyňove obrázky → presný záznam polohy oka • tmavá miestnosť, sviečka cca 30 cm pred očami → 4 svetlolomné plochy → 4 rôzne odrazy svetla • 4 viditeľné Purkyňove obrázky: P1 – odraz od vonkajšej strany rohovky P2 – odraz od vnútornej strany rohovky P3 – odraz od vonkajšej strany šošovky P4 – odraz od vnútornej strany šošovky 6 História eye-trackingu • Émile Javal (koniec 19. stor.) • oči sa nepohybujú plynule (výskum pohybu oka počas čítania) • popísal sakády (názov podľa rýchlo pohybu koňa pri drezúre) • zariadenie na záznam pohybu oka pomocou zrkadla pripevneného na oko • E. B. Delabarre (koniec 19. stor.) • pohyb oka zaznamenaný pomocou sadrovej misky na oku a pripevneného drôtu • presné pri pomalých pohyboch, rýchlejšie (prirodzenejšie) pohyby - problematická interpretácia • bolestivá procedúra – znecitlivenie oka kokainom 7 História eye-trackingu • 50.-60. roky – Rusko – Alfred Yarbus • respondentom ukázal rovnaký obrázok 7x po sebe, ale vždy s iným zadaním • zistenie 1: fixácie oka podmienené znením úlohy • „high level“ faktory (dané úlohou) môžu zatieniť „low level“ faktory (dané stimulom) • zistenie 2: pri pohľade na ľudskú tvár fixovanie na oči a ústa • 70. roky • snahy o technické vylepšenie eye-trackerov (presnosť) • vzniklo viac techník sledovania pohybu oka (rôzna presnosť a možnosti) – Purkyňove obrázky doposiaľ neprekonané 8 Yarbus (1967) 9 Techniky sledovania pohybu očí • 2 základné typy techník sledovania pohybu oka: • 1. meranie polohy oka vzhľadom k polohe hlavy (nutnosť merať polohu hlavy, aj polohu oka) • 2. meranie polohy oka v priestore (vzhľadom na vizuálnu scénu) – kam sa človek pozerá („Point of Regard“) • Duchowski (2007) – 4 techniky sledovania pohybu oka • Elektrookulografia • Využitie kontaktných šošoviek • Foto- alebo videookulografia • Detekcia zrenice a odrazu od rohovky (Pupil and Corneal Reflexion Tracking) 10 Techniky sledovania pohybu očí • elektrookulografie (EOG) • meranie rozdielov elektrického odporu kože (elektródy) • možnosť pozorovať pohyb zavretého oka (výskum spánku) • najmenej presná • využitie kontaktnej šošovky • veľmi presná • na šošovku je pripevnený mechanický objekt (napr. drôtená cievka) - priamo na oku • v okolí sú umiestnené 3 zdroje magnetického poľa → dochádza k zmenám v el. prúde vedenom cievkou → poloha oka • náročná a nepríjemná aplikácia 11 Techniky sledovania pohybu očí • foto- alebo videookulografia • meranie a analýza pozície/tvaru rozlíšiteľných častí oka • napr. detekcia tvaru zrenice, príp. vzájomná pozícia častí oka • interpretuje sa videozáznam pohybu oka (zdĺhavé, náchylné k chybám) 12 Techniky sledovania pohybu očí • detekcia stredu zrenice a odrazu od rohovky • Pupil and Corneal Reflextion Tracking (dnes najčastejšie využívaná technika) • detekcia stredu zrenice a odrazu infračerveného lúča svetla od rohovky (korneálny odraz) • 1. Purkyňov obrázok stred zrenice korneálny odraz 13 Techniky sledovania pohybu očí Smer pohľadu (point of regard) – spočítaný na základe určenia vzájomnej polohy stredu zrenice a odrazu infračerveného lúča od rohovky (korneálny odraz) 14 Techniky sledovania pohybu očí • 3 typy eyetrackerov využívajúcich Pupil and Corneal Reflextion Tracking • rozdiely v: • umiestnení kamery a zdroja infračerveného lúča • type získaných dát • možnostiach analýzy 1. statický eye-tracker • kamera aj zdroj infra-lúča umiestnený na stole pred participantom • 2 podtypy: • „tower mounted“ • ET v tesnom kontakte s participantom • zabraňuje pohybom hlavy (veľmi presný) • „remote“ • bez kontaktu s participantom • snímanie z väčšej vzdialenosti • stimul prezentovaný (typicky) na monitore 15 Techniky sledovania pohybu očí 2. head mounted ET • statické ET určené na meranie reakcií v kontrolovaných lab. podmienkach • od začiatku ET výskumu záujem o štúdium ľudí v reálnych podmienkach, reál. svete • mobilné systémy umožňujúce sledovanie očí mimo laboratória • zariadenie (kamera aj zdroj infra-lúča) pripevnené priamo na hlave vo forme okuliarov alebo prilieb 16 Dizajn ET výskumu • kto sú naši respondenti - cieľová populácia? – študenti vs. „verejnosť“ • čo presne budeme merať a analyzovať? • ktoré informácie o pohybe oka? – fixácie vs. sakády • ako to budeme analyzovať? • jedným z najčastejších spôsobov analýzy ET dát je štatistické vyhodnotenie eye-tracking metrík • odvodené (najčastejšie) od identifikovaných fixácií a sakád • vzťahujú sa k stimulu ako celku, alebo len konkrétnej oblasti (area of interest - AOI) 17 ET metriky • Kategórie ET metrík podľa skúmanej premennej: • pohyb oka (Movement measures) • pozícia oka (Position measures) • počet pohybov (Numerosity measures) • reakčný čas a vzdialenosť (Latency and Distance measures) 1. analýza pohybu oka • ktorým smerom, akou rýchlosťou a ako dlho sa oko pohybovalo • aký tvar mala trajektória pohybu • v akom poradí oko „navštívilo“ jednotlivé definované AOI • Scanpath Length (dĺžka trajektórie pohybu, v ms, pixeloch alebo počte fixácií) • Scanpath comparison (porovnanie trajektórií) 18 ET metriky 2. analýza pozície oka • kam sa človek v určitom čase pozerá • ktorá časť stimulu respondenta zaujala, koľko času sledovaním daných AOI strávil • Fixation Duration • dlhšia fixácia = vyššia pútavosť oblasti stimulu • Total Dwell Time (tiež označované ako Total Viewing Time) • ukazuje, koľko času strávil participant pohľadom v definovanej oblasti stimulu (AOI) • v milisekundách alebo percentuálnom podiely z celkového času sledovania stimulu 3. analýza počtu pohybov • počet fixácií, sakád alebo žmurknutí • koľko krát sa participant vrátil pohľadom do konkrétnej oblasti • Fixation Count • počet fixácií v konkrétnej oblasti (AOI) 19 Ako by malo vyzerať ET laboratórium? • závisí na výskumnej otázke (stimule) a type (dostupného) zariadenia • statické vs. head mounted ET (lab. vs real-life) • väčšina prípadov: stimul prezentovaný na monitore (real-life situácie a prostredie len výnimočne) • odizolovaný priestor/miestnosť (zvukovo aj svetelne) • bez rušivých prvkov – napr. oddelená kabínka • bez okien, prípadne s možnosťou zatemnenia (minimalizovať priame slnečné svetlo) • použiť umelé osvetlenie – najlepšie neónové (menej infračerveného svetla), najhoršie halogénové • pozor na príliš málo svetla → veľkosť zrenice • participantov testovať jedného po druhom (menej rušivé, kvalitnejšie dáta) • pozor na vlastnosti participantov (okuliare, maskara, ochabnuté viečka) 20 Využitie ET? • marketing • dizajn (obaly produktov) • klinické štúdie (poruchy pozornosti) • medicína • lingvistika • zoologia • sociálne vedy • (selektívne) vnímanie informácií • informačná bezpečnosť (phishingové emaily) 21 Automatická analýza výrazov tváre - emócií 22 Analýza výrazov tváre • ľudská tvár = jeden z najviditeľnejších indikátorov emócií (smiech, plač, ...) → signál pre ostatných • tvár – komplexný svalový systém (40, štrukturálne a funkčne nezávislé jeden na druhom) • → umožňuje neverbálnu sociálnu komunikáciu • takmer všetky tvárové svaly ovládané jediným tvárovým nervom • tvárové svaly a emocionálne procesy ovládané tou istou časťou mozgu • AMYGDALA • spracováva stimuly navodzujúce strach ale aj potešenie • zodpovedná za automatické reakcie organizmu na emočné vzrušenie • reguluje hladinu kortizolu v krvi (a ďalších stres. hormónov), tep, dýchanie, zodpovedná za viditeľné (autom.) prejavy emo- správania → postoj tela, výraz tváre 23 Analýza výrazov tváre • 1988 – Fritz Strack a kol. • výrazy tváre a emócie sú úzko prepojené • respondenti hodnotili kreslené vtipy • počas toho držali v ústach pero • 1. zubami bez dotyku pier (imitácia úsmevu) • 2. len perami • zistenie: prvá skupina hodnotila vtipy ako zábavnejšie • „facial feedback hypothesis“ → selektívna aktivácia tvárových svalov má silný vplyv na emocionálnu reakciu 24 Analýza výrazov tváre • Môžeme emócie prejavené výrazom tváre klasifikovať? • tvárové svaly dokážu vyprodukovať tisíce mierne odlišných kombinácií výrazov tváre • iba málo z nich vytvorí charakteristickú, rozlíšiteľnú, UNIVERZÁLNU konfiguráciu, ktorú ktokoľvek asociuje s konkrétnou emóciou (rozlíšiteľná bez rozdielu veku, pohlavia, kultúrneho pozadia, ...) • 1967 - Paul Ekman, skúmal izolovaných domorodcov (Papua Nová Guinea) • 6 základných, univerzálnych emócií Ekman sám uviedol, že 6 základných emócií vybral z „praktického“ dôvodu (napr. vina alebo hanba sa nedá na tvári pozorovať ) 25 Techniky analýzy výrazov tváre najpoužívanejšie spôsoby: 1. sledovanie tváre a manuálne kódovanie tvárovej aktivity • založené na metóde vyvinutej Ekmanom a spol (1978, vylepšený v 2002) • Factial Action Coding System (FACS) • štandardizovaný klasifikačný systém tvárových výrazov • určený primárne ľudským kodérom (expertom) – pozorné sledovanie videa tváre → hľadanie konkrétnych kombinácií základných komponentov tvárových výrazov - tzv. Action units • Action units • konkrétne kombinácie svalov alebo svalových skupiny • 62 AUs • kombináciou viacerých AUs vzniká identifikovateľný výraz tváre • POZOR: pomocou FACS sa nečítajú/nedetekujú emócie – je to len systém merania tvárových výrazov (bez interpretácií) 26 27 Techniky analýzy výrazov tváre • silné stránky FACS • + objektívna a reliabilná metóda na popísanie (!) VÝRAZOV tváre (k interpretácií dochádza až počas analýzy) • + vysoká zjavná validita, face validity – popis výrazov založený na viditeľných zmenách tvárového tkaniva • + univerzálna metóda ako popísať výrazy tváre (nepodlieha kultúrnym či sociálnym vplyvom) • slabé stránky FACS • - náročné zmerať intenzitu výrazov (napr. horný limit zdvihnutia obočia?) • - vyžaduje kvalitné záznamové zariadenie (video vo vysokom rozlíšení) • - vyžaduje trénovaného experta (certifikát) → drahé (1 minúta videozáznamu ~ 100 minút kódovania) → vznik automatických techník - computer-based, machine-learning algoritmy 28 Automatická analýza výrazov tváre • pokrok v oblasti strojového učenia → relatívne dostupná technológia (už dávno nie sci-fi – napr. aplikácie v FB Messengeri alebo IG) • záznamové zariadenie – bežná kamera (notebook, tablet, smartphone) • základný (zjednodušený) princíp: 1) Detekcia tváre 2) Detekcia kľúčových orientačných bodov na tvár 3) Klasifikácia výrazu tváre → emócie • Detekcia tváre • video rozložené na jednotlivé obrázky → algoritmy (Viola Jones Cascaded Classifier) → box ohraničujúci tvár • Detekcia orientačných bodov • oči, kútiky očí, obočie, kútiky úst, špička nosa, ... → zjednodušený model tváre • Klasifikácia • model tváre spracovaný klasifikačným algoritmom → orientačné body prevedené na AUs → popis výrazu tváre (príp. emócie) 29 Využitie automatickej analýzy výrazov tváre • všade tam, kde očakávame emocionálnu reakciu na vonkajší podnet (fyzický objekt, video, obrázok ,...) • neuromarketing (neurovýskum spotrebiteľského správania) • dotazníky a selfreporty skresľujú (autocenzúra, sociálna dezirabilita ,...) • analýza výrazu tváre môže pomôcť zachytiť podvedomé/mimovoľné reakcie na TOVAR, PRODUKT • mediálny výskum a reklama • TV reklamy, trailery, piloty (identifikácia scén spôsobujúcich nevhodnú emo- reakciu) • psychologický výskum • základný a aplikovaný výskum reakcií na rôzne stimuly (testovanie psych. teórií), psychologický výskum osobnosti, kognitívny výskum • klinická psychológia a psychoterapia • liečba porúch autistického spektra (napr. u detí), porúch osobnosti • plastická chirurgia • identifikácia poškodenia tvárových nervov po nehodách, podpora pri rehabilitácií po operáciách tváre • vývoj umelej inteligencie • schopnosť zariadenia automaticky reagovať na emocionálny stav užívateľa • zábava – aplikácie v smartphonoch 30 Využitie automatickej analýzy výrazov tváre • BSS • Mgr. Pavla Sedláčková (KPOL FSS MU) • „Experimentální výzkum vlivu terorismu na emoce: Metody měření emočních reakcí lidí na prezentaci terorismu“ • dr. Veronika Fajmonová (VŠE) • „Globální terorismus z pohledu konstruktivismu“ • projekt EXKYB (KPOL FSS MU) • „Experimentální výzkum individuálních reakcí na hrozby v kyberprostoru“ 31 Má analýza výrazov tváre stále pravdu? • základný Ekmanov predpoklad (univerzálnosť emocionálnych výrazov tváre) dlho bezvýhradne prijímaný • nové zistenia v poslednej dobe → je to celé možno komplikovanejšie (?) • Lisa Feldman Barrett • spochybnenie predpokladu, že tvár nie je schopná skryť emócie • ľudia dokážu emócie predstierať • dokážu tiež prežívať emócie bez toho aby pohli tvárou • → nezhody medzi výskumnými → prešli vyše 1000 akad. článkov • → zistenie lit. review: vedecké dôkazy, že človek vie spoľahlivo identifikovať emočný stav iného človeka na základe výrazu tváre sú slabé, alebo žiadne • výskum na Papua N. G. – nepotvrdil Ekmanove závery • tvár nie je jediným vizuálnym „prejavom“ emócií (telesný postoj, tón hlasu, zmena farby pokožky, ...) 32