Eye-tracking POLn6012 Moderní informační technologie v politologii Michal Tóth Jaro 2021 Sledování pohybu očí Ľudské oko – základ ET • dôležité pre pochopenie princípu eye-trackingu • približne guľovitý tvar s priemerom cca 2,3 cm • oči dohromady poskytujú obraz priestoru v rozpätí cca 200° na šírku a 130° na výšku • v jeden okamihu vnímajú ostro len obmedzenú časť tohoto priestoru – 1-2° priestoru (cca veľkosť nechtu na palci pri natiahnutí ruky před seba) • svetlo → zrenica → šošovka (otočenie obrazu „hore nohami“, zaostrenie) → sietnica • svetlocitlivé bunky na sietnici – tyčinky (videnie za šera) a čapíky (vnímanie farieb) → transformácia svetla na elektrické impulzy → nervovou sústavou do mozgu • rohovka • dôležitá pre ET • vonkajšia časť oka • odráža svetlo Ľudské oko – pohyby • oko ostro vníma len čas priestoru → potreba neustáleho pohybu • jeden z najdôležitejších pohybov oka nie je vo svojej podstate pohyb • FIXÁCIA • schopnosť oka udržať sa zamerané na určitý bod v priestore • niekoľko desiatok ms až sekúnd • mikrosakády, tremor (tras) • zložením väčšieho množstva fixácií vzniká vizuálny vnem • SAKÁDA • presun oka z jednej fixácie na druhú • rýchly balistický pohyb (až 500°/sekundu) • najrýchlejší pohyb časti ľudského tela • 3-4 sakády za sekundu (200 tis. za den) • počas sakády oko nevníma žiaden vizuálny vnem • zachytíte pohyb vlastných očí v zrkadle? • ďalšie pohyby, napr. smooth pursuit • sledovací pohyb (pomaly pohybujúci sa objekt - lietadlo) • vyžaduje sledovací objekt (nie je možný v tme, alebo pred holou stenou) História eye-trackingu • Aristoteles (4. stor. p. n. l.) • študoval pohyby oka • všimol si, že sa oči hýbu spoločne (nedá sa jedným pozrieť napravo a druhým v tom istom momente naľavo) → oči ako spoločná jednotka • Ptolemaios (2. stor. n. l.) • venoval sa rovnakej problematike • experimentálny výskum binokulárneho videnia História eye-trackingu • Jan Evangelista Purkyně (19. stor.), fyziológ, anatóm, biológ • popísal obrazy odrážajúce sa od povrchu oka – tzv. Purkyňove obrázky → presný záznam polohy oka • tmavá miestnosť, sviečka cca 30 cm pred očami → 4 svetlolomné plochy → 4 rôzne odrazy svetla • 4 viditeľné Purkyňove obrázky: P1 – odraz od vonkajšej strany rohovky P2 – odraz od vnútornej strany rohovky P3 – odraz od vonkajšej strany šošovky P4 – odraz od vnútornej strany šošovky História eye-trackingu • Émile Javal (koniec 19. stor.) • oči sa nepohybujú plynule • popísal sakády (názov podľa rýchlo pohybu koňa pri drezúre) • zariadenie na záznam pohybu oka pomocou zrkladla pripevneného na oko • E. B. Delabarre (koniec 19. stor.) • pohyb oka zaznamenaý pomocou sádrovej misky na oku a pripevneného drôtu • bolestivá procedúra – znecitlivenie oka kokainom História eye-trackingu • 20. stor. – rýchly nárast technológií pre sledovanie pohybu očí • nové metódy bez potreby fyzického napojenia na oko (Dodge a Cline 1901) → pohodlnejšie • revolúcia vo výskume pohybu očí → rozvoj teórií o väzbe medzi pohybom očí (fixáxciami a sakádami) a vnímaním (percepciou) • kam presne sa človek pozerá → rozvoj eye-trackingu • 1935 – Guy Buswell – „How People Look at Pictures“ • 200 subjektov – každý z nich viac obrázkov → vyše 2000 pozorovaní pohybu oka (!!!) • prvá práca systematicky skúmajúca pohyb očí pri prezeraní zložitejších stimulov • respondentov rôzne porovnával (distribúciu fixácií, rôzne stimuly/úlohy) • prvé heatmapy • základ dnešného eye-trackingu História eye-trackingu História eye-trackingu • 50.-60. roky – Rusko – Alfred Yarbus • respondentom ukázal rovnaký obrázok 7x po sebe, ale vždy s iným zadaním • zistenie 1 – fixácie oka podmienené znením úlohy • „high level“ faktory (dané úlohou) môžu zatieniť „low level“ faktory (dané stimulom) • zistenie 2 – pri pohľade na ľudskú tvár fixovanie na oči a ústa • 70. roky • snahy o technické vylepšenie eye-trackerov (presnosť) • vzniklo viac techník merania (rôzna presnosť a možnosti) Techniky sledovania pohybu očí • 2 základné typy techník sledovania pohybu oka: • 1. meranie polohy oka vzhľadom k hlave • 2. meranie polohy oka v priestore („Point of Regard“) • Duchowski (2007) – 4 techniky sledovania pohybu oka • Elektrookulografia • Využitie kontaktných šošoviek • Foto- alebo videookulografia • Detekcia zrenice a odrazu od rohovky (Pupil and Corneal Reflexion Tracking) Techniky sledovania pohybu očí • elektrookulografie (EOG) • meranie rozdielov elektrického odporu kože (elektródy) • možnosť pozorovať pohyb zavretého oka (výskum spánku) • meria sa poloha očí voči hlave – bez zmerania polohy hlavy nezistíme smer pohľadu • hojne využívané v 70. rokoch • najmenej presná • využitie kontaktnej šošovky • na šošovku je pripevnený mechanický objekt (napr. drôtená cievka) - priamo na oku • v okolí sú umiestnené 3 zdroje magnetického poľa → dochádza k zmenám v el. prúde vedenom cievkou → poloha oka • nezistíme smer pohľadu • náročná a nepríjemná aplikácia Techniky sledovania pohybu očí • foto- alebo videookulografia • meranie pozície rozlíšiteľných častí oka • detekcia tvaru zrenice, príp. vzájomná pozícia limbu (hranice medzi rohovkou a bielkom) a odrazu svetelného zdroja od rohovky • interpretuje sa videozáznam pohybu oka (zdĺhavé, náchylné k chybám) • neposkytuje informáciu o smere pohľadu • Ako zistiť aj smer pohľadu? • charakteristika očí musí byť zmeraná tak, aby sa odlíšil pohyb hlavy od otáčania oka (fixácia hlavy tak, aby sa zhodovala poloha oka vzhľadom k hlave so smerom pohľadu) Techniky sledovania pohybu očí • detekcia stredu zrenice a odrazu od rohovky • Pupil and Corneal Reflextion Tracking • detekcia stredu zrenice a odrazu infračerveného lúča svetla od rohovky (korneálny odraz) • Výhoda: ich vzájomná poloha sa pri otáčaní oka mení, ale pri menších pohyboch hlavy zostáva konštantná stred zrenice korneálny odraz Techniky sledovania pohybu očí Smer pohľadu (point of regard) – spočítaný na základe určenia vzájomnej polohy stredu zrenice a odrazu infračerveného lúča od rohovky (korneálny odraz) Techniky sledovania pohybu očí • 3 typy eyetrackerov využívajúcich Pupil and Corneal Reflextion Tracking • rozdiely v: • umiestnení kamery a zdroja infračerveného lúča • type získaných dát • možnostiach analýzy 1. statický eye-tracker • kamera aj zdroj infra-lúča umiestnený na stole pred participantom • 2 podtypy: • „tower mounted“ • ET v tesnom kontakte s participantom • zabraňuje pohybom hlavy • „remote“ • bez kontaktu s participantom • snímanie z väčšej vzdialenosti • stimul prezentovaný (typicky) na monitore Techniky sledovania pohybu očí 2. head mounted ET • štandard (typ 1.) – meranie reakcií v kontrolovaných lab. podmienkach • od začiatku ET výskumu záujem o štúdium ľudí v reálnych podmienkach, reál. svete • mobilné systémy umožňujúce sledovanie očí mimo laboratória • zariadenie (kamera aj zdroj infra-lúča) pripevnené priamo na hlave vo forme okuliarov alebo prilieb 3. k head mounted ET je pripojený „head tracker“ • sníma polohu hlavu v priestore • uľahčuje analýu dát z head mounted ET • ojedinelý Techniky sledovania pohybu očí Techniky sledovania pohybu očí • statické ET (remote) • jednoduchšie na obsluhu • participant ľahko zabudne, že je monitorovaný (výskum detí) • existujú aj vo verziách s viacerými kamerami, ak participant potrebuje pohybovať hlavou (letecké simulátory, výskum šoférov) • fixné umiestnenie stimulu (monitor, časopis, plocha nad ET) • výstup – súradnice v rámci fixného súradnicového systému plochy, na ktorej je stimul umiestnený (napr. poloha na monitore monitora) • vyžadujú kalibráciu (aby sa ET „naučil“, na ktorý bod plochy so stimulom – akú súradnicu - sa oko v daný moment pozerá) • priestorové zafixovanie polohy stimulu (monitor) – oka – ET Techniky sledovania pohybu očí • head mounted ET • poskytujú participantom maximálnu mobilitu (závisí na veľkosti a váhe) • bežné aktivity – jazda na bicykli, nakupovanie, hranie tenisu, ... • obsahujú kameru, ktorá sníma okolie a smer pohľadu • zariadenie potom vzájomne prekryje súradnice pohybu oka s videom (zjednodušene!) • omnoho náročnejšie spracovanie dát než pri statickom ET Techniky sledovania pohybu očí • moderné ET fungujú väčšinou bezkontaktne • najčastejšie využívaný princíp – detekcia zrenice a korneálneho odrazu • Výrobcovia: Dizajn ET výskumu • najdôležitejšia je výskumná otázka, eye-tracker je len nástroj (!!!) ako ju zodpovedať • kvanti. prístup: VO → konceptualizácia → hypotéza (teória!) → operacionalizácia • kauzálny vzťah: nezávislá vs. závislá premenná • ET štúdie typicky využívajú metódu experimentu: • manipulácia s nezávislou premennou (napr. veľkosť fontu na pol. letáku) • meranie zmien závislých premenných – efektu (napr. dobra riešenia úlohy – napr. zadanie nájsť hlavné posolstvo na letáku) • kontrola tretích premenných, ktoré by mohli spôsobiť zmeny závislej premennej (napr. učenie sa pri opakovanom meraní, alebo individuálne rozdiely participantov – náhodné rozdelenie) • závislá premenná/meraná hodnota musí zodpovedať: • teoretickým predpokladom a hypotézam • možnostiam zariadenia • použitému stimulu • úlohe (zadaniu pre participanta) • plánovaným štatistic. analýzam Dizajn ET výskumu • between-subject design vs. within subject design? • BS vs WS? – výber musí zodpovedať výskumnej otázke! Dizajn ET výskumu • kto sú naši respondenti - cieľová populácia? – študenti vs. „verejnosť“ • čo presne budeme merať a analyzovať? • informácie o pohybe oka – fixácie a sakády • jedným z najčastejších spôsobov analýzy ET dát je štatistické vyhodnotenie eyetracking metrík • odvodené (najčastejšie) od identifikovaných fixácií a sakád • vzťahujú sa k stimulu ako celku, alebo len konkrétnej oblasti (area of interest - AOI) ET metriky • Kategórie ET metrík podľa skúmanej premennej: • pohyb oka (Movement measures) • pozícia oka (Position measures) • počet pohybov (Numerosity measures) • reakčný čas a vzdialenosť (Latency and Distance measures) 1. analýza pohybu oka • ktorým smerom, akou rýchlosťou a ako dlho sa oko v určitom čase pohybovalo • aký tvar mala trajektória pohybu • v akom poradí oko „navštívilo“ jednotlivé definované AOI • Scanpath Length (dĺžka trajektórie pohybu, v ms, pixeloch alebo počte fixácií) • Scanpath comparison (porovnanie trajektórií) ET metriky 2. analýza pozície oka • kam sa človek v určitom čase pozerá • ktorá časť stimulu respondenta zaujala, koľko času sledovaním daných AOI strávil • Fixation Duration • dĺžka fixácie, v ms • dlhšia fixácia = vyššia pútavosť oblasti stimulu • Total Dwell Time (tiež označované ako Total Viewing Time) • ukazuje, koľko času strávil participant pohľadom v definovanej oblasti stimulu (AOI) • v milisekundách alebo percentuálnom podiely z celkového času sledovania stimulu 3. analýza počtu pohybov • počet fixácií, sakád alebo žmurknutí • koľko krát sa participant vrátil pohľadom do konkrétnej oblasti • Fixation Count • počet fixácií v konkrétnej oblasti (AOI) ET metriky 4. analýza reakčného času a vzdialenosti • vzdialenosť a omeškanie jednej udalosti za druhou • napr. vzdialenosť pohľadu od kurzoru myši • Time to First Fixation • čas, ktorý ubehol od začiatku experimentu po prvú fixáciu (v konkrétnej AOI) • Analýza nameraných dát: štandardné testovanie hypotéz pomocou štatistických metód (napr. porovnánie priemerov, korelačný koeficient, regresná analýza a pod.) Ako by malo vyzerať ET laboratórium? • závisí na výskumnej otázke (stimule) a type zariadenia • statické vs. head mounted ET (lab. vs real-life) • väčšina prípadov: stimul prezentovaný na monitore (real-life situácie a prostredie len výnimočne) • odizolovaný priestor/miestnosť (zvukovo aj svetelne) • bez rušivých prvkov – napr. oddelená kabínka • bez okien, prípadne s možnosťou zatemnenia (minimalizovať priame slnečné svetlo) • použiť umelé osvetlenie – najlepšie neónové (menej infračerveného svetla), najhoršie halogénové • pozor na príliš málo svetla → veľkosť zrenice • participantov testovať jedného po druhom (menej rušivé, kvalitnejšie dáta) Skôr než začneme merať … • správne nastavenie = kvalitné dáta • umiestnenie (remote) ET: • mierne pod smerom pohľadu (pod stimulom) • príliš nízko/vysoko → problém detekovať odraz infra-lúča resp. stred zrenice („zavadzajú“ viečka) • primeraná vzdialenosť participanta od zariadenia • pri snímaní len jedného oka – vopred zistiť, ktoré je dominantné (u 2/3 populácie pravé) • maskara • môže výrazne ovplyvniť kvalitu záznamu • mihalnice bránia kamere v snímaní príp. je chybne detekovaný stred zrenice • riešenie: upozorniť participantov vopred, prípadne požiadať o odstránenie • pozor na ochabnuté viečka • najmä pri starších participantoch, osobná charakteristika príp. spôsobené únavou • riešenie: upraviť polohu (ET/participanta), poprosiť aby prišiel v inom čase, fixovať viečko (krajné riešenie) Skôr než začneme merať … • okuliare • sklo/rám zhoršuje prienik svetla k oku (problémy s detekciou) • sklo odráža svetlo/odrazy späť do oka → vznikajú falošné korneálne odrazy • odrazy infračerveného lúča od skiel • problém sa zväčšuje pri silných dioptriách, poškriabaných sklách, sklách s reflexnou vrstvou • riešenie: problematické (upraviť polohu zariadenia, požiadať participanta o zloženie okuliarov) • kontaktné šošovky • vytvárajú sa drobné vzduchové bublinky medzi šošovkou a okom → odrazy • riešenie: podobné ako pri okuliaroch Využitie ET? Nabudúce! • marketing • dizajn (obaly produktov) • psychologické štúdie (poruchy pozornosti) • medicína • lingvistika • zoologia • politická veda?