Eye-tracking POLn6012 Moderní informační technologie  v sociálních vědách Michal Tóth Jaro 2023 Sledování pohybu očí Ľudské oko – základ ET • dôležité pre pochopenie princípu eye‐trackingu • približne guľovitý tvar s priemerom cca 2,3 cm • oči dohromady poskytujú obraz priestoru v rozpätí cca 200° na  šírku a 130° na výšku • v jeden okamihu vnímajú ostro len obmedzenú časť tohoto  priestoru – 1‐2° priestoru (cca veľkosť nechtu na palci pri natiahnutí ruky před seba) • svetlo → rohovka → zrenica → šošovka (otočenie obrazu  „hore nohami“, zaostrenie) → sietnica • svetlocitlivé bunky na sietnici – tyčinky (videnie za šera) a  čapíky (vnímanie farieb) → transformácia svetla na elektrické  impulzy → nervovou sústavou do mozgu • rohovka • dôležitá pre ET • vonkajšia časť oka • odráža svetlo Ľudské oko – pohyby • oko ostro vníma len čas priestoru → potreba neustáleho pohybu • jeden z najdôležitejších pohybov oka nie je vo svojej podstate pohyb • FIXÁCIA • schopnosť oka udržať sa zamerané na určitý bod v priestore • niekoľko desiatok ms až sekúnd • oko nie je nikdy ÚPLNE fixované ‐ mikrosakády, tremor (tras) • zložením väčšieho množstva fixácií vzniká vizuálny vnem • SAKÁDA • presun oka z jednej fixácie na druhú • rýchly balistický pohyb (až 500°/sekundu) • najrýchlejší pohyb časti ľudského tela • 3‐4 sakády za sekundu (200 tis. za den) • počas sakády oko nevníma žiaden vizuálny vnem • zachytíte pohyb vlastných očí v zrkadle? • ďalšie pohyby, napr. smooth pursuit • sledovací pohyb (pomaly pohybujúci sa objekt ‐ lietadlo) • vyžaduje sledovací objekt (nie je možný v tme, alebo pred holou stenou) História eye‐trackingu • Aristoteles (4. stor. p. n. l.) • študoval pohyby oka • všimol si, že sa oči hýbu a vnímajú spoločne (nedá sa  jedným pozrieť napravo a druhým v tom istom momente  naľavo) → oči ako spoločná jednotka • Ptolemaios (2. stor. n. l.) • venoval sa rovnakej problematike • experimentálny výskum binokulárneho videnia • skúmal rozsah pohybu oka (oči sa môžu pohybovať proti  sebe, ale len horizontálne) História eye‐trackingu • Jan Evangelista Purkyně (19. stor.), fyziológ, anatóm, biológ • popísal obrazy odrážajúce sa od povrchu oka – tzv. Purkyňove obrázky → presný záznam polohy  oka • tmavá miestnosť, sviečka cca 30 cm pred očami → 4 svetlolomné plochy → 4 rôzne odrazy svetla • 4 viditeľné Purkyňove obrázky: P1 – odraz od vonkajšej strany rohovky P2 – odraz od vnútornej strany rohovky P3 – odraz od vonkajšej strany šošovky P4 – odraz od vnútornej strany šošovky História eye‐trackingu • Émile Javal (koniec 19. stor.) • oči sa nepohybujú plynule (výskum pohybu oka počas čítania) • popísal sakády (názov podľa rýchlo pohybu koňa pri drezúre) • zariadenie na záznam pohybu oka pomocou zrkadla  pripevneného na oko • E. B. Delabarre (koniec 19. stor.)  • pohyb oka zaznamenaný pomocou sadrovej misky na oku a  pripevneného drôtu • Presné pri pomalých pohyboch, rýchlejšie (prirodzenejšie)  pohyby ‐ problematická interpretácia • bolestivá procedúra – znecitlivenie oka kokainom História eye‐trackingu • 20. stor. – rýchly nárast technológií pre sledovanie pohybu očí • nové metódy bez potreby fyzického napojenia na oko (Dodge a Cline 1901) →  pohodlnejšie • revolúcia vo výskume pohybu očí → rozvoj teórií o väzbe medzi pohybom očí  (fixáciami a sakádami) a vnímaním (percepciou) • kam presne sa človek pozerá → rozvoj eye‐trackingu • 1935 – Guy Buswell – „How People Look at Pictures“ • základ dnešného eye‐trackingu • 200 subjektov – každý z nich viac obrázkov → vyše 2000 pozorovaní pohybu oka (!!!) • prvá práca systematicky skúmajúca pohyb očí pri prezeraní zložitejších stimulov • respondentov rôzne porovnával (distribúciu fixácií, rôzne stimuly/úlohy) • prvé heatmapy (hustoty fixácii v konkrétnych častiach obrazu) História eye‐trackingu Buswell (1935) História eye‐trackingu • 50.‐60. roky – Rusko – Alfred Yarbus • respondentom ukázal rovnaký obrázok 7x po sebe, ale  vždy s iným zadaním • zistenie 1:  fixácie oka podmienené znením úlohy • „high level“ faktory (dané úlohou) môžu zatieniť „low level“  faktory (dané stimulom) • zistenie 2: pri pohľade na ľudskú tvár fixovanie na oči  a ústa • 70. roky • snahy o technické vylepšenie eye‐trackerov (presnosť) • vzniklo viac techník sledovania pohybu oka (rôzna  presnosť a možnosti) – Purkyňove obrázky doposiaľ  neprekonané  Yarbus (1967) Techniky sledovania pohybu očí • 2 základné typy techník sledovania pohybu oka: • 1. meranie polohy oka vzhľadom k polohe hlavy (invazívne – nutnosť  pripojenia zariadenia k hlave alebo oku) • 2. meranie polohy oka v priestore (vzhľadom na vizuálnu scénu) – kam sa  človek pozerá („Point of Regard“) • Duchowski (2007) – 4 techniky sledovania pohybu oka • Elektrookulografia • Využitie kontaktných šošoviek • Foto‐ alebo videookulografia • Detekcia zrenice a odrazu od rohovky (Pupil and Corneal Reflexion Tracking) Techniky sledovania pohybu očí • elektrookulografie (EOG) • meranie rozdielov elektrického odporu kože (elektródy) • možnosť pozorovať pohyb zavretého oka (výskum spánku) • meria sa poloha očí voči polohe hlavy – bez zmerania  polohy hlavy nezistíme smer pohľadu • hojne využívané v 70. rokoch • najmenej presná • využitie kontaktnej šošovky • veľmi presná • na šošovku je pripevnený mechanický objekt (napr.  drôtená cievka) ‐ priamo na oku • v okolí sú umiestnené 3 zdroje magnetického poľa →  dochádza k zmenám v el. prúde vedenom cievkou →  poloha oka • nezistíme smer pohľadu (bez zmerania polohy hlavy) • náročná a nepríjemná aplikácia Techniky sledovania pohybu očí • foto‐ alebo videookulografia • meranie pozície rozlíšiteľných častí oka • detekcia tvaru zrenice, príp. vzájomná pozícia limbu  (hranice medzi rohovkou a bielkom) a odrazu svetelného  zdroja od rohovky • interpretuje sa videozáznam pohybu oka (zdĺhavé,  náchylné k chybám) • neposkytuje informáciu o smere pohľadu • Ako zistiť aj smer pohľadu?  • charakteristika očí musí byť zmeraná tak, aby sa odlíšil pohyb  hlavy od otáčania oka (fixácia hlavy tak, aby sa zhodovala poloha  oka vzhľadom k hlave so smerom pohľadu) Techniky sledovania pohybu očí • detekcia stredu zrenice a odrazu (svetla) od rohovky • Pupil and Corneal Reflextion Tracking (dnes najčastejšie  využívaná technika) • detekcia stredu zrenice a odrazu infračerveného lúča svetla od  rohovky (korneálny odraz) • Prvý Purkyňov obrázok stred zrenice korneálny odraz Techniky sledovania pohybu očí Smer pohľadu  (point of regard) – spočítaný na  základe určenia  vzájomnej polohy  stredu zrenice a  odrazu  infračerveného lúča  od rohovky  (korneálny odraz)  Techniky sledovania pohybu očí • 3 typy eyetrackerov využívajúcich Pupil and Corneal Reflextion Tracking • rozdiely v: • umiestnení kamery a zdroja infračerveného lúča • type získaných dát • možnostiach analýzy 1. statický eye‐tracker • kamera aj zdroj infra‐lúča umiestnený na stole pred participantom • 2 podtypy: • „tower mounted“  • ET v tesnom kontakte s participantom • zabraňuje pohybom hlavy (veľmi presný) • „remote“ • bez kontaktu s participantom • snímanie z väčšej vzdialenosti • stimul prezentovaný (typicky) na monitore Techniky sledovania pohybu očí 2.   head mounted ET • statické ET využívané na meranie reakcií v kontrolovaných lab. podmienkach • od začiatku ET výskumu záujem o štúdium ľudí v reálnych podmienkach, reál. svete • mobilné systémy umožňujúce sledovanie očí mimo laboratória • zariadenie (kamera aj zdroj infra‐lúča) pripevnené priamo na hlave vo forme okuliarov alebo prilieb 3. k head mounted ET je pripojený „head tracker“ • sníma polohu hlavu v priestore • uľahčuje analýu dát z head mounted ET • ojedinelý Techniky sledovania pohybu očí Techniky sledovania pohybu očí • statické ET • jednoduchšie na obsluhu • participant ľahko zabudne, že je monitorovaný (výskum detí) • existujú aj vo verziách s viacerými kamerami, ak participant  potrebuje pohybovať hlavou (letecké simulátory, výskum  šoférov) • fixné umiestnenie stimulu (monitor, časopis, plocha nad ET) • výstup – súradnice v rámci fixného súradnicového systému  plochy, na ktorej je stimul umiestnený (napr. poloha na  obrazovke monitora) • vyžadujú kalibráciu (aby sa ET „naučil“, na ktorý bod plochy  so stimulom – akú súradnicu ‐ sa oko v daný moment pozerá) Techniky sledovania pohybu očí • head mounted ET • poskytujú participantom maximálnu mobilitu (závisí na veľkosti a váhe) • bežné aktivity – jazda na bicykli, nakupovanie, hranie tenisu, ... • obsahujú kameru, ktorá sníma okolie a smer pohľadu • zariadenie potom vzájomne prekryje súradnice pohybu oka s videom (zjednodušene!) • omnoho náročnejšie spracovanie dát než pri statickom ET   Techniky sledovania pohybu očí • moderné ET fungujú väčšinou bezkontaktne • najčastejšie využívaný princíp – detekcia zrenice a korneálneho odrazu • Výrobcovia: Dizajn ET výskumu • najdôležitejšia je výskumná otázka, eye‐tracker je len nástroj (!!!) ako ju zodpovedať  • kvanti. prístup: VO → konceptualizácia → hypotéza (teória!) → operacionalizácia • kauzálny vzťah: nezávislá vs. závislá premenná • ET štúdie typicky využívajú metódu experimentu:  • manipulácia s nezávislou premennou (napr. veľkosť fontu na pol. letáku) • meranie zmien závislých premenných – efektu (napr. dobra riešenia úlohy – napr. zadanie nájsť hlavné  posolstvo na letáku) • kontrola tretích premenných, ktoré by mohli spôsobiť zmeny závislej premennej (napr. učenie sa pri  opakovanom meraní, alebo individuálne rozdiely participantov – náhodné rozdelenie)  • závislá premenná/meraná hodnota musí zodpovedať: • teoretickým predpokladom a hypotézam • možnostiam zariadenia • plánovaným štatistic. analýzam Dizajn ET výskumu • between‐subject design vs. within subject design? • BS vs WS? – výber musí zodpovedať výskumnej otázke! Dizajn ET výskumu • kto sú naši respondenti ‐ cieľová  populácia? – študenti vs. „verejnosť“ • čo presne budeme merať a analyzovať? • ktoré informácie o pohybe oka? – fixácie vs.  sakády • ako to budeme analyzovať? • jedným z najčastejších spôsobov analýzy ET  dát je štatistické vyhodnotenie eye‐tracking metrík • odvodené (najčastejšie) od identifikovaných  fixácií a sakád • vzťahujú sa k stimulu ako celku, alebo len  konkrétnej oblasti (area of interest ‐ AOI) ET metriky • Kategórie ET metrík podľa skúmanej premennej: • pohyb oka (Movement measures) • pozícia oka (Position measures) • počet pohybov (Numerosity measures) • reakčný čas a vzdialenosť (Latency and Distance measures) 1. analýza pohybu oka • ktorým smerom, akou rýchlosťou a ako dlho sa oko v  určitom čase pohybovalo • aký tvar mala trajektória pohybu • v akom poradí oko „navštívilo“ jednotlivé definované AOI • Scanpath Length (dĺžka trajektórie pohybu, v ms, pixeloch  alebo počte fixácií)  • Scanpath comparison (porovnanie trajektórií) ET metriky 2.   analýza pozície oka • kam sa človek v určitom čase pozerá • ktorá časť stimulu respondenta zaujala, koľko času sledovaním daných AOI strávil • Fixation Duration • dĺžka fixácie, v ms • dlhšia fixácia = vyššia pútavosť oblasti stimulu • Total Dwell Time (tiež označované ako Total Viewing Time) • ukazuje, koľko času strávil participant pohľadom v definovanej oblasti stimulu (AOI) • v milisekundách alebo percentuálnom podiely z celkového času sledovania stimulu 3. analýza počtu pohybov • počet fixácií, sakád alebo žmurknutí • koľko krát sa participant vrátil pohľadom do konkrétnej oblasti • Fixation Count • počet fixácií v konkrétnej oblasti (AOI) ET metriky 4.   analýza reakčného času a vzdialenosti • vzdialenosť a omeškanie jednej udalosti za druhou • Time to First Fixation • čas, ktorý ubehol od začiatku experimentu po prvú fixáciu (v konkrétnej AOI) • Analýza nameraných dát: štandardné testovanie hypotéz pomocou štatistických  metód (napr. porovnánie priemerov, korelačný koeficient, regresná analýza a  pod.) Ako by malo vyzerať ET laboratórium? • závisí na výskumnej otázke (stimule) a type (dostupného) zariadenia • statické vs. head mounted ET  (lab. vs real‐life) • väčšina prípadov: stimul prezentovaný na monitore (real‐life situácie a  prostredie len výnimočne) • odizolovaný priestor/miestnosť (zvukovo aj svetelne) • bez rušivých prvkov – napr. oddelená kabínka • bez okien, prípadne s možnosťou zatemnenia (minimalizovať priame  slnečné svetlo) • použiť umelé osvetlenie – najlepšie neónové (menej infračerveného  svetla), najhoršie halogénové • pozor na príliš málo svetla → veľkosť zrenice • participantov testovať jedného po druhom (menej rušivé, kvalitnejšie  dáta) Skôr než začneme merať … • správne nastavenie = kvalitné dáta • umiestnenie (remote) ET: • mierne pod smerom pohľadu (pod stimulom) • príliš nízko/vysoko → problém detekovať odraz infra‐lúča resp. stred zrenice („zavadzajú“ viečka) • primeraná vzdialenosť participanta od zariadenia • pri snímaní len jedného oka – vopred zistiť, ktoré je dominantné (u 2/3 populácie pravé) • maskara • môže výrazne ovplyvniť kvalitu záznamu • mihalnice bránia kamere v snímaní príp. je chybne detekovaný stred zrenice • riešenie: upozorniť participantov vopred, prípadne požiadať o odstránenie • pozor na ochabnuté viečka • najmä pri starších participantoch, osobná charakteristika príp. spôsobené únavou • riešenie: upraviť polohu (ET/participanta), poprosiť aby prišiel v inom čase, fixovať viečko (krajné riešenie) Skôr než začneme merať … • okuliare • sklo/rám zhoršuje prienik svetla k oku (problémy s detekciou) • sklo odráža svetlo/odrazy späť do oka → vznikajú falošné korneálne odrazy • odrazy infračerveného lúča od skiel • problém sa zväčšuje pri silných dioptriách, poškriabaných sklách, sklách s reflexnou vrstvou • riešenie: problematické (upraviť polohu zariadenia, požiadať participanta o zloženie okuliarov) • kontaktné šošovky • vytvárajú sa drobné vzduchové bublinky medzi šošovkou a okom → odrazy • riešenie: podobné ako pri okuliaroch Využitie ET? • marketing • dizajn (obaly produktov) • psychologické štúdie (poruchy pozornosti) • medicína • lingvistika • zoologia • politická veda (selektívne vnímanie)