Automatizovaná analýza výrazů tváře a fyziologické měření POLn6012 Moderní informační technologie v politologii Michal Tóth Jaro 2021 Noldus Facereader Analýza výrazov tváre • emócie – základ ľudskej osobnosti, ovplyvňujú každodenný život (sociálne interakcie, pozornosť, vnímanie, pamäť) • jeden z najviditelnejších indikátorov emócií – ľudská tvár (smiech, plač, ...) → signál pre ostatných • tvár – komplexný svalový systém (40, štrukturálne a funkčne nezávislé jeden na druhom) • → umožňuje neverbálnu sociálnu komunikáciu • takmer všetky tvárové svaly ovládané jediným tvárovým nervom • Ako toto prepojenie mozgu s tvárovými svalmi súvisí s emóciami? • tvárové svaly a emocionálne procesy ovládaný tou istou časťou mozgu • amygdala • spracováva stimuly navodzujúce strach ale aj potešenie • zodpovedná za automatické reakcie organizmu na emočné vzrušenie • reguluje hladinu kortizolu v krvi (a ďalších stres. hormónov), tep, dýchanie, ... • zodpovedná za viditeľné (autom.) prejavy emo- správania → postoj tela, výraz tváre Analýza výrazov tváre • 1988 – Fritz Strack a kol. • výrazy tváre a emócie sú úzko prepojené • respondenti hodnotili kreslené vtipy • počas toho držali v ústach pero • 1. zubami bez dotyku pier (imitácia úsmevu) • 2. len perami • zistenie: prvá skupina hodnotila vtipy ako zábavnejšie • „facial feedback hypothesis“ → selektívna aktivácia tvárových svalov má silný vplyv na emocionálnu reakciu • pozor, výrazy tváre len ako jeden z indikátorov emócií • telesné prejavy – tep, dýchanie, vodivosť kože, ... • správanie – „fight-or-flight“ Analýza výrazov tváre • Môžeme emócie prejavené výrazom tváre klasifikovať? • tvárové svaly dokážu vyprodukovať tisíce mierne odlišných kombinácií výrazov tváre • iba málo z nich vytvorí charakteristickú, rozlíšiteľnú, UNIVERZÁLNU konfiguráciu, ktorú ktokoľvek asociuje s konkrétnou emóciou (rozlíšiteľná bez rozdielu veku, pohlavia, kultúrneho pozadia, ...) • 1967 - Paul Ekman, skúmal izolovaných domorodcov (Papua Nová Guinea) • 6 základných, univerzálnych emócií Ekman sám uviedol, že 6 základných emócií vybral z praktického dôvodu (napr. vina alebo hanba) sa nedá na tvári pozorovať Techniky analýzy výrazov tváre • výrazy tváre je možné identifikovať (zmerať) a analyzovať tromi spôsobmi: 1. Tvárová elektromyografia (fEMG) • elektródy pripevnené k pokožke tváre • identifikácia jemných el. impulzov produkovaných konkrétnymi svalmi • + neinvazívne • + nevyžaduje od particip. kognitívnu námahu (ani zapojenie pamäte) • + citlivé, schopné odhaliť aj jemnú svalovú aktivitu (aj vtedy, keď chce človek svoje emócie skryť) • - vyžaduje elektródy, káble, zosilňovače signálov → zvyšuje povedomie participanta o meraní → môže ovplyvniť dáta • - citlivé na el. výboje v okolí • - meranie aj analýza vyžaduje expertízu v oblasti biosenzorov Techniky analýzy výrazov tváre 2. sledovanie tváre a manuálne kódovanie tvárovej aktivity • založené na metóde vyvinutej Ekmanom a spol (1978, vylepšený v 2002) • Factial Action Coding System (FACS) • štandardizovaný klasifikačný systém tvárových výrazov založený na anatomických vlastnostiach • určený primárne ľudským kodérom (expertom) – pozorné sledovanie videa tváre → hľadanie konkrétnych kombinácií základných komponentov tvárových výrazov - tzv. Action units • Action units • konkrétne svaly alebo svalové skupiny • 62 AUs • kombináciou viacerých AUs vzniká identifikovateľný výraz tváre • POZOR: pomocou FACS sa nečítajú/nedetekujú emócie – je to len systém merania tvárových výrazov (bez interpretácií) (analog – bicykel a cesta do práce) Techniky analýzy výrazov tváre • pomocou FACS môžeme rozdeliť výrazy tváre do troch kategórií (Ekman) • Makrovýrazy (macroexpressions) • 0,5 – 4 sekundy • počas bežných dennodenných interakcií, „normálne“ výrazy • výraz zodpovedá tomu čo bolo povedané, a tónu • viditeľné aj voľným okom • Mikrovýrazy (microexpressions) • < 0,5 sekundy • pri snahe o (vedomé alebo podvedomé) potlačenie momentálneho emo-stavu • 1967 - Ekman – skúmal pacientov, ktorí tvrdili že netrpia depresiami a neskôr spáchali samovraždu (sledoval spätne videonahrávky, všimol snahu skryť emócie) • ťažko detekovateľné (nutný tréning) • Jemné výrazy (subtle expressions) • nie sú charakterizované dĺžkou trvania, ale intenzitou • pri emóciách s nízkou intenzitou, alebo keď človek emóciu len začína pociťovať (zúženie pier keď prichádza hnev) Techniky analýzy výrazov tváre • silné stránky FACS • + objektívna a reliabilná metóda na popísanie (!) výrazov tváre (k interpretácií dochádza až počas analýzy) • + vysoká zjavná validita, face validity – popis výrazov založený na viditeľných zmenách tvárového tkaniva • + univerzálna metóda ako popísať výrazy tváre (nepodlieha kultúrnym či sociálnym vplyvom) • slabé stránky FACS • - náročné zmerať intenzitu (napr. horný limit zdvihnutia obočia?) • - vyžaduje kvalitné záznamové zariadenie (video vo vysokom rozlíšení) • - vyžaduje trénovaného experta (certifikát) → drahé (1 minúta videozáznamu ~ 100 minút kódovania) → vznik automatických techník - computer-based, machine-learning algoritmy (3. technika analýzy výrazov tváre) Automatická analýza výrazov tváre • pokrok v oblasti strojového učenia → relatívne dostupná technológia (už dávno nie sci-fi – napr. aplikácie v FB Messengeri alebo IG) • záznamové zariadenie – bežná kamera (notebook, tablet, smartphone) • základný (zjednodušený) princíp: 1) Detekcia tváre 2) Detekcia kľúčových orientačných bodov na tvár 3) Klasifikácia výrazu tváre → emócie • Detekcia tváre • video rozložené na jednotlivé obrázky → algoritmy (Viola Jones Cascaded Classifier) → box ohraničujúci tvár • Detekcia orientačných bodov • oči, kútiky očí, obočie, kútiky úst, špička nosa, ... → zjednodušený model tváre • Klasifikácia • model tváre spracovaný klasifikačným algoritmom → orientačné body prevedené na AUs → popis výrazu tváre (príp. emócie) Automatická analýza výrazov tváre • klasifikácia prebieha výhradne na úrovni „štatistiky“ (čísel) • príklad: respondentove kútiky úst sú vytiahnuté nahor • ľudský kodér: označí ako AU12 (“lip corner puller”) → respondent sa usmieva • automatický systém: • musí spočítať vertikálne rozdiely medzi kútikmi a stredom úst → 10 mm • hodnotu porovná s hodnotami v dtb. (napr. v intervale 0- 20 mm) • vyhodnotí → jemné rozdiely v hodnotách → pravdepodobnostný výsledok (že ide o konkrétnu emócie) • objektívnejší výsledok ako u ľudského kodéra • POZOR: každá AU klasifikovaná samostatne (ústa sa môžu usmievať, ale oči mračiť) Automatická analýza výrazov tváre • rôzne (komerčné) nástroje – rôzne metriky automatického kódovania • orientácia hlavy • 6 tvárových orientačných bodov • 7 základných emócií • 20 Action Units • pohlavie, okuliare • orientácia hlavy • 34 tvárových orientačných bodov • 7 základných emócií • 14 Action Units • orientácia hlavy • 7 základných emócií • 20 Action Units • pohlavie, vek, etnicita, okuliare,.. Využitie analýzy výrazov tváre • všade tam, kde očakávame emocionálnu reakciu na vonkajší podnet (fyzický objekt, video, obrázok ,...) • neuromarketing (neurovýskum spotrebiteľského správania) • dotazníky a selfreporty skresľujú (autocenzúra, sociálna dezirabilita ,...) • analýza výrazu tváre môže pomôcť zachytiť podvedomé/mimovoľné reakcie na TOVAR, PRODUKT • mediálny výskum a reklama • TV reklamy, trailery, piloty (identifikácia scén spôsobujúcich nevhodnú emo-reakciu) • psychologický výskum • základný a aplikovaný výskum reakcií na rôzne stimuly (testovanie psych. teórií), psychologický výskum osobnosti, kognitívny výskum • klinická psychológia a psychoterapia • liečba porúch autistického spektra (napr. u detí), porúch osobnosti • plastická chirurgia • identifikácia poškodenia tvárových nervov po nehodách, podpora pri rehabilitácií po operáciách tváre • vývoj umelej inteligencie • schopnosť zariadenia automaticky reagovať na emocionálny stav užívateľa • zábava – aplikácie v smartphonoch Má analýza výrazov tváre stále pravdu? • základný Ekmanov predpoklad (univerzálnosť emocionálnych výrazov tváre) dlho bezvýhradne prijímaný • nové zistenia v poslednej dobe → je to celé možno komplikovanejšie (?) • 2018 - Racheal Jack a spol. • otázka: odzrkadľujú výrazy tváre naše emócie spoľahlivo? • 80 participantov (zo západného sveta aj východnej Ázie) • animácie rôznych výrazov tváre → zadanie: výraz človeka zažívajúceho bolesť alebo potešenie? • zistenie: zhoda v tom, ako vyzerá výraz tváre pri bolesti, nezhoda pri výraze potešenia • → vnímanie emócií z výrazu tváre nemusí byť univerzálne (kultúrne podmienené) • Lisa Feldman Barrett • spochybnenie predpokladu, že tvár nie je schopná skryť emócie • ľudia dokážu emócie predstierať • dokážu tiež prežívať emócie bez toho aby pohli tvárou • → nezhody medzi výskumnými → prešli vyše 1000 akad. článkov • → zistenie lit. review: vedecké dôkazy, že človek vie spoľahlivo identifikovať emočný stav iného človeka na základe výrazu tváre sú slabé, alebo žiadne • výskum na Papua N. G. – nepotvrdil Ekmanove závery • tvár nie je jediným vizuálnym „prejavom“ emócií (telesný postoj, tón hlasu, zmena farby pokožky, ...) Fyziologické (biometrické) meranie • detekcia výrazov tváre • poskytne kvalitatívnu informáciu o emocionálnej reakcii – valencia (poz/neg) • nezachytí emocionálne vzrušenie (arousal), mieru reakcie • problém - potláčanie/imitovanie emócií • potrebné zmerať iné fyziologické/biometrické informácie srdcová aktivita (elektrokardiografia – EKG/ECG) mozgová aktivita (elektroencefalografia – EEG) svalová aktivita (elektromyiografia – EMG) elektrodermálna aktivita (vodivosť kože – EDA/GSR) Elektrodermálna aktivita (EDA) • jedno z najpoužívanejších psychofiziologických meraní (hist. označenie GSR – Galvanic Skin Response) • meranie činnosti potných žliaz spôsobenej aktivitou nervového systému (podmieneného vonkajším stimulom) → psychologicky vyvolaná činnosť potných žliaz • automatická (mimovoľná) reakcia organizmu na stimul vnímaný hmatom, zrakom, sluchom, čuchom, chuťou • EDA sa zvyšuje s tým, ako sa zvyšuje vzrušenie (excitement) príp nervozita (spotené ruky pred verejným vystúpením, návšteva zubára, pracovný pohovor) • široké využitie - výskum pozornosti, spracovávania informácií a emócií, klinický výskum správania HISTÓRIA • 1849 – du Bois-Reymond – objabil, že ľudská pokožka je elektricky aktívna • koniec 19. stor., Francúzsko • Vigoroux – neurologický výskum hystérie a hypnózy • začiatky výskumu vplyvu psychologických aspektov na elektrické zmeny v ľudskej pokožke • rôzne skupiny emočne rozrušených pacientov – rôzny elektrický odpor pokožky • Féré – pozoroval, že vyslaním malého množstva el. prúdu medzi dvomi elektródami umiestnenými na pokožke je možné zmerať momentálnu zmenu (zníženie) elektrického odporu kože ako reakciu na rôzne stimuly (vizuálne, chuťové, sluchové, čuchové) • Zistenie – po prezentovaní externého stimulu sa zvyšuje elektrická vodivosť kože Elektrodermálna aktivita (EDA) • koniec 19. stor., Rusko • Tarchanoff – elektrický potenciál medzi dvomi elektródami na koži je možné zmerať aj bez vyslania elektrického prúdu (externého) • → objavené dve základné metódy záznamu elektrodermálnej aktivity, dodnes využívaný princíp • odpor (resp. vodivosť) – vyžaduje vyslanie el. prúdu – exosomatická metóda (častejšie využívaná) • potenciál – nevyžaduje vyslanie el. prúdu – endosomatická metóda • ďalší vývoj – najmä diskusie ohľadom fyziologického mechanizmu stojaceho za zmenou vodivosti kože (pot na pokožke? činnosť potných žliaz sama o sebe?) • základný princíp (zjednodušene) – viac potu → lepšia elektrická vodivosť kože • od 70. rokov 20. stor. – moderná éra výskumu EDA, vznik štandardizovaných techník merania • od počiatku diskusie, ako je EDA prepojená s psychologickými konceptami (emócie, vzrušenie, pozornosť) Elektrodermálna aktivita (EDA) • vedecké skúmanie EDA – od začiatku 20. stor • Carl Jung (prvá pol 20. stor.) • výskum podvedomia – slovné asociácie (slovo dokáže „spustiť“ emo-reakciu) • kombinoval s EDA • zistenie – každý stimul sprevádzaný emo-reakciou spôsobil vychýlenie galvanometra • "Aha, a looking glass into the unconscious!" • Woodword a Schlosberg (prvá pol 20. stor.) • EDA – vhodný indikátor emočnej aktivácie (venovali jej väčšinu kapitoly vo svojej učebnici experimentálnej psych.) • vodivosť kože je počas spánku nižšia než počas „aktivovaného“ stavu (hnev, psychicky náročná práca) • hodnota vodivosti kože variuje s novosťou, intenzitou a významnosťou stimulu • do 70. rokov opublikovaných viac než 1500 vedeckých článkov • najpopulárnejšia metóda pre skúmanie ľudských psychofyziologických femonénov Elektrodermálna aktivita (EDA) • meranie EDA = meranie vodivosti kože • reakcia/meranie má 2 komponenty: • Skin Conductance Level (SCL alebo Tonic) • vodivosť, ku ktorej dochádza aj bez externého stimulu • mení sa v závislosti na psychologickom stave, hydratácii, automatickej regulácii • zmeny sú pozvoľné a pomalé • Skin Conductance Response (SCR alebo Phasic) • zmeny ako reakcia na externý (krátkodobý) stimul • zmeny sú náhle a výrazné • hodnoty udávané v mikrosiemensoch (μS) • typická hodnota vodivosti kože: 2-20 μS • špeciálne elektródy umiestnené na dlani ruky (typicky nedominantná ruka – menej poškodení kože), alebo nohe • záznamový HW a SW (Biopac, AcqKnowledge) – statický vs. mobilný • elektródami vysielaný slabý, konštantný el. prúd → meranie rozdiel napätia • princíp, kt. využíva aj polygraf (detektor lží) Využitie EDA • psychologický výskum • identifikácia vplyvu senzorických stimulov (čuch, sluch, ...) na emočný stav (napr. vzrušenie) • vnímanie tvarov a farieb (napr. teplé farby (červená) môžu vyvolávať hnev, studené (modrá) zas pokoj) • skúmanie personálnych charakteristík (extroverti vs. introverti) • sociálnych očakávaní a stereotypov („Muži sa neboja tmy!“) • psychoterapia • liečba fóbií, post-traumatickej stresovej poruchy • poruchy príjmu potravy (napr. anorexia) • EDA slúži ako pomoc pri identifikácií stresových situácií a indikátor úspešnosti terapie • neuromarketing a mediálny výskum • EDA ako ukazovateľ emocionálneho vzrušenia pri sledovaní reklamy, produktu, trailerov, pilotných dielov seriálov • pomáha identifikovať podvedomé procesy a preferencie • software usability a user experience • testovanie (jednoduchosti) užívateľského prostredia SW, webstránok, aplikácií, ... • EDA ako indikátor zmätenia, frustrácie Využitie EDA • politická veda • Pénelope Daignault et al. (2013) – The Perception of Political Advertising During an Election Campaign: A Measure of Cognitive and Emotional Effects • fyziologické reakcie na pozitívne, negatívne a zmiešané politické reklamy (Kanadské federálne voľby 2011) • predpoklad: negatívne pol. reklamy budú zvyšovať vzrušenie (v porovnaní s pozitívnymi) • N = 31 (študenti) • fyzio-meranie: vodivosť kože a tep srdca • zistenie: negatívna reklama zvyšovala vzrušenie • POZOR: niektoré štúdie zaznamenali zvýšenie vzrušenia aj pri pozitívnom stimule (obľúbený politik/strana, napr. Wagner et al. 2015) • vzrušenie (EDA) samo o sebe neudáva valenciu (pozitívne?/negatívne?) → elektromyografia (EMG) – elektrické signály vysielané konkrétnymi tvárovými svalmi • Bakker et al. (2020) - Hot Politics? Affective Responses to Political Rhetoric • ako sa mení afektívna reakcia na politický prejav (pravicovo/ľavicovo orientovaný) v závislosti od politickej informovanosti a postojov (pozície a miery extrémnosti) • N = 397 • fyzio-meranie: vodivosť kože a elektromyografia • stimul: pravicovo/ľavicovo ladené politické klipy (vyjadrenia) na rôzne témy (imigrácia, klimatická zmena, EU) • zistenie: ľudia s extrémnejšími postojmi sú vzrušenejší/nabudenejší než ľudia s menej extrémnymi • zistenie: medzi viac a menej politicky informovanými ľuďmi nie je v miere vzrušenia rozdiel • zistenie: inkongruentná rétorika spôsobuje negatívnu afekt. reakciu, kongruentná pozitívnu afekt. reakciu Noldus Facereader Noldus Facereader • komerčný SW pre analýzu výrazov tváre – posúdenie emocionálneho stavu • rozoznáva základné emócie (Ekman) • Radosť • Smútok • Hnev • Prekvapenie • Strach • Znechutenie • Opovrhnutie • (Neutral) • ďalšie charakteristiky: • „stav“ tváre (facial state) – otvorené/zatvorené oči a ústa, poloha obočia (zvýšené, znížené, neutral) • smer pohľadu (gaze position) – doľava, doprava, pre seba → odhad pozornosti • orientácia hlavy (head orientation) – X, Y a Z súradnice od polohy priamo pred seba • valencia – pozitívny/negatívny/neutrálny emocionálny stav • vzrušenie (arousal) – indikácia aktivity osoby • charakteristiky participanta – vek, pohlavie, etnicita, množstvo tvárového ochlpenia (brada/fúzy), okuliare → ODHAD! • Action Units – 20 najbežnejších AUs Noldus Facereader • ako to funguje? 1) identifikácia tváre • pomocou algoritmu Viola Jones cascaded classifier 2) klasifikácia výrazov tváre • kombinácia dvoch metód: ➢ Modelovanie tváre • vytvorený 3D model tváre – 500 kľúčových bodov tváre → textúra tváre (komplex. info o výraze tváre) • model tváre → porovnaný s informáciami o výrazoch tváre v databáze → výsledok: odchýlka od „priemernej“ tváre • umelá inteligencia klasifikuje výrazy tváre (vytrénovaná pomocou 10 000 manuálne nakódovaných obrázkov) ➢ Deep face klasifikácia • priama klasifikácia tváre z jednotlivých pixelov obrazu • pomocou umelej neurónovej siete (bez identifikácie kľúčových bodov a 3D modelovania) • spresňuje výsledok • výhoda – funguje, aj keď je časť tváre skrytá → pomocou polohy očí odhadne výraz tváre alebo valenciu Noldus Facereader Noldus Facereader • hlavné výstupy: • klasifikácia výrazov tváre → emocionálny stav • vizualizácie • každý výraz tváre – intenzita 0-1 (viac súčasne, súčet ≠ 1 ) • valencia emocionálneho stavu – pozitívny / negatívny • pozitívne výrazy tváre: radosť • negatívne výrazy tváre: smútok, hnev, znechutenie, strach, (opovrhnutie) • pozitívne aj negatívne: prekvapenie (valenciu nejde určiť) • valencia = intenzita „radosti“ – intenzita negatívneho výrazu s najvyššou intenzitou • vzrušenie (arousal) – participant je (+1) nie je (0) aktívny (na základe aktivácie 10 konkrétnych AUs) Noldus Facereader • na čo si dať pozor pri meraní: • meranie detí – nedokáže pracovať s deťmi z južnej a východnej Ázie • okuliare sú problém • limitované možnosti pohybu participanta – sedieť vzpriamene, pozerať priamo do kamery (uhol < 40°) • svetelné podmienky - veľmi striktné! – preexponovaný/podexponovaný obraz, málo kontrastný, tiene (pri osvetlení zo stropu), odrazy, atď. • pozor na prekrytie tváre (vlasy, brada) • FR analyzuje len jednu tvár v jeden moment • vysoké nároky na HW (kamera, výpočtová kapacita)