Automatizovaná analýza výrazov tváre a fyziologické meranie POLn6012 Moderní informační technologie  v politologii Michal Tóth Jaro 2022 Analýza výrazov tváre • emócie – základ ľudskej osobnosti, ovplyvňujú každodenný život (sociálne interakcie, pozornosť,  vnímanie, pamäť) • jeden z najviditeľnejších indikátorov emócií – ľudská tvár (smiech, plač, ...) → signál pre ostatných • tvár – komplexný svalový systém (40, štrukturálne a funkčne nezávislé jeden na druhom) • → umožňuje neverbálnu sociálnu komunikáciu • takmer všetky tvárové svaly ovládané jediným tvárovým nervom • Ako toto prepojenie mozgu s tvárovými svalmi súvisí s emóciami? • tvárové svaly a emocionálne procesy ovládaný tou istou časťou mozgu • AMYGDALA • spracováva stimuly navodzujúce strach ale aj potešenie • zodpovedná za automatické reakcie organizmu na emočné vzrušenie • reguluje hladinu kortizolu v krvi (a ďalších stres. hormónov), tep, dýchanie, ... • zodpovedná za viditeľné (autom.) prejavy emo‐ správania → postoj tela, výraz tváre Analýza výrazov tváre • 1988 – Fritz Strack a kol. • výrazy tváre a emócie sú úzko prepojené • respondenti hodnotili kreslené vtipy • počas toho držali v ústach pero • 1. zubami bez dotyku pier (imitácia úsmevu) • 2. len perami • zistenie: prvá skupina hodnotila vtipy ako zábavnejšie • „facial feedback hypothesis“ → selek vna aktivácia tvárových svalov má silný vplyv na  emocionálnu reakciu • pozor, výrazy tváre len ako jeden z indikátorov emócií • telesné prejavy – tep, dýchanie, oči, vodivosť kože, ... • správanie – „fight‐or‐flight“ Analýza výrazov tváre • Môžeme emócie prejavené výrazom tváre klasifikovať? • tvárové svaly dokážu vyprodukovať tisíce mierne odlišných kombinácií výrazov tváre • iba málo z nich vytvorí charakteristickú, rozlíšiteľnú, UNIVERZÁLNU konfiguráciu, ktorú ktokoľvek  asociuje s konkrétnou emóciou (rozlíšiteľná bez rozdielu veku, pohlavia, kultúrneho pozadia, ...) • 1967 ‐ Paul Ekman, skúmal izolovaných domorodcov (Papua Nová Guinea)  • 6  základných, univerzálnych emócií Ekman sám uviedol, že 6  základných emócií vybral  z „praktického“ dôvodu  (napr. vina alebo hanba sa nedá na tvári  pozorovať ) Techniky analýzy výrazov tváre • výrazy tváre je možné identifikovať (zmerať) a analyzovať tromi  základnými spôsobmi: 1. Tvárová elektromyografia (fEMG) • elektródy pripevnené k pokožke tváre • identifikácia jemných el. impulzov produkovaných konkrétnymi  svalmi • + neinvazívne • + nevyžaduje od particip. kognitívnu námahu (ani zapojenie pamäte) • + citlivé, schopné odhaliť aj jemnú svalovú aktivitu (aj vtedy, keď  chce človek svoje emócie skryť)  • ‐ vyžaduje elektródy, káble, zosilňovače signálov → zvyšuje  povedomie par cipanta o meraní → môže ovplyvniť dáta • ‐ citlivé na el. výboje v okolí • ‐ meranie aj analýza vyžaduje expertízu v oblasti biosenzorov Techniky analýzy výrazov tváre 2.    sledovanie tváre a manuálne kódovanie tvárovej aktivity • založené na metóde vyvinutej Ekmanom a spol (1978, vylepšený v 2002) • Factial Action Coding System (FACS) • štandardizovaný klasifikačný systém tvárových výrazov založený na anatomických vlastnostiach • určený primárne ľudským kodérom (expertom) – pozorné sledovanie videa tváre → hľadanie  konkrétnych kombinácií základných komponentov tvárových výrazov ‐ tzv. Action units • Action units • konkrétne svaly alebo svalové skupiny • 62 AUs • kombináciou viacerých AUs vzniká identifikovateľný výraz tváre • POZOR: pomocou FACS sa nečítajú/nedetekujú emócie – je to len systém merania tvárových  výrazov (bez interpretácií) (analog – bicykel a rôzne možnosti jeho využitia) Techniky analýzy výrazov tváre • pomocou FACS môžeme rozdeliť výrazy tváre do troch kategórií (Ekman) • Makrovýrazy (macroexpressions) • 0,5 – 4 sekundy • počas bežných dennodenných interakcií, „normálne“ výrazy • výraz zodpovedá tomu čo bolo povedané, a tónu hlasu • viditeľné aj voľným okom  • Mikrovýrazy (microexpressions) • < 0,5 sekundy • pri snahe o (vedomé alebo podvedomé) potlačenie momentálneho  emo‐stavu • 1967 ‐ Ekman – skúmal pacientov, ktorí tvrdili že netrpia depresiami  a neskôr spáchali samovraždu (sledoval spätne videonahrávky,  všimol snahu skryť emócie) • ťažko detekovateľné (nutný tréning) • Jemné výrazy (subtle expressions) • nie sú charakterizované dĺžkou trvania, ale intenzitou • pri emóciách s nízkou intenzitou, alebo keď človek emóciu len  začína pociťovať (zúženie pier keď prichádza hnev) Techniky analýzy výrazov tváre • silné stránky FACS • + objektívna a reliabilná metóda na popísanie (!) VÝRAZOV tváre (k interpretácií dochádza až počas  analýzy) • + vysoká zjavná validita, face validity – popis výrazov založený na viditeľných zmenách tvárového  tkaniva • + univerzálna metóda ako popísať výrazy tváre (nepodlieha kultúrnym či sociálnym vplyvom) • slabé stránky FACS • ‐ náročné zmerať intenzitu výrazov (napr. horný limit zdvihnutia obočia?) • ‐ vyžaduje kvalitné záznamové zariadenie (video vo vysokom rozlíšení) • ‐ vyžaduje trénovaného experta (cer fikát) → drahé (1 minúta videozáznamu ~ 100 minút  kódovania) →  vznik automatických techník ‐ computer‐based, machine‐learning algoritmy (3. technika analýzy  výrazov tváre) Automatická analýza výrazov tváre • pokrok v oblasti strojového učenia → rela vne dostupná technológia (už dávno  nie sci‐fi – napr. aplikácie v FB Messengeri alebo IG) • záznamové zariadenie – bežná kamera (notebook, tablet, smartphone) • základný (zjednodušený) princíp: 1) Detekcia tváre 2) Detekcia kľúčových orientačných bodov na tvár 3) Klasifikácia výrazu tváre → emócie • Detekcia tváre • video rozložené na jednotlivé obrázky → algoritmy (Viola Jones Cascaded Classifier) → box ohraničujúci tvár   • Detekcia orientačných bodov • oči, kú ky očí, obočie, kú ky úst, špička nosa, ... → zjednodušený model tváre • Klasifikácia • model tváre spracovaný klasifikačným algoritmom → orientačné body  prevedené na AUs → popis výrazu tváre (príp. emócie) Automatická analýza výrazov tváre • klasifikácia prebieha výhradne na úrovni „matematiky“ (čísel) • príklad: respondentove kútiky úst sú vytiahnuté nahor • ľudský kodér: označí ako AU12 (“lip corner puller”) →   respondent sa usmieva • automatický systém:  • musí spočítať vertikálne rozdiely medzi  kú kmi a stredom úst → 10 mm • hodnotu porovná s hodnotami v dtb. (napr. v  intervale 0‐ 20 mm) • vyhodno  → jemné rozdiely v hodnotách →  pravdepodobnostný výsledok (že ide o  konkrétnu emócie) • objektívnejší výsledok ako u ľudského kodéra • POZOR: každá AU klasifikovaná samostatne  (ústa sa môžu „usmievať“, ale oči mračiť) Využitie automatickej analýzy výrazov tváre • všade tam, kde očakávame emocionálnu reakciu na vonkajší podnet (fyzický objekt, video, obrázok ,...) • neuromarketing (neurovýskum spotrebiteľského správania) • dotazníky a selfreporty skresľujú (autocenzúra, sociálna dezirabilita ,...) • analýza výrazu tváre môže pomôcť zachytiť podvedomé/mimovoľné reakcie na TOVAR, PRODUKT • mediálny výskum a reklama • TV reklamy, trailery, piloty (identifikácia scén spôsobujúcich nevhodnú emo‐reakciu) • psychologický výskum • základný a aplikovaný výskum reakcií na rôzne stimuly (testovanie psych. teórií), psychologický výskum  osobnosti, kognitívny výskum • klinická psychológia a psychoterapia • liečba porúch autistického spektra (napr. u detí), porúch osobnosti • plastická chirurgia • identifikácia poškodenia tvárových nervov po nehodách, podpora pri rehabilitácií po operáciách tváre • vývoj umelej inteligencie • schopnosť zariadenia automaticky reagovať na emocionálny stav užívateľa • zábava – aplikácie v smartphonoch Má analýza výrazov tváre stále pravdu? • základný Ekmanov predpoklad (univerzálnosť emocionálnych výrazov tváre) dlho bezvýhradne  prijímaný • nové zistenia v poslednej dobe → je to celé možno komplikovanejšie (?) • 2018 ‐ Racheal Jack a spol.  • otázka: odzrkadľujú výrazy tváre naše emócie spoľahlivo? • 80 participantov (zo západného sveta aj východnej Ázie) • animácie rôznych výrazov tváre → zadanie: výraz človeka zažívajúceho bolesť alebo potešenie? • zistenie: zhoda v tom, ako vyzerá výraz tváre pri bolesti, nezhoda pri výraze potešenia • → vnímanie emócií z výrazu tváre nemusí byť univerzálne (kultúrne podmienené) • Lisa Feldman Barrett • spochybnenie predpokladu, že tvár nie je schopná skryť emócie • ľudia dokážu emócie predstierať • dokážu tiež prežívať emócie bez toho aby pohli tvárou • → nezhody medzi výskumnými → prešli vyše 1000 akad. článkov  • → zistenie lit. review: vedecké dôkazy, že človek vie spoľahlivo identifikovať emočný stav iného človeka na základe výrazu tváre sú slabé, alebo žiadne • výskum na Papua N. G. – nepotvrdil Ekmanove závery • tvár nie je jediným vizuálnym „prejavom“ emócií (telesný postoj, tón hlasu, zmena farby pokožky, ...)   Automatická analýza výrazov tváre ‐ nástroje • rôzne (komerčné) nástroje – rôzne metriky automatického kódovania • orientácia hlavy • 6 tvárových orientačných bodov • 7 základných emócií • 20 Action Units • pohlavie, okuliare • orientácia hlavy • 34 tvárových orientačných bodov • 7 základných emócií • 14 Action Units • orientácia hlavy • 7 základných emócií • 20 Action Units • pohlavie, vek, etnicita, okuliare,.. Noldus Facereader Noldus Facereader • komerčný SW pre analýzu výrazov tváre – posúdenie emocionálneho stavu  • rozoznáva základné emócie (Ekman) • Radosť • Smútok • Hnev • Prekvapenie • Strach • Znechutenie • Opovrhnutie • (Neutral) • ďalšie charakteristiky (z tváre): • „stav“ tváre (facial state) – otvorené/zatvorené oči a ústa, poloha obočia (zvýšené, znížené, neutral) • smer pohľadu (gaze position) – doľava, doprava, pre seba → odhad pozornos /vnímania • orientácia hlavy (head orientation) – X, Y a Z súradnice od polohy priamo pred seba • valencia – pozitívny/negatívny/neutrálny emocionálny stav • vzrušenie (arousal) – indikácia aktivity osoby • charakteristiky participanta – vek, pohlavie, etnicita, množstvo tvárového ochlpenia (brada/fúzy), okuliare →  ODHAD! • Action Units – 20 najbežnejších AUs Noldus Facereader • ako to funguje?  1) identifikácia tváre • pomocou algoritmu Viola Jones cascaded classifier 2) klasifikácia výrazov tváre • kombinácia dvoch metód:  Modelovanie tváre • vytvorený 3D model tváre – 500 kľúčových bodov tváre → textúra tváre (komplex. info o  výraze tváre) • model tváre → porovnaný s informáciami o výrazoch tváre v databázi → výsledok: odchýlka  od „priemernej“ tváre • umelá inteligencia klasifikuje výrazy tváre (vytrénovaná pomocou 10 000 manuálne  nakódovaných obrázkov)   Deep face klasifikácia • priama klasifikácia tváre z jednotlivých pixelov obrazu • pomocou umelej neurónovej siete (bez identifikácie kľúčových bodov a 3D  modelovania) • spresňuje výsledok • výhoda – funguje, aj keď je časť tváre skrytá → pomocou polohy očí odhadne výraz  tváre alebo valenciu Noldus Facereader Noldus Facereader • hlavné výstupy: • klasifikácia výrazov tváre → emocionálny stav  • vizualizácie • intenzita emócií: hodnoty 0‐1 (viac súčasne, súčet ≠ 1 )  • valencia emocionálneho stavu – pozitívny / negatívny • pozitívne výrazy tváre: radosť • negatívne výrazy tváre: smútok, hnev, znechutenie, strach, (opovrhnutie) • pozitívne aj negatívne: prekvapenie (valenciu nejde určiť) • vzrušenie (arousal) – participant je (+1) nie je (0) aktívny (na základe aktivácie 10 konkrétnych AUs) Noldus Facereader • na čo si dať pozor pri meraní/obmedzenia: • meranie detí – nedokáže pracovať s deťmi z južnej a východnej Ázie • okuliare sú problém • limitované možnosti pohybu participanta – sedieť vzpriamene, pozerať priamo do kamery (uhol <  40°) • svetelné podmienky  ‐ veľmi striktné! – preexponovaný/podexponovaný obraz, málo kontrastný,  tiene (pri osvetlení zo stropu), odrazy, atď. • pozor na prekrytie tváre (vlasy, brada) • FR analyzuje len jednu tvár v jeden moment • vysoké nároky na HW (kamera, výpočtová kapacita) Noldus Facereader PRAKTICKÁ UKÁŽKA Fyziologické (biometrické) meranie • detekcia výrazov tváre • poskytne kvalitatívnu informáciu o emocionálnej reakcii – valencia (poz/neg) • nezachytí emocionálne vzrušenie (arousal), mieru reakcie • problém ‐ potláčanie/imitovanie emócií • potrebné zmerať iné fyziologické/biometrické informácie  srdcová aktivita  (elektrokardiografia – EKG/ECG) mozgová aktivita  (elektroencefalografia – EEG) svalová aktivita  (elektromyiografia – EMG) elektrodermálna aktivita  (vodivosť kože – EDA/GSR) Elektrodermálna aktivita (EDA) • jedno z najpoužívanejších biometrických meraní (hist. označenie GSR – Galvanic Skin  Response) • meranie činnosti potných žliaz spôsobenej aktivitou nervového systému (podmieneného  vonkajším s mulom) → psychologicky vyvolaná činnosť potných žliaz • automatická (mimovoľná) reakcia organizmu na stimul vnímaný hmatom, zrakom,  sluchom, čuchom, chuťou • EDA sa zvyšuje s tým, ako sa zvyšuje vzrušenie (excitement) príp nervozita (spotené ruky  pred verejným vystúpením, návšteva zubára, pracovný pohovor) • široké využitie ‐ výskum pozornosti a emócií, klinický výskum správania Elektrodermálna aktivita (EDA) HISTÓRIA • 1849 – du Bois‐Reymond – objabil, že ľudská pokožka je elektricky aktívna  • koniec 19. stor., Francúzsko • Vigoroux – neurologický výskum hystérie a hypnózy • rôzne skupiny emočne rozrušených pacientov – rôzny elektrický odpor  pokožky • začiatky výskumu vplyvu psychologických aspektov na elektrické zmeny v  ľudskej pokožke • Féré – pozoroval, že vyslaním malého množstva el. prúdu medzi dvomi  elektródami umiestnenými na pokožke je možné zmerať momentálnu  zmenu elektrického odporu kože ako reakciu na rôzne stimuly (vizuálne,  chuťové, sluchové, čuchové) • Zistenie – po prezentovaní externého stimulu sa zvyšuje elektrická vodivosť  kože Elektrodermálna aktivita (EDA) • koniec 19. stor., Rusko • Tarchanoff – elektrický potenciál medzi dvomi elektródami na koži je možné zmerať aj bez  vyslania elektrického prúdu (externého) • → objavené dve základné metódy záznamu elektrodermálnej aktivity, dodnes využívaný princíp • odpor (resp. vodivosť) – vyžaduje vyslanie el. prúdu – exosomatická metóda (častejšie využívaná) • potenciál – nevyžaduje vyslanie el. prúdu – endosomatická metóda • ďalší vývoj – najmä diskusie ohľadom fyziologického mechanizmu stojaceho za zmenou vodivosti  kože (pot na pokožke? činnosť potných žliaz sama o sebe?) • základný princíp (zjednodušene) – viac potu → lepšia elektrická vodivosť kože • od počiatku diskusie, ako je EDA prepojená s psychologickými konceptami (emócie, vzrušenie,  pozornosť) Elektrodermálna aktivita (EDA) • 20. stor. • Carl Jung (prvá pol 20. stor.) • výskum podvedomia – slovné asociácie (slovo dokáže „spustiť“ emo‐reakciu)  • kombinoval s EDA • zistenie – každý stimul sprevádzaný emo‐reakciou spôsobil vychýlenie galvanometra • "Aha, a looking glass into the unconscious!"  • Woodword a Schlosberg (prvá pol 20. stor.) • EDA – vhodný indikátor emočnej aktivácie (venovali jej väčšinu kapitoly vo svojej učebnici  experimentálnej psych.)  • vodivosť kože je počas spánku nižšia než počas „aktivovaného“ stavu (hnev, psychicky  náročná práca) • hodnota vodivosti kože variuje s novosťou, intenzitou a významnosťou stimulu • do 70. rokov opublikovaných viac než 1500 vedeckých článkov • najpopulárnejšia metóda pre skúmanie ľudských psychofyziologických femonénov Elektrodermálna aktivita (EDA) • meranie EDA = meranie vodivosti kože • reakcia/meranie má 2 komponenty: • Skin Conductance Level (SCL alebo Tonic) • vodivosť, ku ktorej dochádza aj bez externého stimulu • mení sa v závislosti na psychologickom stave, hydratácii,  automatickej regulácii • zmeny sú pozvoľné a pomalé • Skin Conductance Response (SCR alebo Phasic) • zmeny ako reakcia na externý (náhly) stimul • zmeny sú výraznejšie • hodnoty udávané v mikrosiemensoch (μS) • typická hodnota vodivosti kože: 2‐20 μS • špeciálne elektródy umiestnené na dlani ruky (typicky  nedominantná ruka – menej poškodení kože), alebo nohe • záznamový HW a SW (Biopac, AcqKnowledge) – statický vs.  mobilný • elektródami vysielaný slabý, konštantný el. prúd → meranie  rozdiel napätia • princíp, kt. využíva aj polygraf (detektor lží) Využitie EDA • psychologický výskum • identifikácia vplyvu senzorických stimulov (čuch, sluch, ...) na emočný stav (napr. vzrušenie) • vnímanie tvarov a farieb (napr. teplé farby (červená) môžu vyvolávať hnev, studené (modrá) zas  pokoj) • skúmanie personálnych charakteristík (extroverti vs. introverti) • sociálnych očakávaní a stereotypov („Muži sa neboja tmy!“) • psychoterapia • liečba fóbií, post‐traumatickej stresovej poruchy • poruchy príjmu potravy (napr. anorexia) • EDA slúži ako pomoc pri identifikácií stresových situácií a indikátor úspešnosti terapie • neuromarketing a mediálny výskum • EDA ako ukazovateľ emocionálneho vzrušenia pri sledovaní reklamy, produktu, trailerov, pilotných  dielov seriálov • pomáha identifikovať podvedomé procesy a preferencie • software usability a user experience • testovanie (jednoduchosti) užívateľského prostredia SW, webstránok, aplikácií, ... • EDA ako indikátor zmätenia, frustrácie Využitie EDA • politická veda • Pénelope Daignault et al. (2013) – The Perception of Political Advertising During an Election Campaign: A  Measure of Cognitive and Emotional Effects • fyziologické reakcie na pozitívne, negatívne a zmiešané politické reklamy (Kanadské federálne voľby 2011) • predpoklad: negatívne pol. reklamy budú zvyšovať vzrušenie (v porovnaní s pozitívnymi) • N = 31  (študenti) • fyzio‐meranie: vodivosť kože a tep srdca • zistenie: negatívna reklama zvyšovala vzrušenie • POZOR: niektoré štúdie zaznamenali zvýšenie vzrušenia aj pri pozitívnom stimule (obľúbený politik/strana, napr.  Wagner et al. 2015) • vzrušenie (EDA) samo o sebe neudáva valenciu (pozitívne?/negatívne?) → elektromyografia (EMG) – elektrické signály  vysielané konkrétnymi tvárovými svalmi • Bakker et al. (2020) ‐ Hot Politics? Affective Responses to Political Rhetoric • ako sa mení afektívna reakcia na politický prejav (pravicovo/ľavicovo orientovaný) v závislosti od politickej informovanosti a postojov (pozície a miery extrémnosti) • N = 397 • fyzio‐meranie: vodivosť kože a elektromyografia • stimul: pravicovo/ľavicovo ladené politické klipy (vyjadrenia) na rôzne témy (imigrácia, klimatická zmena, EU) • zistenie: ľudia s extrémnejšími postojmi sú vzrušenejší/nabudenejší než ľudia s menej extrémnymi • zistenie: medzi viac a menej politicky informovanými ľuďmi nie je v miere vzrušenia rozdiel EDA ‐ Biopac PRAKTICKÁ UKÁŽKA