ZUR 434 Metodologie mediálního výzkumu 18. 10. 2015 Prednáška 8: Survey, obsahová analýza Survey —= prieskum, šetření —hlavné črty: —1. spôsob zberu dát —- údaje o tých istých premenných/charakteristikách od viacerých prípadov, objektov —2. metóda analýzy —- opíšeme charakteristiky súboru objektov, zisťujeme príčiny určitého fenoménu — Základné metódy a techniky výskumu Dotazník —vysoko štruktúrovaná technika získavania dát —každý respondent odpovedá na ten istý set otázok —použitie v mediálnom a komunikačnom výskume: — a) výskum publika — b) výskum reprezentantov mediálnych inštitúcií — Formy distribúcie/vypĺňania dotazníku —pošta —email —telefón/CATI —tazateľ Výhody Nevýhody Pošta •relatívna anonymita •relatívne jednoduchá administrácia •relatívne nízke náklady •nízka návratnosť •často dlhá doba čakania •nie je isté, kto odpovedal na otázky E-mail •veľmi nízke náklady •ľahká a rýchla administrácia i analýza dát •problém reprezentativity •SPAM Výhody Nevýhody Telefon / CATI •vyššia návratnosť •kompletnosť odpovedí •identifikácia respondenta •možnosť obsiahnuť vzdialené oblasti •nemôžeme získať vizuálne typy informácií •obmedzená možnosť ponuky variant odpovedí •problém reprezentativity (mobil) Tazateľ •vysoká návratnosť •nízka miera „missing values“ •málo anonymný •nákladný •nutnosť používať tazateľskú sieť •„interviewer bias“ Výber otázok —aké info budeme od respondentov potrebovať? — —výskumná téma —výskumný problém —teória —výskumné otázky a hypotézy —koncepty —indikátory —spôsob analýzy —spôsob administrácie Obsah otázok —správanie —názory, viery, presvedčenia —postoje —vlastnosti — Na čo treba dať pozor? —úplnosť: vyčerpávajúce možnosti odpovedí —disponuje respondent potrebnou znalosťou? —je referenčný rámec dostatočne jasný? —pozor na —umelé vytváranie názorov —zbytočne detailné otázky —sugestívne otázky —ovplyvnenie autoritou graf1.jpg Štýl a štylistika —jasnosť —jednoduchý jazyk —stručnosť —pozor na dvojhlavňové otázky —pozor na negatívne otázky —majú slová rovnaký význam pre každého? — Štýl a štylistika —ako sa pýtať na citlivú oblasť? 1.použiť vhodné eufemizmy 2.prístup, že ide o bežnú vec 3.systém kartičiek – oznámenie čísla kartičky, kde je napísaná odpoveď 4.prístup, že to robia všetci 5.prístup, že to robia ostatní Typy otázok (podľa formátu odpovedí) —uzavreté —urýchľuje odpovedanie —ľahšie sa kóduje —nediskriminuje menej zhovorčivých ľudí — —poootvorené/polouzavreté: vopred definované varianty odpovedí + možnosť odpovedať voľne — —otvorené: vyvolávajúce voľné odpovede Uzavreté otázky: formát —Likertova škála: ako silno respondent súhlasí/nesúhlasí s určitým výrokom —sémantický diferenciál: 2 extrémy, medzi tým kontinuum —zatrhávací zoznam —zoraďovanie —vybratie postoja, ktorý je respondentovi najbližší: na rozdiel od typu súhlasím/nesúhlasím tu nedochádza k tvorbe setov odpovedí Uzavreté otázky: typy —dichotomické: —pravé (vzájomne sa vylučujú) —nepravé (viac možností na kontinuálnej škále s krajnými polohami) —polytomické —batériové: vzťahujú sa k jednému indikátoru —Uveďte, prosím, či máte vo Vašej domácnosti: 1.televízny prijímač ÁNO – NIE 2.satelitný prijímač ÁNO – NIE 3.rozhlasový prijímač ÁNO – NIE 4.videorekordér ÁNO – NIE 5.DVD prehrávač ÁNO – NIE 6.osobný počítač / notebook ÁNO – NIE 7.internetové pripojenie ÁNO– NIE —rozhodovanie pri uzavretých otázkach: — technika nútenej voľby vs. otázky s možnosťou „úniku“ — zaradenie/nezaradenie neutrálnej kategórie („ani-ani“) —počet variant odpovedí; počet položiek škály Uzavreté otázky Grafika —čo najprehľadnejšie —tlač len z jednej strany —veľké medzery medzi riadkami —dostatočný priestor na odpovede —uzavreté otázky: zatrhávanie/krúžkovanie/vyfarbovanie... —filtračné otázky: graficky odlíšiť – šípky, rámčeky... — Dramaturgia dotazníku —úvodný list/informácie pre respondenta —inštrukcie: k jednotlivým sekciám/k jednotlivým otázkam —pestrosť —zložitejšie/citlivejšie témy a otázky uvádzať nejakým výrokom, ktorý respondenta pripraví, zmierni šok —citlivé, osobné otázky na koniec — — Dramaturgia dotazníku —pozor na produkciu setov odpovedí (automatický súhlas/nesúhlas) a)z pohodlnosti: tendencia respondentov súhlasiť, zaškrtávať „áno“, skôr než nesúhlasiť b)kvôli pociťovanému sociálnemu tlaku; eliminácia nežiaducich aktivít Haló efekt —skreslenie vzniknuté v dôsledku radenia otázok —určitá otázka stimuluje odpovede na niekoľko otázok dopredu — —Príklad: „Jistě, pane ministře“: průzkum veřejného mínění http://www.youtube.com/watch?v=G0ZZJXw4MTA — — Haló efekt - príklad —1) Znepokojuje vás počet mladých lidí, kteří nemají práci? 2) Znepokojuje vás nárůst kriminality mezi mladistvými? 3) Myslíte, že na školách je nízká disciplína? 4) Myslíte si, že mladí lidé ve svém životě uvítají trochu autority a vedení? 5) Že se rádi chopí příležitosti? 6) Byl byste PRO zavedení branné povinnosti? ANO! —1) Znepokojuje vás hrozba války? 2) Znepokojuje vás rostoucí zbrojení? 3) Je nebezpečné dávat mladým lidem zbraně a učit je zabíjet? 4) Je špatné nutit lidi, aby se chopili zbraně proti své vůli? 5) Byl byste PROTI znovuzavedení branné povinnosti? ANO! — Pilotáž —odskúšanie výskumného nástroja —overenie validity jednotlivých otázok i celého dotazníku —„dotazník o dotazníku“ —malá vzorka (50-100 respondentov) —snaha zaradiť respondentov, ktorí budú mať podobné charakteristiky ako budúca vzorka —otázky s nízkou variáciou odpovedí vyvolávajú pochybnosti o svojom účele — Pilotáž —skúma sa: —logika toku, nadväznosť —správnosť filtračných otázok —porozumenie otázkam —jednoznačnosť —úplnosť variant odpovedí —redundancia (2 otázky na to isté) —miera vynechaných odpovedí, nezodpovedaných otázok —záujem respondentov a ich pozornosť —s akými otázkami mali problémy, ktoré museli byť opakované atď. —čas – dĺžka trvania Indexy a škály —zložené (komplexné, kompozitné) meracie nástroje na meranie ordinálnych dát —neusporiadaná množina znakov sa prevádza na jeden kvantitatívny znak —na čo sú dobré? —efektívna redukcia dát —presnejšie a súčasne variabilnejšie meranie indikátorov —zvyšovanie validity —zvyšovanie reliability — Škály — —konštruované a overované ešte pred vlastným výskumom — —jednotlivé položky v batérii majú často rozdielnu intenzitu vzhľadom k meranému konceptu —obsahujú tým pádom viac informácie než indexy —dajú sa vzájomne porovnávať — Hlavné typy škál —Thurstonova škála (technika zdanlivo rovnakých intervalov) —Likertova škála (technika sumovaných odhadov) ≠ „škála Likertovho typu/ratingová škála“ —Guttmanova škála (škálogramová analýza) —Bogardusova škála sociálnej vzdialenosti (distancie) —Sémantický diferenciál — Obsahová analýza – základné vymedzenie —definícia z Webster´s Dictionary of the English Language (1961): — — analýza manifestného a latentného obsahu korpusu komunikovaného materiálu (ako napr. film alebo kniha) prostredníctvom klasifikácie, tabulácie a hodnotenia jeho kľúčových symbolov a tém v záujme stanovenia jeho významu a pravdepodobného účinku Významový posun —vývoj od jednoduchej frekvenčnej analýzy ku sledovaniu zložitejších konceptov a sémantických vzťahov medzi nimi (manifestný i latentný obsah) — — Obsahová analýza je výskumná technika pre objektívny, systematický a kvantitatívny popis manifestného obsahu komunikácie —(Bernard Berelson) Významový posun — —obsah textu nie je pevne daný a jednoznačný, ľudia sa líšia v tom, ako interpretujú text — — Obsahová analýza je výskumnou metódou umožňujúcou opakovateľným a validným spôsobom usudzovať z dát na ich kontext. —(Klaus Krippendorff) — — „identifikovať a vypočítať výskyt bližšie určených vlastností alebo dimenzií textov, a prostredníctvom toho vypovedať o posolstvách, image, reprezentáciách týchto textov a ich širšom sociálnom význame“ —(Hansen et al., 1998: 95) — —základný rys: radenie vybraných javov vyskytujúcich sa v obsahu do vopred zvolených kategórií + ich kvantifikácia — Účel obsahovej analýzy Využitie obsahovej analýzy —variabilita médií a ich žánrov, typov materiálov a posolstiev —spravodajstvo, reklama, komiksy, videoklipy, šport, fikcia... —písaný/tlačený text, obraz, zvuk, multimédiá... —konštrukcie mediálneho obrazu vecí, javov, jednotlivcov, sociálnych skupín... — — Výhody kvantitatívnej OA —neobtrusívna technika —vs. obtrusívne techniky —chyby v dátach sú spôsobené tým, že: —si subjekty uvedomujú, že sú predmetom skúmania —dostávajú umelé, neprirodzené úlohy alebo úlohy, s ktorými nemajú skúsenosti —subjekt si vytvára očakávania k svojej role respondenta —subjekt má vytvorené určité stereotypy a preferované odpovede —dochádza k interakčným efektom medzi subjektom a tazateľom — Výhody kvantitatívnej OA —nevyžaduje kontakt s komunikátormi —finančne a časovo výhodná —umožňuje longitudinálne výskumy —dovoľuje rozdelenie výskumu medzi niekoľko kodérov, resp. kódovacích teamov —môže byť použitá pre rozmanité účely a v rámci množstva rôznych vedných odborov Nevýhody kvantitatívnej OA —môže byť časovo veľmi náročná —obmedzené použitie na zaznamenanú komunikáciu —vyššia reliabilita, problematická validita (a problém zovšeobecnenia výsledkov) —je veľmi reduktívna, najmä pokiaľ ide o komplexné typy textov —často zostáva len na úrovni deskripcie —riziko subjektívnych interpretácií textu, najmä vo vzťahu k latentným významom —neberie do úvahy kontext produkcie Obsahová analýza – požadované charakteristiky (K. Neuendorf) —objektivita (resp. intersubjektivita) —a priori design (deduktívna stratégia) —reliabilita (intercoder reliability) —validita —zovšeobecniteľnosť —replikovateľnosť —testovanie hypotéz — Výberové techniky v obsahovej analýze —cieľ: vybrať dostatočný počet jednotiek zaisťujúcich akceptovateľný odhad neznámych parametrov populácie, pri maximálnej časovej efektivite —základné rozhodnutie: census vs. sample —ak zvolíme náhodný (pravdepodobnostný výber), musíme poznať rozsah populácie a mať k dispozícii oporu výberu (sampling frame) — —Príklad censu: —McLoughlin and Noe (1988) – pokrytie témy voľného času v časopisoch Harper’s, Atlantic Monthly, Reader’s Digest (1960-1985); každé vydanie, celkovo 11 000 článkov — — Výberové techniky —jednoduchý náhodný výber neberie do úvahy variácie mediálneho obsahu —konštruovaný týždeň zaisťuje cyklickú variáciu obsahu pre rôzne dni z týždňa Typ obsahu Efektívna výberová technika denníky (1 rok) 2 konštruované týždne (náhodne vybrané 2 pondelky, 2 utorky atď.) týždenníky (1 rok) náhodný výber jedného čísla v každom mesiaci večerné televízne spravodajstvo (1 rok) náhodný výber 2 dní z každého mesiaca mesačníky (5 rokov) 1 konštruovaný rok (náhodne vybrané číslo z každého mesiaca) denníky (5 rokov) 9 konštruovaných týždňov (náhodne vybraných 9 pondelkov, 9 utorkov atď.) Výberové techniky: prehľad Jednotky (units) v OA —výberové jednotky (jednotky zberu dát; sampling units) —slúžia na identifikáciu populácie a vzorky —skladá sa z nich výskumný (výberový) súbor —tj. vzťahuje sa na ne výberová procedúra —kódovacie jednotky (záznamové jednotky; jednotky analýzy; units of analysis) —jednotky, ku ktorým sa viaže meranie —kategórie obsahu - premenné — —Čábelová et al. (2004): analýza vysielania Českého rozhlasu v dobe tzv. krízy v ČT —základný súbor: všetky spravodajské relácie staníc ČRo1 od 20.12.2000-8.1.2001 + spravodajské relácie ČRo6 od 20.12.2000-9.1.2001 —výberová jednotka: relácie vysielané v 7.00, 8.00, 12.00 a 18.00 —kódovacia jednotka (jednotka analýzy ): sekvencie mluvčího („úsek promluvy medzi zmenami mluvčího“) —kategórie obsahu: —poradie príspevku —stopáž relácie / sekvencie —aktér sekvencie (ten, o kom sa hovorí) —zdroj informácie —téma sekvencie —prítomnosť hodnotenia —… Jednotky (units) v OA - príklad Kategorie obsahu - premenné —identifikačné: —identifikačné číslo —dátum (deň, mesiac, rok) —typ média (celoštátne – regionálne) —rubrika —číslo článku —príp. poradie príspevku v relácii —kód média (Blesk, Sport, MFD; Nova, Prima) —analytické (obsahové): vychádzajú z procesu operacionalizácie, vzťahujú sa k hypotézam — Kategórie obsahu – rámce a rámovanie —Entman (1993:) „rámovat“ znamená: „[...] vybírat určité aspekty vnímané reality a učinit je v rámci komunikovaného textu důležitějšími tak, aby byl zdůrazněn konkrétní problém, definice, kauzální interpretace, morální zhodnocení a/nebo doporučení jak zacházet s daným objektem.“ —Rámce jsou tedy principy selekce, zdůraznění a prezentace. —frames (rámce) – 4 funkcie (Entman 1993, 2004) —definuje problém —špecifikuje príčiny a následky —pripisuje morálne hodnotenia —podporuje určité konkrétne riešenia Kategórie obsahu – rámce a rámovanie —Dimitrova, Strömbäck (2005): výskum spravodajského zarámovania vojny v Iraku: typológia zarámovania článkov: —vojnovo-konfliktný rámec (= dôraz na vojnový konflikt alebo vojenskú akciu, zameriavajúci sa na vojakov, vybavenie apod.) —rámec „ľudského príbehu“ (= human-interest; dôraz na konkrétnych účastníkov udalosti) —rámec zodpovednosti (= dôraz na stranu či osobu zodpovednú za udalosť) —diagnostický rámec (= širšia diskusia o tom, čo udalosť privodilo) —rámec vojnového násilia (= dôraz na deštrukciu, ktorú privodila vojna) —prognostický rámec (= širšia diskusia o možných dôsledkoch udalostí) —protivojnové protesty (= dôraz na demonštrácie, protesty) Reliabilita v OA —konzistencia kódovania jednotlivých kodérov —zdroje ne-reliability: —neadekvátnosť meracieho nástroja —nejasná definícia kategórií —nevhodná aplikácia meracieho nástroja —nejasné inštrukcie pre kodérov —únava, nepozornosť, stereotypné myslenie kodéra — Reliabilita v OA —inter-kodérska reliabilita —intra-kodérska reliabilita —je nutné: —jasne definovať premenné a hodnoty —vytrénovať kodérov v ich aplikácii —zmerať inter-kodérsku konzistenciu : Krippendorffova alfa (viac než 0,8); lepšie než % zhoda, Cohenova kappa, Cronbachova alfa či Scottovo pí — Validita v OA —ako dobre môj výskum meria to, čo chcem merať —reliabilita, —jasnosť definícií, —adekvátnosť teoretického konceptu, —spoľahlivosť výsledkov —ťažko merateľná: zväčša porovnanie výsledkov OA s výsledkami získanými inou metódou, ktorých validita sa už potvrdila Minimálny štandard AAPOR a WAPOR pre prezentáciu údajov v kontexte výskumu I. —kto je sponzorom výskumu —kto ho vykonal —presné znenie otázok (vrátane pokynov pre tazateľov/respondentov, ktoré môžu ovplyvniť odpoveď) —definícia populácie, ktorú má výskum reprezentovať, popis opory výberu Minimálny štandard AAPOR a WAPOR pre prezentáciu údajov v kontexte výskumu II. —postup výberu vzorky, vrátane jasného určenia metódy, ktorá bola použitá pre výber respondenta —veľkosť vzorky, údaje o návratnosti, informácie o nezahrnutých jednotkách —diskusia o presnosti výsledkov (vrátane odhadov výberovej chyby) —ktoré výsledky sú založené len na časti vzorky —metóda, lokalita, termín zberu dát Sheldon Gawiser, Evans Witt (2004): 20 otázek, které by si měl novinář položit, než začne psát o výsledcích výzkumu veřejného mínění I. —kdo vykonal výskum? —kto výskum zaplatil a prečo bol vykonaný? —koľko ľudí sa výskumu zúčastnilo? —ako boli respondenti vybraní? —z akej oblasti (štát, región) či skupiny (podnikatelia, právnici, voliči ODS) boli títo ľudia vybraní? —zakladajú sa výsledky na odpovediach všetkých dotázaných? —kto mal byť dotázaný a nebol? (miera návratnosti) —kde bol výzkum vykonaný? —ako boli vykonané rozhovory? —aká je výberová chyba? —kto vedie? (kedy má skutočne jedna strana náskok pred druhou?) —aké otázky boli kladené? —v akom poradí boli otázky kladené? —aké ďalšie výskumy boli na danú tému vykonané? Sheldon Gawiser, Evans Witt (2004): 20 otázek, které by si měl novinář položit, než začne psát o výsledcích výzkumu veřejného mínění II. Ako (ne)informovať o výskume Průzkum: Dvě třetiny lidí souhlasí, aby bohatší řidiči platili vyšší pokuty (05.09.2010 ) Zdroj: Idnes Více než 62 procent lidí souhlasí s nápadem ministra dopravy Víta Bárty, aby movitější řidiči v luxusních vozech platili za přestupky vyšší pokuty. Uvedla to agentura SANEP na základě svého průzkumu. Přes čtyři pětiny oslovených míní, že bohatším řidičům nečiní nynější maximální výše pokut žádné problémy a systému zneužívají. Internetový průzkum, který společnost SANEP uskutečnila na přelomu srpna a září, prý dále ukázal, že většina lidí se domnívá, že vyšší pokuty by mohly majitele luxusních vozů přimět k většímu respektování dopravních předpisů. Mírně nadpoloviční většina veřejnosti je přesvědčena o tom, že není spravedlivé, pokud musí za stejný dopravní přestupek zaplatit méně majetný řidič stejně vysokou pokutu jako majitel luxusního vozu. Nahlížení do majetkových poměrů polovině lidí nevadí. Pro 48,8 procenta lidí nepředstavuje problém ani případná možnost policie nahlížet do majetkových poměrů provinilých řidičů. Proti je 41,1 procenta oslovených. Zdroj: SIMAR - Sdružení agentur pro výzkum trhu a veřejného mínění Ako (ne)informovať o výskume —Parametre vzorky? —Metóda? —Generalizácia zistení na celú populáciu/verejnosť? (ide o internetovú populáciu do 70 rokov) 10 najčastejších chýb médií pri interpretácii výskumu 1.Zámena ankety so serióznym výskumom 2.Zovšeobecnenie výsledkov výskumu z konkrétnej cieľovej skupiny na bežnú populáciu (či širšiu cieľovú skupinu) 3.Interpretácia výsledkov nad rámec zisťovaných údajov 4.Nepresná interpretácia znenia otázky (či variant odpovedí) 5.Zámena výskumu a tvrdých dát Zdroj: SIMAR - Sdružení agentur pro výzkum trhu a veřejného mínění 6.Neúplná informácia (plán rozvoja „A“ má v obci podporu väčšieho počtu obyvateľov než plán „B“; ale zároveň má však plán „A“ i viac odporcov ako plán „B“) 7.Porovnávanie výsledkov metodicky neporovnateľných výskumov (iná vzorka, iná metóda – napr. anketa versus kvótny výber) 8.Uvedenie výsledkov výskumu bez zdroja (kto a ako realizoval…) 9.Použitie časovo zastaralých či vecne prekonaných dát 10.Neoverenie si pôvodu výskumu, solídnosti realizátora Zdroj: SIMAR - Sdružení agentur pro výzkum trhu a veřejného mínění 10 najčastejších chýb médií pri interpretácii výskumu