O optimismu vysokoškoláků Zuzana Zlámalová, 63092 Celkové hodnocení Ve studii se zabýváte nerealistickým optimismem, přičemž data zjišťujete na studentech MU Brno, inspiraci čerpáte primárně z Weinsteina (1980). Na Vaší studii lze ocenit opatrnost při zobecňování platnosti ověřených hypotéz, vědomí některých metodologických úskalí při interpretaci výsledků, stejně jako myšlenku přibližně stejného zastoupení mužů a žen ve výzkumu a zahrnutí očekávání kladných i záporných událostí (čímž jste mohli eliminovat zkreslení vzniknuvší při zahrnutí jednoho typu události[MS1] ). Za hlavní nedostatek považuji chudou teoretickou základnu, v níž chybí novější studie. Stejně tak volbu studie Weinsteina z roku 1980 jako primární zdroj nepovažuji za šťastnou. V teoretické části také uvádíte zkreslující vysvětlení (např. kulturní stereotyp), ne vždy citujete všechny zdroje (např. chybějící odkaz na Taylora a Browna u dispozičního optimismu), podléháte neuvážené generalizaci („přítomnost je lepší než…“, apod.). Teoretická část také nepůsobí jako kompaktní, logicky strukturovaný text a není jasné, z čeho plyne výzkumná otázka (poslední věta na úvodní straně?) a 6 hypotéz (které mohly být formulovány konkrétněji: např. „průměr“ – čeho, „šance“ k čemu[MS2] ). Dalším zásadním nedostatkem je neuvedení informací potřebných k posouzení správnosti Vaší interpretace výsledků, např. stručné konstatování k platnosti Vašich hypotéz [MS3] jste mohli dát do kontextu s výsledky Weinsteina, zamyslet se nad důvody Vašich výsledků, jejich implikacemi, ale i limitacemi a návrhy rozšíření Vašeho výzkumu. Design Vaší studie je nejasný a kromě absence klasifikace proměnných vč. intervenujících [MS4] a toho, jak jste je zahrnuli do výzkumu, zde postrádám i invenci výzkumu. Mohli jste např. hledat bílá místa ve Weinsteinově studii: např. zda se nerealistický optimismus spíše vyskytne v krátkodobém než v dlouhodobém horizontu (Harris & Hahn, 2011), nebo jste mohli porovnat tendenci nerealistického optimismu různých věkových kategorií (Brickman, 1978) studentů či sledovat rozdíly mezi prezenčními a kombinovanými studenty[MS5] . U metody sběru dat mi chybí zdůvodnění pro dotazníkový sběr dat, a to už kvůli alarmující návratnosti. To mohla přiblížit reflexe alternativních metod. Část informací poskytujete na s. 45, kde se vracíte k Weinsteinově studii. Není však jasné, zda to uvádíte proto, že se Váš sběr dat lišil, nebo proto, že byl stejný[MS6] . Mohli jste také uvést relevantní deskriptivní statistiky. Za nedostatek považuji užití diskrétních škál [MS7] s malým rozsahem (1 – 3, 1 – 7), které mohou redukovat respondentovu odpověď a způsobit zkreslení (Harris & Hann, 2011). Mohli jste, stejně tak, zmínit výhody škál (jako eliminaci podhodnocení vzorku[MS8] ). Celková prezentace výsledků nevyhovuje standardům APA[MS9] (např. design tabulek) a ztěžuje interpretaci. Nejasné jsou i některé popisky - viz tabulka č. 1: „srovnávací odhady“ – čeho?) a položky v tabulce 2 a 3 - není jasné, zda se jedná o Vámi navržené položky či nepřesný překlad Weinsteinových. Na druhou stranu oceňuji správně použité analýzy (t-test u H1 a H2), chí-kvadrát test (uvádějte celé názvy). Naopak užití korelace je doprovázeno nejasnostmi a nelze se vyhnout pochybnostem nad adekvátností postupu jejího užití[MS10] a nad interpretací jejích výsledků. Celkově Vaše studie vykazuje množství nedostatků a vágností. Z velké části se jim dalo vyhnout důslednou přípravou projektu, část lze ještě napravit korektním zodpovězením dotazů. Realizace pro Vás byla jistě časově náročná a oceňuji nemalé ambice ověřit 6 hypotéz. Někdy ale méně znamená více. Věřím, že kritiku přijmete konstruktivně a že Vás neodradí od budoucích výzkumných ambic[MS11] . Silné stránky (za co chválit[MS12] ) Slabé stránky (náměty na zlepšení) § Určitá opatrnost při zobecňování výsledků § Přítomnost škál v dotazníku, i když zvolený rozsah je diskutabilní § Hypotézy v přítomném čase[MS13] § Přibližně stejné zastoupení mužů a žen ve studii § Ambice ověřit výskyt nerealistického optimismu na vzorku studentů naší univerzity § Nedostatečná teoretická základna a nepřesnosti v teorii § Neuvedení všech údajů potřebných k posouzení výsledků studie § Pochybná interpretace některých výsledků měření (viz otázky), částečně vyplývající z předchozího bodu, částečně z vágnosti nad užitím některých statistických metod a metodologických postupů (viz otázky) § Nedostačující zohlednění vlivu vnějších proměnných § Nepřehlednost, vágnost, přílišné zobecňování Otázky pro autora studie[MS14] 1. Proč jste se rozhodli ověřovat hypotézy, které byly ověřeny v roce 1988? Co bylo Vaším záměrem? 2. Uvádíte, že studenti byli náhodně vybráni, a že vzorek byl reprezentativní. O něco níže se zmiňujete o samovýběru. Znamená to tedy, že jste dopad samovýběru zmírnili nějakou další metodou výběru vzorku, a tím jste zajistili reprezentativnost souboru? O jakou další metodu se tedy jednalo a jak jste, stručně, postupovali? 3. Jaký typ studentů jste do souboru zahrnuli? Prezenční, kombinované studenty, obojí? Jaký byl průměrný věk studentů a jejich prospěch? Jaké procento studentů opakovalo ročník? Mohl prospěch studentů či forma studia ovlivnit výsledky Vašeho výzkumu? 4. Návratnost dotazníků byla 15 % - 25 %. To je velmi nízká návratnost, která naznačuje, že výstupy nebudou objektivní (návratnost by měla dosáhnout alespoň 50 %). Kolik studentů jste celkem oslovili a jak si zdůvodňujete nízkou návratnost? Jak jste se jí snažili zabránit? 5. Jak jste sestavovali znění dotazníků, z čeho jste vycházeli? Jak byste popsali objektivitu dotazníků? 6. Zodpověděli všichni respondenti všechny otázky z dotazníků, nebo některé přeskočili? Čím si to vysvětlujete (jak byly např. formulovány otázky dotazníku, věděli respondenti, jak při vyplňování postupovat)? Zahrnovali jste do statistického zpracování i částečně nevyplněné dotazníky? 7. Návratnost 15 – 25 %, byla shodná pro všechny dotazníky, nebo se jedná o průměrnou návratnost? 8. Na každý dotazník jste použili nový vzorek studentů, nebo jste všem 200 studentům poslali všech 6 dotazníků? Nebo jste použili sloučení dotazníků, jako je tomu u studie Weinsteina (viz. 45)? 9. Z toho plyne i nejasnost nad korelační analýzou - zda dotazník „srovnávání“ a „odhadu události“ pocházel od stejného výběrového souboru nebo zda jste korelovali odhad zjištěný na jednom vzorku a srovnávání na druhém vzorku. Jak jste v tom případě kontrolovali hladinu významnosti, shodnost rozptylů daných souborů a další možné vlivy? 10. Jaké byly vnitřní konzistence použitých škál dotazníků? 11. Weinstein volí jiný počet, a někdy i typ hodnocených událostí. Na čem je vaše rozhodnutí použít menší počet událostí postaven a na základě jakého klíče jste volili odlišné typy událostí? 12. Jak jste získali informovaný souhlas respondentů a jak jste jim záměr výzkumu prezentovali (znali např. respondenti záměr studie či hypotézy)? 13. Proběhl na konci výzkumu debriefing? Jak jste seznámili ZO s výsledky studie? 14. Byly všechny události uvedené v dotaznících jednoznačně pozitivní nebo negativní? Nemohla by mít případná nejednoznačnost vliv např. na průměrnou hodnotu pozitivní položky „stát se společensky významnou osobností“ (někdo se jí třeba stát nechce), u níž se neprokázal signifikantní výsledek? 15. Vzhledem k tomu, že jste nespecifikovali intervenující proměnné, jak jste s nimi ve výzkumu počítali, jak jste je eliminovali? Co např. self-report respondentů? 16. Jakým způsobem jste určili potřebné množství vzorků, abyste zajistili reprezentativnost dat? 17. Jak jste se snažili zajistit interní (samovýběr a malá návratnost ji snižují) a externí validitu projektu (která závisí na reprezentativnosti použitého vzorku)? 18. Jaká je odlehlost výsledků při použité hladině významnosti, popř. odchylky od průměrných hodnot? Tzn., objevily se ve Vašich datech extrémní hodnoty? Mohly mít na výsledné statistiky a jejich interpretaci nějaký vliv? 19. Mohlo ve Vašich datech dojít k regresnímu efektu? Jak by se to mohlo na interpretaci výsledků projevit? 20. Jaký design výzkumu jste, obecně, zvolili, a proč? 21. Kterým typem t-testu jste ověřovali hypotézy H1 a H2? 22. Jaké byly stupně volnosti t-testu, velikosti účinku, síla testu? 23. Jaké byl koeficient kontingence a síla testu použitého chí-kvadrát testu? 24. Jakou korelaci jste použili na průměry srovnávacích charakteristik (tedy hodnoty z dotazníku 1) s průměrnými hodnotami charakteristik události uvedených v hypotézách 2 – 6 (tabulka 4), když data vyplývající z hypotéz/dotazníků 3 – 6 jsou ordinálními typy proměnných? 25. Můžete uvést u všech korelací velikost účinku a scatterploty? 26. Na straně 41 píšete, že korelace mezi poměrem optimistických/pesimistických odpovědí a hodnotami srovnávacích odhadů (tabulka 2) je 0,53. Co přesně nám tento vztah říká? 27. K tabulce 3: na s. 41 tvrdíte, že „nejvíce patrná optimistická tendence se projevila v hodnocení události povolání jako seberealizace“ – ale tento výsledek Vám nevyšel statisticky průkazný (alespoň to v tabulce není zaznamenáno)? Můžete to prosím upřesnit? 28. Výsledky tabulky 4 interpretujete tak, že „respondenti hodnotili optimisticky pravděpodobnost výskytu událostí v souvislosti s vnímanou pravděpodobností, žádoucností a osobní zkušeností“. Toto stručné shrnutí mi přijde ne zcela přesně formulované. Měli byste zohlednit fakt, že statisticky významné Vám vyšly korelace, které zahrnovaly kladné i záporné události a fakt, že u vnímané kontrolovatelnosti Vám statisticky významná vyšla pouze korelace s pozitivními událostmi. Moje otázka: Na co podle Vás tyto Vaše výsledky poukazují a proč si myslíte, že Vám to takto vyšlo? V diskuzi se tím také dále nezabýváte – prosím srovnejte tyto své výsledky s výsledky Weinsteina, když už jeho už jeho výzkum v podstatě replikujete. 29. V souvislosti s výsledky uvedenými v tabulce 4 by mě zajímalo, zda každá „charakteristika události“ (sloupec 1) působila na odhad pravděpodobnosti pozitivních/negativních/všech událostí izolovaně od ostatních nebo zda ve Vámi sledovaných „dyadických vztazích“ nemohl „skrytě“ působit vliv třetí položky (ze sloupce 1)? Jak byste to zohlednili? 30. V tabulce 2, u pozitivní události 3, 8[1] a negativní události 2, 7, 8, 10 Vám vyšly jiné výsledky (ve smyslu signifikantnosti) než Weinsteinovi – čím si to vysvětlujete? V diskuzi uvádíte pouze domněnku kulturní rozdílnosti (kterou nemáte teoreticky podloženou)? 31. Naopak u pozitivní položky č. 9 a u negativních položek č. 1, 4, 5, 7, 9, 15 Vám, co do ne/signifikantnosti vyšly výsledky podobně jako Weinsteinovi. Čím si to vysvětlujete? Můžeme např. usuzovat na to, že tyto položky lze považovat za shodné pro českou i americkou populaci? Proč ano a proč ne? Do jaké míry můžeme takové tvrzení, s ohledem na výsledky, design a úskalí Vašeho výzkumu, zobecnit? 32. Na základě čeho jste při interpretaci výsledků definovali míru optimismu a pesimismu jako mírnou a výraznou, z čeho tato klasifikace vychází? 33. Proč si myslíte, že Vám výsledky (viz tabulka 2) vycházely signifikantní pouze u smíšeného pohlaví, a proč tvrdíte, že existují rozdíly mezi muži a ženami, když se jako signifikantní neprokázaly? U studie Weinsteina signifikantní rozdíly mezi muži a ženami také nalezeny nebyly (přesto přibližně stejně zastoupení pohlaví oceňuji, viz hodnocení). Co přesně jste tedy měli rozdílností pohlaví na mysli? 34. Taktéž s. 44, kde píšete, že srovnání odhadů mužů a žen na „něco“ poukazuje. Uvádíte ale pouze výsledky srovnávacích odhadů mužů a žen v tabulce 2, které nejsou signifikantní. Takže jste ještě provedli korelace charakteristik událostí a odhadů podle pohlaví? Proč v takovém případě nejsou nikde uvedeny, např. v další tabulce? A vyšly tyto případné korelace statisticky významné? Jaký druh korelace jste použili? 35. V tabulce 3 uvádíte podíl optimistických a pesimistických odpovědí. Signifikantní Vám vyšly u pozitivních událostí položka 2 (Weinstein takovou položku neuvádí) a u negativních položka 1 a 5 (signifikantně vyšly i Weinsteinovi). Vaše výsledky se rozchází např. u pozitivní položky 1, u negativních položek 7, 9, 14. Zajímá mne, jak si vysvětlujete tyto rozdíly a co jste uvedením podílů chtěli přesně sdělit, když v diskuzi je nezohledňujete. 36. Ohledně specifik srovnávání u H6: hodnotil jedinec pravděpodobnost výskytu události na základě vlastní zkušenosti nebo měl k dispozici objektivní statistické údaje (nebo obé)? 37. V diskuzi hovoříte o tom, že hypotéza 6 nebyla potvrzena (viz tabulka 4) – to je stejné jako u Weinsteina. Proč si myslíte, že došlo ve Vašem případě k jejímu zamítnutí? Mohla na to mít vliv např. Vaše volba negativních položek? U ostatních hypotéz Vám vyšly signifikantní výsledky korelace s položkou Všechny události a v jednom případě s položkou Pozitivní události. Ale Weinsteinovi vyšly signifikantní korelace všech položek sloupce 1 (Event charakteristic) s položkou Všechny události. Můžete prosím porovnat tyto Vaše výsledky s výsledky Weinsteina? 38. Jak byste obecně shrnuli přínos svojí studie, výsledků, které jste zjistili? V čem může být Vaše studie nápomocna? Kam nás Vaše výsledky posouvají a co byste doporučili pro budoucí výzkum? Použitá literatura[2] Asendorpf, J. B. & Ostendorf, F. (1998). Is Self-enhancement healthy? Journal of Personality and Social Psychology, 4, 955 – 966. Retrieved October, 29, 2012, from http://scholar.google.cz Brickman, P., Coates, D. & Janoff-Bulman, R. (1978): Lottery Winners and Accident Victims: Is Happiness Relative? Journal of Personality and Social Psychology, 8, 917 – 927. Retrieved October, 29, 2012, from http://scholar.google.cz Harris, A. J. L. & Hahn, U. (2011). Unrealistic Optimism About Future Life Events: A Cautionary Note. Psychological Review, 1, 135 – 154. Retrieved October, 29, 2012, from http://scholar.google.cz Robins, R. W. & Beer, J. S. (2001). Positive illusions about the self: short-term benefits and long-term costs. Journal of Personality and Social Psychology, 2, 340 – 352. Retrieved October, 29, 2012, from http://scholar.google.cz Taylor, S. E. T. & Brown, J. D. (1994): Positive Illusions and Weil-Being Revisited: Separating Fact From Fiction. Psychological Bulletin, 16, 21 – 27. Retrieved October, 29, 2012, from http://scholar.google.cz Weinstein, N. D. (1980): Unrealistic Optimism About Future Life Events. Journal of Personality and Social Psychology, 5, 806 – 820. Retrieved October, 29, 2012, from http://scholar.google.cz ________________________________ [1] Pořadí odpočítána ručně po řádku. [2] Ostatní odkazy uvedené ve studii o optimismu nenalezeny (v odkazech chybí, z jaké databáze byly staženy). ________________________________ [MS1]Je dobré, že začínáte pozitivy a přitom nesklouzáváte ke klišé „zajímavé téma“. [MS2]Dobře vystihujete zásadní nedostatky teoretického ukotvení výzkumu a hypotéz. Ty mají i další vady – slučují více tvrzení dohromady, obsahují pojmy, které nejsou operacionalizovány aj. [MS3]Souhlasím, že výsledky si zasloužily mnohem důkladnější rozbor. V první řadě mělo jít o interpretace výsledků vzhledem ke všem stanoveným hypotézám. [MS4]Upozorňujete na důležitou věc. [MS5]Líbí se mi, že uvažujete nad možnostmi, jak výzkum provést jinak a lépe. Pokud dáváte doporučení zaměřit výzkum jiným směrem, bylo by vhodné podpořit jej i zdůvodněním a oporou v literatuře. [MS6]Správně poukazujete na netransparentnost použité metody. Dodám, že ani nevíme, na základě jakých kritérií byly vybrány položky z originálního dotazníku, jak proběhl převod do češtiny ad. [MS7]Škály pro odpovědi mají i jiné vady. Obsahují např. nestejně velké a překrývající se intervaly nebo nevylučující se kategorie. [MS8]Nerozumím, co máte na mysli. [MS9]Souhlasím. Výsledky jsou nepřehledné, dále jsou prezentovány výsledky na různých hladinách významnosti, je nepřesně používána terminologie ad. [MS10]Trefujete se do černého. Nejsou doloženy předpoklady pro užití korelační analýzy a chybí i řada deskriptivních statistik. [MS11]Líbí se mi povzbuzující zakončení. [MS12]Oceňuji, že jste nalezla i dílčí aspekty k pochválení. [MS13]Až na H5. [MS14]Otázek mělo být max. 5! Smyslem otázek není, aby se do nich promítly všechny pochybnosti, které se nevešly do celkového hodnocení. Pokud by byl v zadání úkolu stanoven max. rozsah na celou práci, byl by to důvod ke vrácení. Líbí se mi, kam svými otázkami směřujete a že nezůstáváte na povrchu. Oceňuji i otevřenou formu otázek. Celkově: Podařilo se Vám identifikovat řadu zásadních nedostatků studie. Zároveň jste objevila i nějaká pozitiva, což oceňuji. Je zřejmé, že jste studii četla pozorně a přemýšlela o ní. Ve svých otázkách jdete k jádru věci. V celkovém hodnocení se však relativně více soustředíte na formální aspekty výzkumné zprávy, méně prostoru věnujete tomu, co přímo souvisí s validitou výzkumu. Některé důležité nedostatky studie jste ponechala bez vyjádření – viz mé komentáře. Při příští příležitosti doporučuji uvést klíčové hned na začátku a teprve když zbyde prostor, věnovat se detailům. I přes zmíněné rezervy jste prokázala náležité metodologické uvažování a Váš posudek hodnotím jako PŘIJAT. Děkuji za svědomitě odvedenou práci.