Název studie: Osobnost mediků Autor posudku: Pavel Dočekal Celkové hodnocení Autoři studie sledovali rysy, které mohou mít prediktivní hodnotu pro pozdější uplatnění v lékařské praxi. Podařilo se shromáždit vzorek 2682 studentů pátých ročníků 1.lékařské fakulty Univerzity Karlovy. Jelikož pro svůj výzkum použili standardizované dotazníky (Eysenckův osobnostní dotazník a Bortnerův dotazník pro chování typu A), poskytli autoři srovnávací údaje pro další studie v této oblasti. Zvolený způsob vyplnění dotazníků zajistil jejich 100%ní návratnost[MS1] . Studie poskytla zajímavé srovnání mezi počátkem (rok 1989) a koncem studie (rok 2003), ve kterém proběhlo v naší zemi množství celospolečenských změn. [MS2] Výsledky studie byly dány do souvislosti s potřebou profese lékaře. Nedostatkem studie se jeví nedostatečné zaměření (a zejména jeho zdůvodnění). Pro výběr sledovaných rysů byla použita studie Mayo clinic . Přečteme-li si tuto studii, zjistíme, že jejím limitem je, že byla provedena pouze na pacientech jedné instituce a byla kvalitativní. Výběr dalších rysů byl autory proveden bez jakéhokoliv odkazu na jiné studie či stávající stav poznání.[MS3] Autoři použili velmi málo odborných zdrojů. [MS4] Výzkumnou otázku ve studii nenalezneme a dále pouze předpokládám, že tři věty uvedené v sekci výzkumná otázka představují hypotézy, které však nejsou nijak teoreticky podloženy. Např. poslední uvádí očekávání autorů, že případné rozdíly se budou u mediků jevit ve směru vlastností, žádoucích pro postoje a chování lékaře - bez specifikace z jakého pohledu se chtějí autoři dívat na chování či postoje lékaře. Z hlediska pacienta? [MS5] Lékaře? Společnosti? Etického kodexu lékaře? Či konkrétního lékařského zaměření? Je tedy obtížné posoudit správnost volby vybraných dotazníků a jejich konstruktovou validitu. U použitých dotazníků se nedozvídáme kdy je a kdy není vhodné jejich použití, nic o jejich reliabilitě a validitě. Pro zdůvodnění volby dotazníků chybí porovnání s dalšími dotazníky, které jsou používány pro zjišťování osobnostních vlastností(MBTI, Kalifornský osobnostní dotazník, Big Five, Sixteen Personality Factor). Samotný Eysenckův dotazník existuje hned v několika variantách. Referenční skupina používala jen Bortnerův dotazník (ověřil jsem si v autory uvedeném zdroji), a ani od autorů, ani v uvedeném zdroji se nedozvídáme, jakým způsobem byl vybrán vzorek.[MS6] Ve výsledcích se dozvídáme, že naměřené údaje Eysenckova dotazníku odpovídají hodnotám normální populace. Tyto hodnoty však nejsou nikde uvedeny a ani nevíme, kdo to je ta normální populace[MS7] . Soubor mediků byl tedy porovnáván s dvěma rozdílnými skupinami, o nichž nemáme žádné informace. [MS8] To výrazně snižuje validitu studie. Možné intervenující proměnné nejsou autory ve studii zmíněny vůbec.[MS9] Chyby v designu výzkumu a zejména nedostatečné informace o referenční skupině a normální populaci mne vedou k závěru, že na hypotézy autorů nelze odpovědět pomocí zvoleného designu výzkumu. Nedostatečně se autoři věnují aplikaci výsledků své studie a námětům na další výzkum (svoji myšlenku vzápětí zamítají). Zjištění autorů nebyla propojena se stávajícími zjištěními (nejsou ve studii uvedeny vůbec). Přijde mi , že primárním cílem studie byl sběr dat a až poté se autoři začali zamýšlet jak by se tato data mohla použít v nějaké studii. Zdá se, že i dotazníky byly vybrány dříve, než byly stanoveny cíle studie. [MS10] Jinak si lze těžko vysvětlit nedostatečnou analýzu současného stavu poznání v dané oblasti , zdůvodnění volby studie, použité metody a volby referenční skupiny. Vzhledem k chybám v designu výzkumu má tato srovnávací studie dle mého názoru nízkou hodnotu a její validita je sporná. Silné stránky Slabé stránky § Velikost zkoumaného vzorku a délka zkoumání § Použití standardizovaných dotazníků § Použití standardizovaných testů pro ověření normality rozložení jednotlivých souborů a pro rozdíly mezi soubory * Nedostatečné zaměření studie a nedostatečné zdůvodnění výběru konkrétních osobnostních charakteristik, které jsou předmětem studie * Nedostatečné zaměření studie a nedostatečné zdůvodnění výběru konkrétních osobnostních charakteristik, které jsou předmětem studie * Absence popisu dosavadního stavu poznání, analýza dosud provedených studií a jejich dopadu na stanovení konstruktů použitých ve studii, nedostatečné množství použitých odborných zdrojů * Autoři se ve své studii nezamýšlí nad možnými intervenujícími proměnnými, nad možným ohrožením validity výsledků * Zásadní chyby v designu studie (o referenční skupině nemáme žádné informace kromě věkového rozmezí, o normální populaci nemáme vůbec žádné informace) * Absence výzkumné otázky, hypotézy nejsou formálně označeny Otázky pro autora studie[MS11] 1. Byly cíle vaší studie stanoveny před jejím zahájením nebo až později ? Jestliže později, tak proč a kdy to bylo ? 2. Jaká byla vaše výzkumná otázka ? 3. Jsou tři věty uvedené v sekci výzkumná otázka skutečně vašimi třemi hypotézami ? 4. Pro výběr osobnostních vlastností a postojů lékařů byla použita pouze jedna studie. Proč nebylo použito více odborných zdrojů pro stanovení cílů studie či ve studii obecně ? Používali zdroje i z roku 2009, předpokládal bych tedy že jste měli k dispozici i množství elektronických zdrojů.Byly jste v přístupu k těmto zdrojům nějak omezeni ? 5. Jakým způsobem byl proveden výběr mediků ? Zmiňujete, že dle lokálního rozpisu výuky seminářů z hygieny a epidemiologie a vždy od více než poloviny (až tří čtvrtin) mediků. Popište prosím přesně způsob výběru a uveďte o jaký druh výběru se jednalo a jeho zdůvodnění. 6. Proč byli vybráni do souboru studenti pátého ročníku ? Jak by byla vaše studie ovlivněna v případě, že by byly vybráni studenti z nižších ročníků ? 7. U vybraného vzorku nebylo zdůvodněno, proč jste si vybrali právě studenty pátého ročníku LF UK. Rovněž popisy výběru studentů "dotazníky byly získány vždy od více než poloviny (až tří čtvrtin) mediků každého ročníku dle lokálního rozpisu výuky" a vyhodnocení dotazníku "studenti si pak dotazníky sami vyhodnocovali dle programu v osobním počítači" nedávají jasný obraz o tom, jak byli studenti vybráni a data zpracována. Takovéto hrubé popisy svádí k zamyšlení se nad intervenujícími proměnnými (např. špatné naprogramování vyhodnocení dotazníku, špatné zadání dat při vyhodnocování dotazníku, vynechání studentů některých oborů kteří neměli předmět hygiena a epidemiologie v pátém ročníku či ho měli v jiném rozsahu). Vyskytli se ve vaší studii nějaké intervenující proměnné ? Jestli ano, popište prosím, jaké postupy jste použili k zamezení jejich vlivu. Jaký vliv měli intervenující proměnné na interní validitu ? 8. Proč byly ve studii použity právě Eysenckův a Bortnerův dotazník ? Porovnali jste tyto dotazníky s dalšími osobnostními dotazníky a co byly hlavní důvody, které vás vedli k volbě právě těchto dotazníků ? 9. Referenční skupina, kterou používáte pro Bortnerův dotazník není stejná jako "normální populace", kterou používáte pro Eysenckův dotazník. Skupinu mediků tedy porovnáváte s dvěmi rozdílnými skupinami (normální populace o které nic nevíme, ani výsledky pro Eysenckův dotazník) a referenční skupina pro Bortnerův dotazník. Proč byl vybrán takovýto způsob srovnání ? Jakým způsobem ovlivnil validitu vaší studie ? 10. U Bortnerova dotazníku nepopisujete jakým způsobem byl tento dotazník vyplňován studenty. Jak se tento způsob lišil od způsobu, který byl použit u referenční skupiny (zde jsem při studiu vámi uvedeného zdroje zjistil, že byl použit poměrně specifický grafický způsob vyplnění dotazníku). V případě rozdílného způsobu vyplnění dotazníku skupinou mediků a referenční skupinou, vyskytli se z vašeho pohledu intervenující proměnné a jak jste se vypořádali s jejich vlivem ? 11. Není zcela jasné jak si studenti test sami vyhodnocovali na počítači a zajímá mne zdali studenti při tomto vyhodnocování mohli data nějak ovlivnit a pokud ano, jaké kroky byly učiněny aby se této situaci předešlo ? 12. Byl od účastníků studie získán informovaný souhlas ? Jak byl proveden debriefing ? Mohli studenti v průběhu vyplňování či vyhodnocování dotazníků tuto činnost ukončit a odejít ? 13. Zmiňujete, že pro ověření normality rozložení jednotlivých souborů použili i Mann Whitneyův test - jeho výsledek však není nikde uveden. Jaký byl ? 14. Uvádíte, že studie byla anonymní. Jakým způsobem bylo zajištěno, že účastníci testů je neabsolvovali více než jednou (např. při opakování předmětu)? 15. Ve studii zmiňujete, že komplexnější techniky (MANOVA) nebyly použity pro komplikovanost a možnou nejasnost interpretace daných dat. Můžete být konkrétní a zmínit jaké nejasnosti jste očekávali a zároveň uvést jaké benefity jste zvažovali že by vám v této konkrétní studii MANOVA mohla přinést ? 16. Ve výsledcích uvádíte, že naměřené údaje Eysenckova dotazníku odpovídají hodnotám normální populace. Avšak nikde ve studii hodnoty normální populace nejsou uvedeny a ani se nedozvídáme kdo je "normální populace". Toto tvrzení tedy nelze ověřit. Jaký byl váš zdroj pro hodnoty "normální populace" Eysenckova dotazníku a jakým způsobem tento zdroj provedl výběr ? 17. Jelikož studie byla publikována v časopise Československá Psychologie v roce 2012 (tedy 23 let po zahájení a 9 let po ukončení sběru dat). Proč byla studie publikována až s takovým časovým odstupem ? ________________________________ [MS1]Je otázkou, jak přesně sběr probíhal. Bohužel nám autoři kromě této informace nedávají příliš dalších, takže si nemůžeme udělat přesný obrázek. [MS2]Zajímavá byla potenciálně ta možnost. Autoři ji bohužel moc nevyužili. [MS3]Ano, autoři rovnou přicházejí s metodami. Konkrétními rysy (konstrukty) a jejich volbou se překvapivě nezabývají. [MS4]Ano, to je zásadní problém. Celkově teoretické ukotvení je nedostatečné a představuje zásadní nedostatek celé práce. [MS5]Ano, hypotéza je nesmyslná. K tomu obsahuje i formální nedostatky. [MS6]Máte pravdu. Existuje možnost, že vzorek ani vybírán nebyl, neboť autoři jednoduše použili již dříve sebraná data. [MS7]Ano, to je zásadní problém. [MS8]Přesně tak. Těžko si udělat představu o tom, s kým vlastně mediky porovnali a tedy i těžko usuzovat, co výsledky tohoto srovnání znamenají. [MS9]Nejsou. A je jich mnoho. Kupříkladu jaká byla motivace studentů k vyplnění dotazníků? Nezapomínejme, že se jedná o sebeposuzovací škály. [MS10]Přesně tento pocit mám také. Proto komentář č. 6. [MS11]Otázkami směřujete k zajímavým (a důležitým tématům). Pouze pozor na otázky typu „Proč?“, které mohou vyznít jako skryté výčitky. Pro příště by stačilo otázek méně, např. 5 stěžejních. CELKOVÉ HODNOCENÍ: Ve svém posudku jste identifikoval několik zásadních slabin předložené studie. Oceňuji, že jste je pouze nevyjmenoval, ale místy jste se u nich pozastavil, položil související otázky či je podrobněji rozpracovala. Díky tomu je možné lépe nahlédnout do Vašeho metodologického uvažování. Některé části studie by zasloužily pozornosti více, kupříkladu statistická analýza, která je místa nesmyslná, neboť se zabývá srovnáváním rozdílů, které nebyly autory nijak předpokládány. Také diskuse obsahuje mnoho chyb, objevují se v ní neoprávněné soudy či zcela nové konstrukty, které nebyly součástí studie. Váš posudek PŘIJÍMÁM. Děkuji, MS.