Systematická přehledová studie Postupy a příklady Tomáš Řiháček Doktorandský seminář, 11. 10. 2024 Teoretická studie Přehledová studie Metaanalýza Teoretická studie Přehledová studie Metaanalýza • Vytváří novou či kriticky analyzuje existující teorii, zpřesňuje koncepty • Empirické poznatky jsou používány výběrově tak, aby sloužily tomuto cíli • Používání empirických studií reprezentativní, ne nutně vyčerpávající Teoretická studie Přehledová studie Metaanalýza • Narativně sumarizuje a hodnotí poznatkovou základnu v určité oblasti, zachycuje trendy • Nemá teoretická ambice • Cíl se může lišit podle konkrétního typu • Může zahrnovat kvantitativní, kvalitativní i smíšené studie Teoretická studie Přehledová studie Metaanalýza • Systematicky analyzuje/syntetizuje empirické poznatky ve vztahu k určité výzkumné otázce • Využívá všechny relevantní studie • Obvykle buď kvanti, nebo kvali • Metoda analýzy analogická k primárním studiím Teoretická studie Přehledová studie Metaanalýza Systematická přehledová studie • Narativní sumarizace (podobně jako review) • Požadavek úplnosti (jako metaanalýza) • Může zahrnovat i kvantifikaci • Metaanalýzu lze chápat jako speciální případ systematic review Typy systematických review • Rapid review • Co víme o problému • Scoping review • Zmapování šíře • State-of-the-art review • Nové poznatky, co dál • Umbrella review • Review of reviews • Meta-analysis • Formální analýza Postup – aneb nic nového \ • Formulace výzkumné otázky • Zvážení preregistrace • Vyhledání a selekce primárních studií • Zhodnocení primárních studií • Příprava dat • Analýza/syntéza dat • Kredibilita • Prezentace a diskuze zjištění Formulace výzkumné otázky • Obvykle zahrnuje předběžný search • Speciálně věnovat pozornost existujícím přehledovkám a preregistracím! • Příklady otázek • Jak jsou metody vycházející z teorie komplexity využívány ve výzkumu psychoterapie? (Klocek et al., 2024) • Jaké psychologické mechanismy změny byly zkoumány v psychologické léčbě pacientů s MUPS? Které z nich souvisely s výsledkem terapie? (Pourová et al., 2020) • Jaký je vztah mezi významnými událostmi v psychoterapii na jedné straně a výsledkem a/nebo procesem psychoterapie na straně druhé? (Pivolusková et al., 2021) • Sumarizovat konceptualizace společných účinných faktorů vycházejících z výkladového rámce aktivní inference (Hubatka & Řiháček, 2024) Preregistrace • PROSPERO • https://www.crd.york.ac.uk/prospero/ • Plus • Může usnadnit proces publikace • Některé časopisy už preregistraci vyžadují • Mínus • Může výzkumníka zablokovat (úzkost, nekonečné zvažování variant a možných scénářů) • Může práci zdržet o řadu měsíců • Udělejte to tak, aby vám to dávalo smysl • Nenechte se tím příliš zdržet! Vyhledávání a selekce • Databáze + reference + „šuplík“ • Zafixovat vyhledávací řetězec (replikovatelnost) • Snažíme se získat i studie s nedostupným fulltextem (RG, mail autorům) • Kritéria inkluze a exkluze • Vymezit předem (preregistrace) • Lze upravovat/upřesňovat • Nutno specifikovat důvod vyřazení • Dvoustupňový proces 1. Název + abstrakt 2. Plný text • Pomocníci • Citační manažery (dokumentace postupu) • AS Review – https://asreview.nl/ • Scopus AI – https://blog.scopus.com/posts/introducing-copilot-a-new-feature-for-scopus- ai-to-handle-specific-and-complex-queries • Před finalizací manuskriptu doporučeno updatovat • PRISMA flow diagram • http://www.prisma-statement.org/PRISMAStatement/FlowDiagram Vybíral et al. (2023) Vyhledávání a selekce • Primární studie, které mají VO odlišnou od naší? • Studie, kde se naší otázce věnuje jen část výsledků? • Různost metodologií? • Všechny studie vs. princip teoretické nasycenosti? • Jaký je dostatečný počet? • Jennings et al. (2008) – dvě studie • Levitt et al. (2016) – 109 studií Zhodnocení primárních studií • Volba hodnoticího schématu (např. Harden et al., 2004; Long & Godfrey, 2004) • Epistemologie/teoretický rámec, tvorba vzorku, sběr dat, analýza dat, validizační postupy • Vyřazování studií na základě kvality? Nutno zvážit důsledky • Typické dilema: zahrnovat šedou literaturu (nepublikované práce, diplomky, dizertace)? • QMA je obvykle robustní vůči zařazení méně kvalitních studií (Levitt, 2018) • Zahrnutí studií různé kvality umožňuje posoudit vliv metodologie na výsledky primárních studií (př. Levitt et al., 2017) Ladmanová et al. (2022) Příprava dat • Extrakce výsledkových částí primárních studií, kontextuální informace • Do textového souboru, tabulky - podle povahy dat • Pracovat systematicky (lze přiložit jako supplementum) • Pozornost věnovat deskripci primárních studií (tabulka) • Interpretace bez explicitní evidence? • Pozor na výskyt výsledků na neobvyklých místech (metoda, diskuze) • Více studií vycházejících ze stejného projektu? Pivolusková et al. (2021) Agregace dat • Různá míra „analytičnosti“ podle typu review • od deskripce, přes agregaci a sumarizaci až po metaanalýzu • V případě metaanalýzy: kvalitativní či kvantitativní analýza podle povahy dat • Nutno hledat nejvhodnější postup s ohledem na výzkumnou otázku a povahu dat • Někdy je nutné být kreativní • Bottom-up vs top-down? (Levitt et al., 2016) • Respektovat kategorie primárních studií vs „rozbít“ původní strukturu a resyntetizovat výsledky (Levitt, 2018) • Frekvenční analýza? • Posouzení vlivu metodologie primárních studií na výsledky? Příklad: definice konstruktů Hubatka & Řiháček (2024) Pourová et al. (2020) Příklad: odvození principů pro praxi Řiháček & Čevelíček (2020) Příklad: průběžné shrnování Pivolusková et al. (2021) Příklad: výsledky QMA v tabulce Jonášová et al. (2024) Polakovská & Řiháček (2022) Příklad: reportování frekvencí v QMA Příklad: „kreativní“ kvantifikace Pourová et al. (2020) Příklad: Meta-method study Levitt et al. (2017) Specifika přehledovek • Úvod • Jak ho koncipovat, když nemůžeme (neměli bychom) používat primární studie? • Předcházející přehledovky • Ujasnění konceptů • Zdůvodnění potřeby review, zasazení do širšího kontextu • Metoda • Sekce analogická empirickým studiím • Vyhledávací řetězec, datum vyhledávání, kritéria inkluze/exkluze • Hodnocení studií, extrakce dat, postup analýzy • Zajištění kredibility (více výzkumníků, audit) Specifika přehledovek • Výsledky • Začít deskripcí primárních studií • Pokračovat prezentací výsledků podle typu review • Diskuze • Vyhnout se pouhé rekapitulaci výsledků • Očekává se zásadnější zhodnocení stavu oblasti • Implikace pro další praxi či další výzkum (podle typu review), být konkrétní, lze formulovat i metodologická doporučení • Reference: zahrnout i primární studie (*) • Obrázky: flow chart • Tabulky: deskripce pirmární studií, sumarizace výsledků • Supplementa: co se nevešlo… Limity • Obvykle nemáme přístup k primárním datům, je obtížné zohlednit kontext • Výsledky, které analyzujeme, jsou již z různě velké části interpretacemi autorů primárních studií • Primární studie mnohdy odpovídají na různé otázky, mají různou šíři záběru, stavějí na různých epistemologických přístupech • Výzkumník může výsledek značně ovlivnit (zvláště je-li v oblasti osobně angažován) Počítejte s časovou náročností (podobná jako u empirických studií) ! ! ! Pro inspiraci… Systematické přehledové studie • Hubatka, P., & Řiháček, T. (2024). Common factors viewed through the lens of the active inference framework: A mapping review. Journal of Psychotherapy Integration. Advance online publication. https://doi.org/10.1037/int0000350 • Klocek, A., Premus, J., & Řiháček, T. (2023). Applying dynamic systems theory and complexity theory methods in psychotherapy research: A systematic literature review. Psychotherapy Research, 34(6), 828–844. https://doi.org/10.1080/10503307.2023.2252169 • Pivolusková, H., Řiháček, T., Čevelíček, M., & Ukropová, L. (2021). Are client- and therapist-identified significant events related to outcome?: A systematic review. Counselling Psychology Quarterly, 34(1), 1-20. https://doi.org/10.1080/09515070.2019.1642851 • Pourová, M., Klocek, A., Řiháček, T., & Čevelíček, M. (2020). Therapeutic change mechanisms in adults with medically unexplained physical symptoms: A systematic review. Journal of Psychosomatic Research, 134, 110124. https://doi.org/10.1016/j.jpsychores.2020.110124 • Řiháček, T., Pavlenko, P., & Franke, H. (2017). Účinnost psychoterapeutických postupů u pacientů s medicínsky nevysvětlenými tělesnými symptomy: Shrnutí metaanalýz a přehledových studií. Československá psychologie, 61(4), 350-362. Kvalitativní metaanalýzy • Danelová, E. (2017). Influence of personal therapy on psychotherapists‘ professional development: Qualitative meta-analysis [Doctoral dissertation, Faculty of Social Studies, Masaryk University, Brno]. https://is.muni.cz/th/mo7la/PhD_Ester_Danelova.pdf • Heřmánková, K., Řiháček, T., & Gocieková, V. (2024). Psychotherapists’ experience with spirituality and religiousness in psychotherapy: A qualitative meta-analysis. Journal of Psychotherapy Integration. Advance online publication. https://doi.org/10.1037/int0000338 • Jonášová, K., Čevelíček, M., Doležal, P., & Řiháček, T. (2024). Psychotherapists’ experience with in-session use of routine outcome monitoring: A qualitative meta-analysis. Administration and Policy in Mental Health and Mental Health Services Research. https://doi.org/10.1007/s10488-024-01348-4 • Ladmanová, M., Řiháček, T., & Timulak, L. (2022). Client-identified impacts of helpful and hindering events in psychotherapy: A qualitative meta-analysis. Psychotherapy Research, 32(6), 723-735. https://doi.org/10.1080/10503307.2021.2003885 • Polakovská, L., & Řiháček, T. (2022). What is it like to live with medically unexplained physical symptoms? A qualitative metasummary. Psychology & Health, 37(5), 580-596. https://doi.org/10.1080/08870446.2021.1901900 • Vybíral, Z., Ogles, B. M., Řiháček, T., Urbancová, B. & Gocieková, V. (2024). Negative experiences in psychotherapy from clients’ perspective: A qualitative meta-analysis. Psychotherapy Research, 34(3), 279-292. https://doi.org/10.1080/10503307.2023.2226813 Teoretické studie • Řiháček, T., & Roubal, J. (2017). Personal Therapeutic Approach: Concept and implications. Journal of Psychotherapy Integration, 27(4), 548-560. https://doi.org/10.1037/int0000082