Metaanalýza,
(Systematická) review
Přednáška 5 | 29. 10. 2024
PSYn4790 | Psychometrika: Měření v psychologii
Katedra psychologie, Fakulta sociálních studií MU
Tomáš Vojtíšek | vojtisektomas@mail.muni.cz
Obsah přednášky
Proč systematicky? Proč meta?
Meta analýza. Výsledky, výpočty, interpretace.
Systematická review. Není příliš systematická? Je dost review?
Úskalí.
Chceme odpovědi na důležité otázky
̶ Co víme o …?
̶ Jaké existují …?
̶ Jak účinná je …?
̶ Jak se liší v účinnosti …?
Kde najdeme ty odpovědi?
̶ Už to někdo zkoumal?
̶ Ne.
̶ -> Hledám špatně?
̶ -> Má smysl to zkoumat?
̶ -> Zvládnu to vyzkoumat sama?
Kde najdeme ty odpovědi?
̶ Už to někdo zkoumal?
̶ ano, je na to jedna studie, která říká, že to funguje.
̶ Stačí to?
“Non-reproducible single
occurrences are of no
significance to Science.”
Popper, K. (1956). The logic of scientific discovery: Routledge.
POPPER (1956, s. 66)
„No isolated experiment,
however significant in itself,
can suffice for the
experimental demonstration
of any
natural phenomenon.“
FISHER (1971, s. 13)
Fisher, R. (1971). The Design of Experiments. Hafner Publishing Company. 1st ed. 1935.
Kde najdeme ty odpovědi?
̶ Už to někdo zkoumal?
̶ Ano, našel jsem o tom padesát studií
̶ …
✨Meta-analýza✨
✨Meta-analýza✨
✨Meta-analýza✨
̶ Už je o „tom“ řada studií
̶ Někdo si dal tu práci, aby je všechny našel,
̶ Dal je dohromady
̶ Sepsal jejich výsledky
̶ A vypočetl souhrnný odhad velikosti účinku.
̶ A další statistiky
}(Systematická) review
} Meta-analýza
“velikost účinku a další statistiky“
Dílčí efekt
Souhrnný efekt (průměr, odhad pravého efektu)
Heterogenita velikostí účinku
Nepřesnost odhadu souhrnného efektu (a signifikance)
Co jsou to ty efekty?
Vlastně jakýkoli parametr proměnné se známým rozložením
- Jedna proměnná: Průměr, rozptyl
- Korelační koeficienty (r, 𝜌)
- Rozdíl v průměrech (Cohenovo d, Hedgovo g)
- Poměr šancí
- ...
- Pozor na parciální velikosti účinku.
Souhrnná velikost účinku
= vážený průměr velikostí účinku jednotlivých studií
Jednotlivé studie reportují dílčí velikosti účinku 𝑌1 … 𝑌50
Ty se ale od průměrné velikosti účinku odchylují. Proč?
Souhrnný účinek jako „ten pravý“ ⚫️, 𝜃
Dílčí velikosti účinku v jednotlivých studiích 𝑌1 … 𝑌50 ⬛️
Dílčí velikosti účinku jsou odhadem “pravé“ velikosti účinku 𝜃 ⚫️
Ale jsou zatíženy chybou 𝜖1 … 𝜖50 🔔
𝑌𝑖 = 𝜃 + 𝜖𝑖
Co nám to připomíná?
V meta-analýze je tohle „Fixed effect model“
Pravý efekt je napevno daný.
Pravý účinek ⚫️, 𝜃
Fixed effect model Borenstein, M. (Ed.). (2009). Introduction to meta-analysis. John
Wiley & Sons.
Problém pravého účinku 𝜃
̶ Věříme, že všechny studie mají stejnou 𝜃?
̶ Spíš ne.
Souhrnný účinek jako průměr těch pravých
Každá studie má svůj „pravý“ účinek
Pozorované velikosti účinku v jednotlivých studiích 𝑌1 … 𝑌50 ⬛️
Dílčí velikosti účinku jsou odhadem “pravých“ velikostí účinku 𝜃1 … 𝜃50 ⚫️
Ale jsou zatíženy chybou 𝜖1 … 𝜖50 🔔
Pozorované účinky jsou vzorek z populace možných účinků, které
se točí okolo průměrného účinku populace 𝜇
Od populačního průměru se odchylují 𝜁𝑖
𝑌𝑖 = 𝜃𝑖 + 𝜁𝑖 + 𝜖𝑖
= random effects model (pravé efekty jsou „náhodný vzorek“ z
populace efektů).
Pravý ⚫️, Pozorovaný ⬛️, průměr 𝜇
Random effects model Borenstein, M. (Ed.). (2009). Introduction to meta-analysis. John
Wiley & Sons.
Pravý ⚫️, Pozorovaný ⬛️, průměr 𝜇
Random effects model Borenstein, M. (Ed.). (2009). Introduction to meta-analysis. John
Wiley & Sons.
Pravý účinek ⚫️, 𝜃
Fixed effect model Borenstein, M. (Ed.). (2009). Introduction to meta-analysis. John
Wiley & Sons.
Souhrnná velikost účinku
= vážený průměr velikostí účinku jednotlivých studií
Čím vážíme dílčí velikosti účinku?
Záleží, co chceme.
Zpravidla chceme minimalizovat chybu.
Co zvyšuje nepřesnost dílčích velikostí účinku?
Velikost vzorku.
Která studie má největší vzorek?
Borenstein, M. (Ed.). (2009). Introduction to meta-analysis. John
Wiley & Sons.
Souhrnný účinek jako „ten pravý“ ⚫️, 𝜃
Pravý efekt = pozorovaný efekt, kdyby velikost vzorku byla
nekonečná.
Heterogenita
Jak moc rozptýlené jsou dílčí velikosti účinku? Co je hodně?
Cochranovo Q: suma pozorovaného rozptylu. Je větší, než bychom
čekali (kdyby byly efekty homogenní)?
Higgins & Thompson I2: Poměr pravého a celkového rozptylu.
Jak velkou část celkového rozptylu v pozorovaných efektech
vysvětluje rozptyl v pravých efektech?
Připomíná vám to něco?
𝐼2
=
𝑄 = 𝜎𝜁
2
+ 𝜎𝜖
2
=
𝜎𝜁
2
𝑄
= 1 −
𝜎𝑒
2
𝑄
𝑄 − 𝑑𝑓
𝑄
=
𝜎𝜁
2
𝜎𝜁
2
+ 𝜎𝜖
2
Přesnost odhadu souhrnného efektu
Určená:
- Přesností dílčích efektů (velikost vzorků)
- Počtem studií
- Heterogenitou dílčích efektů
Zpravidla zobrazená jako konfidenční interval a test significance
Když to dáme dohromady…
Edwards, T., & Holtzman, N. S. (2017). A meta-analysis of correlations between depression and first person singular
pronoun use. Journal of Research in Personality, 68, 63–68. https://doi.org/10.1016/j.jrp.2017.02.005
Když to dáme dohromady…
Edwards, T., & Holtzman, N. S. (2017). A meta-analysis of correlations between depression and first person singular
pronoun use. Journal of Research in Personality, 68, 63–68. https://doi.org/10.1016/j.jrp.2017.02.005
Vysoká heterogenita! Co s tím?
Edwards, T., & Holtzman, N. S. (2017). A meta-analysis of correlations between depression and first person singular
pronoun use. Journal of Research in Personality, 68, 63–68. https://doi.org/10.1016/j.jrp.2017.02.005
Meta-regrese
Skrze vlastnosti studií vysvětlujeme rozptyl v pozorovaných
efektech.
Prostě regrese, ale místo lidí máme články.
Prediktory tu „moderují“ pozorovaný vztah (korelaci, rozdíl v
průměrech).
Moderátory jsou zpravidla kategorické (různé designy, různé
metody, různé populace, atd.)
Meta-regrese
Fixed Effects: moderátory vysvětlují rozptyl pozorovaných efektů
okolo pravého efektu
Random Effects: moderátory vysvětlují rozptyl pravých efektů
okolo souhrnného (průměrného) efektu.
(Edwards, & Holtzman, 2017)
Problémy meta-analýzy
Publikační zkreslení
Proces vyhledávání a vyřazování studií
Kvalita analyzovaných studií
Problémy meta-analýzy: publikační zkreslení
Příklad A: Znáte skutečnou velikost efektu, d = 0,3.
Realizujete dvě studie, N1 = 50 a N2 = 500.
Otázka A1: Ve které studii budete pravděpodobněji pozorovat statisticky významný efekt?
Otázka A2: Ve které studii budete pravděpodobněji pozorovat větší velikost účinku?
Příklad B: Neznáte skutečnou velikost efektu.
Realizujete dvě studie, N1 = 50 a N2 = 500.
Otázka B1: Ve které studii budete pravděpodobněji pozorovat statisticky významný efekt?
Otázka B2: Ve které studii budete pravděpodobněji pozorovat větší velikost účinku?
Příklad C: Neznáte skutečnou velikost efektu.
V databázi naleznete dvě publikované studie, N1 = 50 a N2 = 500.
Otázka C1: Ve které studii budete pravděpodobněji pozorovat statisticky významný efekt?
Otázka C2: Ve které studii budete pravděpodobněji pozorovat větší velikost účinku?
= „small study effect“
Publikační zkreslení: detekce
1. Zkoumání vztahu dílčích velikostí vzorku a velikostí účinku: Eggerův
test, Funnel plot.
2. Zkoumání vztahu ne/publikace a souhrnné velikosti účinku (pouze
pokud mají k dispozici .
Detekce publikačního zkreslení: funnel plot
Weiß, B., & Wagner, M. (2011). The Identification and Prevention of Publication Bias in the
Social Sciences and Economics. Jahrbücher Für Nationalökonomie Und Statistik, 231(5–6),
661–684. https://doi.org/10.1515/jbnst-2011-5-608
Velikost účinku: Yi
Standardní chyba:
𝜎 𝑖
√n𝑖
Lineární regrese:
Pokud 𝒃 𝟎 > 0 -> asymetrie ->
Publikační zkreslení
Detekce publikačního zkreslení: Egger
𝑌𝑖 ×
𝜎𝑖
√n𝑖
= 𝒃 𝟎 + 𝑏1
√n𝑖
𝜎𝑖
Weiß & Wagner (2011)
Publikační zkreslení – problémy populárních
metod
Eggerův test i Funnel plot předpokládají, že publikační zkreslení se
projevuje vztahem mezi velikostí vzorku a velikostí efektu.
To ale nemusí být pravda.
Publikační zkreslení funguje skrz selekci signifikantních zjištění.
Tento proces lépe odhalují (a následně korigují) “selekční modely“
Maier, M., VanderWeele, T. J., & Mathur, M. B. (2022). Using selection models to assess sensitivity to
publication bias: A tutorial and call for more routine use. Campbell Systematic Reviews, 18(3), e1256.
https://doi.org/10.1002/cl2.1256
Publikační zkreslení: selekční modely
1) Specifikujeme selekční mechanismus (konkrétní p-hodnoty,
preferenci pozitivních nebo negativních hodnot velikosti účinku)
2) Odhadneme standardní meta-analýzu
3) Odhadneme meta-analýzu, kde jsou váhy studií upraveny podle
jejich příslušnosti do některé ze „zón“ publikačního zkreslení
4) Srovnáme výsledky korigované a standardní meta-analýzy.
Maier, M., VanderWeele, T. J., & Mathur, M. B. (2022). Using selection models to assess sensitivity to
publication bias: A tutorial and call for more routine use. Campbell Systematic Reviews, 18(3), e1256.
https://doi.org/10.1002/cl2.1256
Problémy meta-analýzy
Publikační zkreslení
Proces vyhledávání a vyřazování studií
Kvalita analyzovaných studií
Systematická review
Proces vyhledávání a vyřazování studií
Kvalita analyzovaných studií
Tradiční postup
Vyhledám studie,
Vyberu z nich ty relevantní
Shrnu to podstatné
Dojdu k závěru.
JAK? Databáze? Klíčová slova?
Co je relevantní?
Podstatné = podporující mou
hypotézu? 
Systematická review
Konkrétně a transparentně reportujeme:
- Předem stanovená eligibility kritéria (jaké studie ne/chceme)
- Strategii vyhledávání studií (databáze… šedá literatura)
- Screenování a selekce studií (na základě kritérií)
- Extrakci informací ze studií (velikosti účinku, vzorku, použité
metody… cokoli nás zajímá).
- Hodnocení kvality studií
Cooper, H. (2020). Reporting quantitative research in psychology: How to meet APA Style Journal Article Reporting
Standards (2nd ed.). American Psychological Association. https://doi.org/10.1037/0000178-000
PRISMA
(Vojtíšek, 2024)
Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T.
C., Mulrow, C. D., Shamseer, L., Tetzlaff, J. M., Akl, E. A., Brennan, S.
E., Chou, R., Glanville, J., Grimshaw, J. M., Hróbjartsson, A., Lalu, M.
M., Li, T., Loder, E. W., Mayo-Wilson, E., McDonald, S., … Moher, D.
(2021). The PRISMA 2020 statement: an updated guideline for
reporting systematic reviews. BMJ, n71.
https://doi.org/10.1136/bmj.n71
Systematická review
- U screeningu, selekce, extrakce i hodnocení kvality nás může
zajímat:
- Jak moc je to spolehlivé? -> Shoda posuzovatelů (o tom víc před
vánoci)
Cooper, H. (2020). Reporting quantitative research in psychology: How to meet APA Style Journal Article Reporting
Standards (2nd ed.). American Psychological Association. https://doi.org/10.1037/0000178-000
Hodnocení Kvality
- Záleží na výzkumné otázce, designech zahrnutých studií.
- Existují různé návody podle typů výzkumů (RCT, kazuistiky…)
- Viz JBI critical appraisal tools
JBI Critical Appraisal Tools | JBI. (n.d.). Retrieved October 28,
2024, from https://jbi.global/critical-appraisal-tools
Problémy meta-analýzy
Publikační zkreslení
Proces vyhledávání a vyřazování studií
Kvalita analyzovaných studií
Label Description
Critical review Aims to demonstrate writer has extensively researched literature and critically evaluated its quality. Goes beyond mere description
to include degree of analysis and conceptual innovation. Typically results in hypothesis or model
Literature review Generic term: published materials that provide examination of recent or current literature. Can cover wide range of subjects at
various levels of completeness and comprehensiveness. May include research findings
Mapping review/ systematic
map
Map out and categorize existing literature from which to commission further reviews and/or primary research by identifying gaps in
research literature
Meta-analysis Technique that statistically combines the results of quantitative studies to provide a more precise effect of the results
Mixed studies review/mixed
methods review
Refers to any combination of methods where one significant component is a literature review (usually systematic). Within a review
context it refers to a combination of review approaches for example combining quantitative with qualitative research or outcome with
process studies
Overview Generic term: summary of the [medical] literature that attempts to survey the literature and describe its characteristics
Qualitative systematic review/
/qualitative evidence
synthesis
Method for integrating or comparing the findings from qualitative studies. It looks for ‘themes’ or ‘constructs’ that lie in or across
individual qualitative studies
Rapid review Assessment of what is already known about a policy or practice issue, by using systematic review methods to search and critically
appraise existing research
Scoping review Preliminary assessment of potential size and scope of available research literature. Aims to identify nature and extent of research
evidence (usually including ongoing research)
State-of-the-art review Tend to address more current matters in contrast to other combined retrospective and current approaches. May offer new
perspectives on issue or point out area for further research
Systematic review Seeks to systematically search for, appraise and synthesis research evidence, often adhering to guidelines on the conduct of a
review
Systematic search and review Combines strengths of critical review with a comprehensive search process. Typically addresses broad questions to produce ‘best
evidence synthesis’
Systematized review Attempt to include elements of systematic review process while stopping short of systematic review. Typically conducted as
postgraduate student assignment
Umbrella review Specifically refers to review compiling evidence from multiple reviews into one accessible and usable document. Focuses on broad
condition or problem for which there are competing interventions and highlights reviews that address these interventions and their
results
Grant, M.J., & Booth, A. (2009). A typology of reviews: an analysis of 14 review types and associated methodologies. Health Information and Libraries Journal, 26(2),
Jak číst Sysreview kriticky?
Je v článku reportováno všechno pro to, abychom mohli celý
výzkum replikovat? Mají to preregistrované?
Chybí něco ve vyhledávací strategii (nevynechali podstatná klíčová
slova?)
Reportují spolehlivost rozhodnutí a odůvodnění vyřazení studií?
Kódování klíčových proměnných, hodnocení kvality?
Řeší nějak riziko (publikačního) zkreslení?
Shea, B. J., Reeves, B. C., Wells, G., Thuku, M., Hamel, C., Moran, J., Moher, D.,
Tugwell, P., Welch, V., Kristjansson, E., & Henry, D. A. (2017). AMSTAR 2: a critical
appraisal tool for systematic reviews that include randomised or non-randomised
studies of healthcare interventions, or both. BMJ, j4008.
https://doi.org/10.1136/bmj.j4008
Jak číst meta-analýzu kriticky?
Řeší nějak riziko (publikačního) zkreslení?
Volí smysluplný typ modelu?
Preregistrovali moderační hypotézy?
Adresují heterogenitu?
Shea, B. J., Reeves, B. C., Wells, G., Thuku, M., Hamel, C., Moran, J., Moher, D.,
Tugwell, P., Welch, V., Kristjansson, E., & Henry, D. A. (2017). AMSTAR 2: a critica
appraisal tool for systematic reviews that include randomised or non-randomised
studies of healthcare interventions, or both. BMJ, j4008.
https://doi.org/10.1136/bmj.j4008
Preregistrace, např: van den Akker, O. R., Peters, G.-J. Y., Bakker,
C. J., Carlsson, R., Coles, N. A., Corker, K. S., Feldman, G., Moreau,
D., Nordström, T., Pickering, J. S., Riegelman, A., Topor, M. K., van
Veggel, N., Yeung, S. K., Call, M., Mellor, D. T., & Pfeiffer, N.
(2023). Increasing the transparency of systematic reviews:
presenting a generalized registration form. Systematic Reviews,
12(1), 170. https://doi.org/10.1186/s13643-023-02281-7
Užitečné zdroje:
Cambell collaboration meta-analysis methods playlist
Cambell Advanced Methods playlist, eg:
Network meta analysis
Short primer on power calculations for Meta-analysis
Campbell playlist on evidence mapping
Allen, I. E., & Olkin, I. (1999). Estimating time to conduct a meta-analysis from number of citations retrieved. JAMA, 282(7), 634–635.
https://doi.org/10.1001/jama.282.7.634
Biondi-Zoccai, G. (2014). Network Meta-Analysis: Evidence Synthesis with Mixed Treatment Comparison (p. 406).
Borenstein, M. (Ed.). (2009). Introduction to meta-analysis. John Wiley & Sons.
Cheung, M. W. ‐L. (2015, May 11). Meta‐Analysis: A Structural Equation Modeling Approach. https://doi.org/10.1002/9781118957813
Cooper, H. (2020). Reporting quantitative research in psychology: How to meet APA Style Journal Article Reporting Standards (2nd ed.). American
Psychological Association. https://doi.org/10.1037/0000178-000
Grant, M. J., & Booth, A. (2009). A typology of reviews: An analysis of 14 review types and associated methodologies. Health Info Libr J, 26(2),
91–108. https://doi.org/10.1111/j.1471-1842.2009.00848.x
Simonsohn, U., Nelson, L. D., & Simmons, J. P. (2014). P-curve: A key to the file-drawer. Journal of Experimental Psychology: General, 143(2),
534–547. https://doi.org/10.1037/a0033242
Thornton, A., & Lee, P. (2000). Publication bias in meta-analysis: Its causes and consequences. Journal of Clinical Epidemiology, 53(2), 207–216.
https://doi.org/10.1016/S0895-4356(99)00161-4
Viechtbauer, W. (2010). Conducting Meta-Analyses in R with the metafor Package. J. Stat. Soft., 36(3). https://doi.org/10.18637/jss.v036.i03
Weiß, B., & Wagner, M. (2011). The Identification and Prevention of Publication Bias in the Social Sciences and Economics. Jahrbücher Für
Nationalökonomie Und Statistik, 231(5-6), 661–684. https://doi.org/10.1515/jbnst-2011-5-608
Speciální poděkování za obstarání memů a vizuálů patří kurátorovi
libidozních psychomemů pro n-rozměrné n-tice:
https://www.facebook.com/libidoznipsychomemy
https://xkcd.com/2755/
https://x.com/mrk4rl