Three main categories of alternative explanation — —Chance - random error —Bias - systematic error —Confounding – third factor explaining an association Zásadní otázka – je asociace mezi expozicí a zdravotním výstupem skutečná? Confounding - situation when a third factor is associated with both exposure and disease (zkreslení vztahu mezi proměnnými) Bias — —is a systematic error in the design of an epidemiological study which leads to a distortion or error in the study results — -Je to věc designu -Měli bychom se vždy kriticky zamyslet nad naší studií a identifikovat případné zdroje zkreslení/chyby -Jsou výsledky validní? Reflektují opravdový stav? Jsou zde alternativní vysvětlení? Validity —A study’s results and conclusions are valid when they reflect the true relationship in the study population — —To assess the validity of findings we need to consider alternative explanations for the observed associations Bias can affect —Estimate of one variable — —Estimate of association between variables Errors may be —Non–differential vs. differential ◦error in one variable not related to / dependent on the value of other variables ◦error in one variable is related to value of other variable — —Selection vs. information ◦Related to selecting subjects into study ◦Related to collecting information — Nediferenciální vs. diferenciální chyba Příklad nediferenciální – špatně nastavený přístroj, špatné psychometrické vlastnosti škály (psychometrika – celý obor, který se tímto zabývá) Příklad diferenciální – Špatně nastavený přístroj v jednom z více míst sběru dat (závislost na geografické lokaci), horší psychometrické vlastnosti v jedné z populací (např. méně přesná diagnostika ASD u dívek než u chlapců) Two main types of bias — —Selection bias — due to errors in the way sample is recruited — —Information bias — due to errors in way in which information collected from the sample Výběrová vs. informační chyba: výběr respondentů do studie vs. způsob sběru informací Selection bias —a distortion that results from procedures used to select subjects or their participation — —resulting in a difference in the characteristics between those who are included in the study and those in study population but not included in the study sample -Chyba vyplývající z rozdílu mezi osobami, které se studie účastní a osobami, které se jí neúčastní, tedy rozdíl mezi účastníky a cílovou populací -Problém s dobrovolníky (nereprezentativní, vliv motivace, jiné charakteristiky, než populace), ideální si vzít vzorek třeba z registru populace (např. registr pacientů s určitým onemocněním, registr s telefonním číslem) – problém s GDPR Global perspective —WEIRD samples ◦Over-reliance on samples drawn from populations that are White, Educated, Industrialized, Rich, and Democratic (Henrich, Heine, and Norenzayan) ◦Threat to validity (= generalizability to other populations) Selection bias —Selection of participants (random sampling) —Participation rate, sample attrition - Pro určitou část populace může být problém se dostavit na vyšetření nebo se jim nechce vyplnit dotazník - Příklad s matkami v LIFE study – opakovaná pozvání, různé módy pozvání (pošta, osobní kontakt, email), různé časy pozvání Information bias —Errors in the way information about exposure or disease collected — —Misclassification - putting subjects in wrong category — —Eg. exposed as unexposed, case as control - Chyba při sběru dat (o expozicích nebo onemocněních) Misclassification may be —Random – above / below —Systematic – all in one direction — —Non–differential (error in one variable not related to / dependent on the value of other variables) —Differential (error in one variable is related to value of other variable -Náhodná misklasifikace – opět např. náhodná chyba měření (např. nějakého biomarkeru) -Systematická misklasifikace – systematické nadhodnocování či podhodnocování Non-differential misclassification: —Tend to bias estimates towards null — —Cholesterol machine giving random readings — -Chyby nezávisí na dalších proměnných -Chyba často působí nalezení slabších asociací než ve skutečnosti jsou Differential misclassification —Can distort associations, and can produce spurious associations — —Recall/reporting bias – ◦Error in way subjects give information ◦Correct and precise recall of information + willingness to share the information — —Observer bias ◦Error in way observers collect information - Chyba se týká asociace mezi proměnnými Recall bias — —Particular problem in retrospective studies —Case may have better recall of exposure ◦Eg. mothers of babies with congenital abnormality ◦Diarrhoeal illness and food consumption —In CS or CC studies when exposure & disease assessed at same time ◦Eg. depression and poor physical health ◦Often not conscious – placebo effect -Příklad s traumatickými událostmi v dětství měřenými retrospektivně a prospektivně -Důležitost kombinování retrospektivních a prospektivních studií Reporting bias ◦ —Respondents may underestimate some behaviours eg. alcohol, smoking — - Příklady: -Lidé typicky podhodnocují užívání alkoholu (systematická nediferenciální chyba) -Ale např. jiné reportování konzumace alkoholu mezi muži a ženami v Rusku – over/under-estimating of behaviors -Důležitost anonymity a důvěrnosti při reportování informací Observer bias —investigator classifies exposure differently in cases/control —or —the investigator diagnoses disease differently in exposed/unexposed participants — —and hence the results are distorted. -důležité, výzkumníci s nimi často počítají méně než se zdrojem zkreslení od respondentů, na které mají připraveny procesy -Je třeba se jich vyvarovat Interviewer bias — —Interviewer may probe cases more closely for exposure — —May look for endpoint more carefully in those exposed -Nezaslepenost tazatelů ovlivňuje kladení otázek (např. podrobnější kladení otázek u respondentů s onemocněním) – zásada je mít standardizovaný dotazník/rozhovor, ptát se všech stejně (lepší nediferencovaná chyba než diferencovaná) -Ad. 1 – podrobnější se doptávání na alkohol u respondentů s onemocněním jater -Ad. 2 – tendence klasifikovat symptomy jako ADHD u dětí, o kterých víme, že jej mají v rodině -V obou případech bude asociace mezi expozicí a outcomem nadhodnocená (- potvrzení si vlastní hypotézy) Detection bias — —Differences in diagnostic criteria or reporting – often in multicentric/cross-national studies —Differences in healthcare access — —These differences may be associated with exposure eg. social class/country — —Hence detail paid to ascertainment and validation of endpoints -Příklad – prevalence problematického pití v Británii a v USA (jiné standardy) -I úmrtnost – přiřazování MKN kódů se liší mezi zeměmi (např. COVID-19) -Může být problém i napříč časovými body v longitudinálních studiích (změna diagnostických kritérií či škál) -Příklad přístupu ke zdravotní péči a socioekonomického gradientu onemocnění What can we do to prevent / reduce bias? — —Selection bias —random sampling from study population —strategies to reduce non–response e.g. repeat mailings, offering different times at clinic —proper choice of control group in case-control studies — —Recall / reporting bias — —recall bias – try to obtain objective information on past exposures wherever possible or use proxy information/informants —reporting bias – include lots of different questions so that subjects are hypothesis blind —trials should be controlled and blinded ◦Control (placebo) and experimental group ◦Double-blinding (both participants and interviewers are blinded) — — —Observer bias — —investigators blind to case / exposure status wherever possible —use standardised instruments and protocols, back translations —ideally use centralised measurement or calibrate instrument —periodic check on staff to check for differences in procedures — -Testovací vzorky pro laboratoře -Tazatelé si dotazník často lehce upravují – potřeba kontrolovat Example - Child Behavior Checklist - Stejný lingvistický význam nemusí znamenat stejný kulturní význam (příklad se self-esteem) – může to být ale i předmětem výzkumu — —Detection/diagnostic bias — —standardised diagnostic criteria — Bias: the silent menace —Cannot be assessed numerically —No software to identify bias —If there is flaw in the design of the study increasing numbers will not get rid of it! —Can only be assessed by careful evaluation of the design -Schopnost výzkumné sebereflexe -Observační a intervenční studie náchylné na zkreslení/chyby Assessment of bias —Non-responders questionnaire —Baseline characteristics of those lost to follow can be analysed and compared to those remaining in study —Objective validation of self-reported information —Sensitivity analyses to estimate effect of bias -Chyby se často špatně zjišťují, mohou zcela znehodnotit data -Non-responders questionnaire – příklad TNG -Sensitivity analysis – studie zkoumající prediktory pohlavně přenosných nemocí u dospívajících ELSPAC example - Vždy sekce limitations v diskuzi ELSPAC example Publication bias —High-impact journals prefer clear, positive results! — —Bias in systematic reviews —Form of selection bias arising if null studies are not published —If not included the overall estimate is biased upwards —Minimised by searching grey literature, trial registers and conference proceedings to include null/negative results — —e.g. the ‘drug effectiveness cycle’ (β-blocker-mortality example in session 7), selective serotonin reuptake inhibitors in treating depression 28 -Zkreslení jiného typu než předchozí!! -Netýká se řešitelů studií a respondentů, ale spíše publikační a vědecké kultury -Potřeba jej mít na paměti, když čteme literaturu k tématu -Vliv na systematická reviews a meta-analýzy (garbage in, garbage out principle) Publication bias —Failure to publish —a negative or inconclusive trial result —a small trial may be abandoned —Duplicate publication —a large treatment effect —need for research output ◦Eg. nine trials of ondansetron (antiemetic) in 23 publications Tramer et al BMJ 1997 29 - Další příklad – nabízení alkoholu dospívajícím – mnoho studií založených na datech z jedné Australské kohortové studie How to avoid publication bias —To make sure studies are not double counted —To search for unpublished studies (e.g. contact researchers directly) —To use non-English language publications —Statistical checking (funnel plots: smaller studies report more extreme results) —Registration of studies and to make sure all results are in public domain (not yet fully achieved) —Trial registration: assigns unique trial identification numbers, and to record other basic information about the trial so that essential details are made publicly available —From 2004 International Committee of Medical Journal Editors (ICMJE) would consider trials for publication only if they had been registered before the enrolment of the first participant — 30 https://clinicaltrials.gov/ Funnel plot: asymmetrical plot in the presence of bias: some smaller studies (open circles) are of lower methodological quality and therefore produce exaggerated effect estimates http://handbook.cochrane.org/chapter_10/image010.gif 31 -Trychtýřový graf? -Standard error – závislá na velikosti souboru, tedy velikosti studie Funnel plot: asymmetrical plot in the presence of bias: some smaller studies (open circles) are of lower methodological quality and therefore produce exaggerated effect estimates http://handbook.cochrane.org/chapter_10/image010.gif 32 -Příklad klinických studií na nový lék -Nadhodnocení efektu dané expozice/léku -Očekáváme symetrické rozložení studií okolo průměrného efektu R:\SLIDES\meta Beta-blockers and total mortality after MI: meta-analysis Egger & Davey Smith 1997 33 - Meta-analysis – zkombinování více studií, větší N, překonání omezení souvisejícími s jednotlivými studiemi – preciznější výsledky