Validace, verifikace a odhad nejistot výsledků v klinických laboratořích Kučerová Jindra Validace  Validaci definuje mezinárodní metrologický slovník jako ověřování, že specifikované požadavky jsou přiměřené pro zamýšlené použití. Slovník managementu kvality charakterizuje validaci jako potvrzení získané prostřednictvím poskytnutí objektivních důkazů, že požadavky na specifické zamýšlené použití nebo specifickou aplikaci byly splněny. Verifikace v laboratoři  Verifikace (ověření) je poskytnutí objektivního důkazu, že daná položka splňuje specifikované požadavky.Tedy potvrzení, že jsou dosaženy funkční vlastnosti nebo zákonné požadavky na měřicí systém, potvrzení prostřednictvím objektivních důkazů, že data o analytických znacích deklarovaná výrobcem, jinou laboratoří, nebo referenční institucí jsou v dané laboratoři s použitím konkrétního měřicího systému dosažena.  Pojem verifikace se používá v laboratořích pro proces ověřování, zda laboratoř je schopna dosáhnout při zavádění již validovaných metod deklarovanou výkonnost metody. Verifikace v laboratoři  Verifikace tedy nástroji obdobnými jako u validace prokazuje způsobilost personálu laboratoře a způsobilost zařízení a prostředí ve vztahu k provádění daného měřicího postupu.Verifikací pak rozumíme, že měřicí postup/systém/výrobek IVD MD je plně funkční v konkrétní laboratoři. Verifikace v laboratoři  V klinické laboratoři se verifikují všechny metody a postupy měření. Cílem verifikace je objektivní průkaz, že laboratoř je schopná dosáhnout výkonnostních parametrů (nejčastěji základních analytických znaků metod), které výrobce uvádí (nebo má uvádět) ve své dokumentaci. Laboratoř je povinna verifikovat i metody, u nichž provedla sama validaci. Validace, verifikace-srovnání  Validace  Opakovatelnost  Mezilehlá preciznost  Vychýleni (bias)  Pracovní rozsah  Mez detekce a mez stanovitelnosti  Ostatní (matricové interfenrence, srovnání s jinou metodou, srovnání pomocí výsledků EHK, robustnost, výtěžnost,…)  Verifikace  Opakovatelnost  Mezilehlá preciznost  Vychýlení (bias)  Pracovní rozsah Proč je nutná validace/verifikace  Výsledky analytických měření mají mimořádně silný dopad v praxi.V klinické laboratoři mohou rozhodným a někdy i fatálním způsobem ovlivnit zdraví, kvalitu života a někdy i samotný život pacienta. Provádět měření o dostatečné kvalitě je profesionální povinností analytika.Validace/verifikace je činnost, kterou si laboratoř zajišťuje kvalitu dat při rutinním provozu. Je to činnost, která, je-li správně provedena, se laboratoři při rutinním používání validovaného postupu vyplatí.Validace/verifikace poskytuje potřebná data pro odhad nejistoty měření (respektive intervalu spolehlivosti výsledků měření).Akreditace, neboli formální potvrzení odborné způsobilosti laboratoře, vyžaduje používání řádně validovaných a verifikovaných metod (měřicích systémů). Nejistota měření  Nejistota je parametr (přidružený k výsledku měření) charakterizující rozptýlení hodnot, jež jsou, na základě dostupných informací, přiřazovány/přisuzovány měřené veličině. Nejistota vymezuje hranice, v nichž je výsledek s danou pravděpodobností považován za správný, tj. přesný a pravdivý. Nejistota obecně zahrnuje mnoho složek. Některé z nich mohou být získány ze statistických distribucí výsledků sérií měření ovlivňujících veličin charakterizovaných výběrovou směrodatnou odchylkou. Standardní, kombinovaná a rozšířená nejistota Standardní nejistota. Její číselná hodnota je vyjádřena jako směrodatná odchylka (SD). Kombinovaná nejistota - pravidlo šíření (propagace) nejistot Podle toho pravidla provádíme výpočet kombinované standardní nejistoty: uc 2 = u1 2 + u2 2 +…..+ un 2 Rozšířená kombinovaná nejistota Uc Rozšíření se provádí s použitím jednoduchého vztahu: Uc = k . uc Obvykle se používá hodnota k = 2 (odpovídá přibližně 95% intervalu spolehlivosti pro normální rozdělení). Dílčí nejistoty v klinických laboratořích  Dlouhodobá přesnost (reprodukovatelnost, intermediate precision)  Základem odhadu nejistoty měření v klinické laboratoři je dlouhodobá přesnost (reprodukovatelnost) měření. Zdrojem dat jsou výsledky vnitřní kontroly kvality. Pokud laboratoř vede v rámci vnitřní kontroly regulační diagramy, lze získávat údaje o dlouhodobé přesnosti (reprodukovatelnosti) z výsledků tohoto sledování průběžně. Časový interval nelze pro všechny laboratoře a všechny metody pochopitelně stanovit jednotně. Krajní akceptovatelnou mezí je četnost 1x ročně avšak 15 nezávislých měření jako naprosté minimum. Právě aktualizace hodnoty nejistoty měření může být chápána jako rozhodující krok periodické verifikace. Mírou dlouhodobé přesnosti (reprodukovatelnosti) je relativní směrodatná odchylka (CV, %). Dílčí nejistoty v klinických laboratořích  Systematická odchylka (vychýlení, bias) a výtěžnost  Vychýlení metody (měřicího postupu) se stanovuje experimentálně a je to rozdíl mezi průměrem výsledků měření a správnou (referenční) hodnotou. Předmětem měření je vhodný referenční materiál, který musí být vždy doprovázen údajem o referenční hodnotě a její nejistotě. Průměrem měření se zásadně stanovuje za podmínek opakovatelnosti měření (v sérii). Pro potřeby klinické laboratoře je možné akceptovat v případě nedostupnosti certifikovaných referenčních materiálů kontrolní materiály s výrobcem prokázanou návazností na vyšší metrologický standard a s určeným odhadem nejistoty této hodnoty. Přijatelná velikost série sestává z minimálně deseti měřených vzorků (n = 10). Pro výpočty celkové nejistoty je často výhodné vyjadřovat systematickou složku nejistoty namísto hodnoty vychýlení hodnotou výtěžnosti. Jde jen o různý způsob vyjádření stejného parametru se stejně platnými číselnými hodnotami. Zatímco vychýlení je rozdíl mezi průměrem a referenční hodnotou, výtěžnost je poměrem stejných čísel. Dílčí nejistoty v klinických laboratořích  Nejistota vychýlení a výtěžnosti  Obě hodnoty, ze kterých se počítá vychýlení metody nebo výtěžnost, mají svou nejistotu. První je nejistota referenční hodnoty uvedená v certifikátu. Druhá je nejistota hodnoty průměru, daná opakovatelností měření a jejich počtem (SD/√n). Z těchto nejistot lze pomocí zákona o propagaci nejistot vypočítat nejistotu hodnoty vychýlení metody, popř. výtěžnosti. Dílčí nejistoty v klinických laboratořích  Nejistoty hodnot kalibrátorů  Nejistota kalibrátorů bývá udávaná nejčastěji formou rozšířené nejistoty Ucal s faktorem rozšíření k = 2.V různých publikacích lze nalézt různé způsoby zahrnutí nejistoty kalibrátoru do rozpočtu nejistot v závislosti na použitém modelu měření. Předpokládáme-li, že nejistota kalibrátoru je v rámci analytického procesu implicitně zahrnuta do výpočtu jakékoli hodnoty obsahu/množství/koncentrace, tedy i do vychýlení (bias), nemusí tedy být nejistota kalibrátoru zahrnuta jako samostatná složka do rozpočtu nejistot. Příklad odhadu nejistot měření Stanovení koncentrace fibrinogenu v krevní plazmě Reprodukovatelnost Byla stanovena vyhodnocením výsledků vnitřní kontroly kvality za druhé pololetí roku 2014 Kontrolní materiál 1: průměr xp = 1,8 g.l -1 CVrepro = 2,5 % Kontrolní materiál 2: : průměr xp = 2,9 g.l -1 CVrepro = 2,1 % V dalším výpočtu bude použita průměrná hodnota ur,repro : Příklad odhadu nejistot měření Stanovení koncentrace fibrinogenu v krevní plazmě  Nejistoty hodnot certifikovaných referenčních materiálů. Hodnota vychýlení/bias byla stanovena analýzou certifikovaného referenčního materiálu CRM International standard for fibrinogen.V certifikátu tohoto materiálu je uveden vedle certifikované hodnoty koncentrace fibrinogenu (cref = 2,50 g.l -1 ) i odhad rozšířené kombinované nejistoty Ur,ref = 8 % (uref = 0,1 g.l -1 ) pro koeficient rozšíření k = 2. To představuje standardní nejistotu ur,ref = Ur,ref /2 = 4,0 %. Příklad odhadu nejistot měření Stanovení koncentrace fibrinogenu v krevní plazmě  Systematická odchylka (vychýlení, bias) Výsledky měření referenčního materiálu za podmínek opakovatelnosti:  Počet měření: n = 10  Průměr měření: xp = 2,57 g.l -1  Referenční certifikovaná hodnota: cref = 2,50 g.l -1 Pak se výtěžnost R a vychýlení Br vypočte dle Příklad odhadu nejistot měření Stanovení koncentrace fibrinogenu v krevní plazmě  Nejistota systematické odchylky (vychýlení, bias)Výběrová směrodatná odchylka a standardní nejistota průměru se vypočte: Příklad odhadu nejistot měření Stanovení koncentrace fibrinogenu v krevní plazmě  Kombinace odhadů dílčích nejistot do relativní kombinované a rozšířené nejistoty (ur,tot a Ur,tot) Kombinací dílčích nejistot dostáváme: Pro koeficient rozšíření (k = 2) je tedy kombinovaná rozšířená nejistota stanovení fibrinogenu v krevní plazmě: Ur,tot = 10,8 % Příklad odhadu nejistot měření Stanovení koncentrace fibrinogenu v krevní plazmě  Závěr Vyšší hodnota Ur,tot je dána jednak problémy s dlouhodobou stabilitou analytu a také složitostí určení vlastní referenční hodnoty referenční institucí NIBSC zvolenou referenční metodou. Kdy se provádí validace/verifikace  Před zavedením nové metody  Před aplikací nového analytického měřicího systému do laboratoře  Před zavedením nového (jiného) diagnostického kitu  Pokud rozšíříme použití stávající metody o další účel (například rozšíříme měření o další druh biologického materiálu)  Ukazuje-li kontrola kvality přetrvávající problém  Při převzetí metody (typu in house) z jiné laboratoře nebo z publikace  Významná změna instrumentace  Dle validačního plánu