logo-IBA Vyučující: Mgr. Lucie Brožová Kontakt: brozova@iba.muni.cz Bi8600: Vícerozměrné metody – cvičení Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová Průběh výuky —Obsahem cvičení je praktická aplikace pokročilých statistických metod ØZopakování jednorozměrné analýzy dat ØInvestigativní vícerozměrná analýza dat ØDiskriminační analýza —Předpoklady úspěšného ukončení cvičení ØÚčast na cvičení (povolena jedna absence) —Plán cvičení Ø27. 9. Opakování jednorozměrné analýzy dat Ø18. 10. Shluková analýza Ø1. 11. Metoda hlavních komponent (PCA) Ø15. 11. Ordinační metody (CA, NMDS) + diskriminační analýza • ¡ logo-IBA Základní popis a práce s daty v softwaru R Bi8600: Vícerozměrné metody 1. cvičení – 1. část Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Motivace —Současná statistická analýza se neobejde bez zpracování dat pomocí statistických software. Předpokladem úspěchu je správné uložení dat ve formě „databázové“ tabulky umožňující jejich zpracování v libovolné aplikaci. — —Neméně důležité je věnovat pozornost čištění dat předcházející vlastní analýze. Každá chyba, která vznikne nebo není nalezena ve fázi přípravy dat se promítne do všech dalších kroků a může zapříčinit neplatnost výsledků a nutnost opakování analýzy. Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Parametry (znaky) DATA – ukázka uspořádání datového souboru Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Typy proměnných —Kvalitativní (kategoriální) proměnná —lze ji řadit do kategorií, ale nelze ji kvantifikovat — Příklad: ?? — —Kvantitativní (numerická) proměnná —můžeme ji přiřadit číselnou hodnotu — Příklad: ?? — Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Typy proměnných —Kvalitativní (kategoriální) proměnná —lze ji řadit do kategorií, ale nelze ji kvantifikovat —Příklad: pohlaví, HIV status, barva vlasů ... — —Kvantitativní (numerická) proměnná —můžeme ji přiřadit číselnou hodnotu —Příklad: výška, váha, teplota, počet hospitalizací ... Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Kvalitativní znaky —Binární znaky: dvě kategorie, obvykle se kódují pomocí číslic 1 (přítomnost sledovaného znaku) a 0 (nepřítomnost sledovaného znaku). —Příklad: ?? — —Nominální znaky: několik kategorií (A, B, C), které nelze uspořádat. —Příklad: ?? — —Ordinální znaky: několik kategorií, které lze vzájemně seřadit, tedy můžeme se ptát, která je větší/menší (1<2<3). —Příklad: ?? — Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Kvalitativní znaky —Binární znaky: dvě kategorie, obvykle se kódují pomocí číslic 1 (přítomnost sledovaného znaku) a 0 (nepřítomnost sledovaného znaku). —Příklady: Diabetes (1-ano, 0-ne), Pohlaví (1-muž, 0-žena). — —Nominální znaky: několik kategorií (A, B, C), které nelze uspořádat. —Příklad: krevní skupiny (A/B/AB/0). — —Ordinální znaky: několik kategorií, které lze vzájemně seřadit, tedy můžeme se ptát, která je větší/menší (1<2<3). —Příklady: stupeň bolesti (mírná/střední/velká), stadium maligního onemocnění (I/II/III/IV). — Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Kvantitativní znaky —Intervalové znaky: interpretace rozdílu dvou hodnot (stejný interval mezi jednou a druhou dvojicí hodnot vyjadřuje i stejný rozdíl v intenzitě zkoumané vlastnosti). Společný znak intervalových znaků: nula byla stanovena uměle, tedy pouhou konvencí. Příklad: teplota měřená ve stupních Celsia, letopočet. — — — — — — — —Poměrové znaky: kromě rozdílu interpretujeme i podíl dvou hodnot. — Příklady: výška v cm, váha v kg, ... Den Teplota Rozdíl 1 Podíl 1 1. 2 °C - - 2. 4 °C +2 2x 3. 6 °C +2 1.5x 1 Srovnání s měřením z předchozího dne 1.5krát vyšší teplota ve srovnání s 2. dnem, přičemž došlo ke stejnému nárůstu teploty jako při srovnání 2. a 1. dne Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Různé typy dat znamenají různou informaci Kolikrát ? O kolik ? Větší, menší ? Rovná se ? •Data poměrová • • •Data intervalová • • •Data ordinální • • •Data nominální Spojitá data Diskrétní data * Spojitá data můžeme agregovat do kategorií. Ztratíme část informace Zjednodušíme si interpretaci výsledků Z vytvořených kategorií již nelze zrekonstruovat původní spojitou proměnnou * Pozor! I kvantitativní data mohou být diskrétního typu. Např.: počet dětí v rodině. • Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Popisné statistiky Charakteristiky polohy (míry střední hodnoty, míry centrální tendence) •Udávají, kolem jaké hodnoty se data centrují, resp. které hodnoty jsou nejčastější, popis „těžiště“ – míry polohy •Aritmetický průměr, medián, modus, geometrický průměr • Charakteristiky variability (proměnlivosti) •Zachycují rozptýlení hodnot v souboru (proměnlivost dat) •Variační rozpětí, rozptyl, směrodatná odchylka, variační koeficient, střední chyba průměru Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Popis kvalitativních dat —Koláčový graf •Sloupcový graf —Popis kvalitativních dat: §procentuální zastoupení jednotlivých kategorií §U ordinálních znaků lze využít α-kvantil. —Vizualizace kvalitativních dat: nejčastěji koláčový nebo sloupcový graf. •Frekvenční tabulka Známka n % A 11 18,0 B 20 32,8 C 16 26,2 D 9 14,8 E 5 8,2 F 0 0,0 Celkem 61 100,0 modus Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Popis kvantitativních dat – charakteristiky středu Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Průměr vs. medián —PAMATUJ: —Průměr je silně ovlivněn extrémními hodnotami (tzv. odlehlá pozorování), medián není ovlivněn vybočujícími pozorováními. —Průměr je vhodný ukazatel středu u normálního/symetrického rozložení, medián je vhodnou charakteristikou středu souboru i v případě veličin s neznámým rozdělením. —V případě symetrického rozložení jsou jejich hodnoty v podstatě shodné, v případě asymetrického rozložení však nikoliv! — • Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Popis kvantitativních dat – charakteristiky variability —Rozptyl (variance) je ukazatelem šířky rozložení získaný na základě odchylky jednotlivých hodnot od průměru. — — Obdobně jako u průměru je jeho vypovídací schopnost nejvyšší v případě symetrického/normálního rozložení. —Směrodatná odchylka (SD – standard deviation) je druhá odmocnina z rozptylu. —Koeficient variance = podíl SD ku průměru, umožňuje porovnat variabilitu několika znaků (často se vyjadřuje v procentech – potom udává, z kolika procent se podílí směrodatná odchylka na aritmetickém průměru). —Kvartilové rozpětí (odchylka): q=x0,75-x0,25 , kde x0,25 = dolní kvartil, x0,75 = horní kvartil. —(xα je číslo, které rozděluje uspořádaný datový soubor na dolní úsek, obsahující aspoň podíl α všech dat a na horní úsek obsahující aspoň podíl 1-α všech dat.) — • Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Ukázka vizualizace kvantitativních dat —Vizualizace kvantitativních dat: nejčastěji pomocí krabicového grafu nebo histogramu. —Histogram •Krabicový graf maximum (100% kvantil) horní kvartil (75% kvantil) medián (50% kvantil) dolní kvartil (25% kvantil) minimum (0% kvantil) Příklad: Popis výšky (cm) Jsou data symetrická? Odlehlá hodnota? Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Ukázka popisu kvantitativních dat —Popis kvantitativních dat: charakteristika středu (průměr, medián aj.), charakteristika variability (rozptyl, rozsah hodnot, kvartilové rozpětí aj.). •Popisné statistiky Příklad: Popis výšky (cm) pacientů Charakteristika N 61 Průměr (cm) 161,0 Medián (cm) 161,5 sm. odchylka (cm) 4,7 Rozptyl (cm2) 22,2 min-max (cm) 144,1-169,2 dolní-horní kvartil (cm) 158,1-164,2 Průměr a medián se téměř shodují. Co nám to říká? Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Software R / RStudio —Volně dostupný software (https://www.r-project.org/). —Pro pokročilé analýzy je nutné načíst balíček, kde jsou naprogramovány funkce. —Každý má možnost implementovat svůj balíček – R nezaručuje správnost kódu. —Nevidíme datovou tabulku – nutné kontrolovat provedení výpočtu. —R console – zápis skriptu + enter spustí skript (alternativou je vytvořit si R script, který umožní kompletní uchování syntaxu, který je spouštěn pomocí Ctrl+R). — — — — — — —Nápověda: help(funkce), ?funkce, http://rseek.org/, www.google.cz. — — • Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová R console R skript logo-IBA Základy testování hypotéz Přehled a aplikace statistických testů Bi8600: Vícerozměrné metody 1. cvičení – 2. část Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Statistické testování – základní pojmy Nulová hypotéza HO: sledovaný efekt je nulový Alternativní hypotéza HA: sledovaný efekt je různý mezi skupinami Testová statistika: Vyhodnocení statistické významnosti Pozorovaná hodnota – Očekávaná hodnota Variabilita dat * Velikost vzorku z0.975=1,96 z0.025=-1,96 95 % Kritický obor Kritický obor 0 z p-hodnota ØP-hodnota vyjadřuje pravděpodobnost, že testová statistika nabyde stejné nebo extrémnější hodnoty za předpokladu, že nulová hypotéza platí. Rozložení testové statistiky (z) za předpokladu platnosti nulové hypotézy Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová ØStatistické testování odpovídá na otázku, zda je pozorovaný rozdíl náhodný či nikoliv. http://files.mscck-trmice.webnode.cz/200000297-22250231ed/vyk%C5%99i%C4%8Dn%C3%ADk.png logo-IBA Možné chyby při testování hypotéz Závěr testu Hypotézu nezamítáme Hypotézu zamítáme β 1-β 1-α α —I přes dostatečnou velikost vzorku a kvalitní design experimentu se můžeme při rozhodnutí o zamítnutí/nezamítnutí nulové hypotézy dopustit chyby. Správné rozhodnutí Správné rozhodnutí Chyba II. druhu Chyba I. druhu Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Význam chyb při testování hypotéz Pravděpodobnost chyby 1. druhu a Pravděpodobnost nesprávného zamítnutí nulové hypotézy, hladina významnosti Pravděpodobnost chyby 2. druhu b Pravděpodobnost nerozpoznání neplatné nulové hypotézy Síla testu 1-b Pravděpodobnostně vyjádřená schopnost rozpoznat neplatnost hypotézy Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA P-hodnota Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová —Významnost hypotézy hodnotíme dle získané tzv. p-hodnoty, která vyjadřuje pravděpodobnost, s jakou číselné realizace výběru podporují H0, je-li pravdivá. —P-hodnotu porovnáme s α (hladina významnosti, stanovujeme ji na 0,05, tzn., že připouštíme 5% chybu testu, tedy, že zamítneme H0, ačkoliv ve skutečnosti platí). —P-hodnotu získáme při testování hypotéz ve statistickém softwaru. — —Je-li p-hodnota ≤ α, pak H0 zamítáme na hladině významnosti α a přijímáme HA. —Je-li p-hodnota > α, pak H0 nezamítáme na hladině významnosti α. logo-IBA One-tailed vs. two-tailed testy Jednostranné testy (one–tailed) Oboustranné testy (two–tailed) •Hypotéza testu je postavena asymetricky, tedy ptáme se na větší než / menší. •Hypotéza testu se ptá na otázku rovná se / nerovná se. 2 Kritický obor H0: HA: H0: HA: H0: HA: Kritický obor 95% kvantil !!! 97.5% kvantil !!! Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Důležité poznámky k testování hypotéz •Nezamítnutí nulové hypotézy neznamená automaticky její přijetí! Může se jednat o situaci, kdy pro zamítnutí nulové hypotézy nemáme dostatečné množství informace. •Dosažená hladina významnosti testu (ať už 5 %, 1 % nebo 10 %) nesmí být slepě brána jako hranice pro existenci / neexistenci testovaného efektu. •Malá p-hodnota nemusí znamenat velký efekt. Hodnota testové statistiky a p-hodnota mohou být ovlivněny velkou velikostí vzorku a malou variabilitou pozorovaných dat. •Na výsledky testování musí být nahlíženo kriticky – jedná se o závěr založeny „pouze“ na jednom výběrovém souboru. •Statistická významnost indikuje, že pozorovaný rozdíl není náhodný, ale nemusí znamenat, že je významný i ve skutečnosti. Důležitá je i praktická (klinická) významnost. Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Základní rozhodování o výběru statistických testů Typ dat Spojitá x spojitá data Spojitá x kategoriální data Kategoriální x kategoriální data Jeden výběr Dva výběry Tři a více výběrů (nepárově) Jeden výběr Více výběrů Párová data Nepárová data Pearsonův korelační koeficient Jednovýběrový t-test Párový t-test Dvouvýběrový t-test ANOVA Párová data Nepárová data Chí-kvadrát test Spearmanův korelační koeficient Wilcoxonův / znaménkový test Wilcoxonův / znaménkový test Mannův-Whitneyho / mediánový t. Kruskalův-Wallisův test / mediánový t. Jednovýběrový binomický test McNemarův test Fisherův exaktní test Parametrické testy Neparametrické testy Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Shrnutí statistických testů Typ srovnání Nulová hypotéza Parametrický test Neparametrický test 1 výběr dat vs. referenční hodnota Střední hodnota je rovna zvolené referenční hodnotě. jednovýběrový t-test / z-test Wilcoxonův test; znaménkový test 2 nezávislé skupiny dat (test shody středních hodnot) Střední hodnoty/rozdělení se mezi skupinami neliší. nepárový t-test Mannův-Whitneův U test / mediánový test 2 nezávislé skupin dat (test shody rozptylů = homoskedasticity) Rozptyl obou skupin je shodný. F-test Levenův test 2 párově závislé výběry dat Střední hodnota rozdílů (diferencí) párových hodnot je rovna zvolené referenční hodnotě (nejčastěji nule). párový t-test Wilcoxonův test; znaménkový test Shoda rozdělení výběru s teoretickým rozdělením Rozdělení dat odpovídá teoretickému (vybranému) rozdělení. test dobré shody (χ2 test) Shapirův-Wilkův test; Kolmogorovův-Smirnovův test; Lilieforsův test 3 a více skupin nepárově (test shody středních hodnot) Střední hodnoty/rozdělení se mezi skupinami neliší. ANOVA Kruskalův-Wallisův test / mediánový test Korelace Neexistuje vztah mezi hodnotami dvou výběrů. Pearsonův korelační koeficient Spearmanův korelační koeficient Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Parametrické vs. neparametrické testy Parametrické testy Neparametrické testy •Mají předpoklady o rozložení vstupujících dat (např. normální rozložení) •Při stejném N a dodržení předpokladů mají vyšší sílu testu než testy neparametrické •Pokud nejsou dodrženy předpoklady parametrických testů, potom jejich síla testu prudce klesá a výsledek testu může být zcela chybný a nesmyslný •Vyžadují méně předpokladů o rozložení vstupujících dat, lze je tedy použít i při asymetrickém rozložení, odlehlých hodnotách, či nedetekovatelném rozložení •Snížená síla těchto testů je způsobena redukcí informační hodnoty původních dat, kdy neparametrické testy nevyužívají původní hodnoty, ale nejčastěji pouze jejich pořadí •Souvisí s malou velikostí souboru (nejsme schopni normalitu dat ověřit) http://files.mscck-trmice.webnode.cz/200000297-22250231ed/vyk%C5%99i%C4%8Dn%C3%ADk.png Proč nemusí parametrický a neparametrický test vyjít stejně? Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Jednovýběrové testy (one sample) •Jednovýběrové statistické testy srovnávají popisnou statistiku vzorku s jediným číslem, jehož význam je ze statistického hlediska hodnota cílové populace. •Otázka položená v testu může být vztažena k průměru, rozptylu, podílu hodnot i dalším statistickým parametrům popisujícím vzorek. • • Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Schéma při testování pomocí jednovýběrových testů Data Normální rozdělení? Vizuální ověření normality Histogram, Q-Q graf, P-P graf, N-P graf, krabicový graf Testové ověření normality S-W test, K-S test, Lilieforsův test NE ANO Logaritmická transformace Normální rozdělení? NE ANO Wilcoxonův test na původních datech Jednovýběrový t-test / z-test na transformovaných datech Jednovýběrový t-test / z-test Opakování Parametrické testy Neparametrické testy Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Dvouvýběrové testy: nepárový vs. párový design Nepárový design Párový design •Skupiny srovnávaných dat jsou na sobě zcela nezávislé (též nezávislý, independent design), např. lidé z různých zemí, nezávislé skupiny pacientů s odlišnou léčbou atd. •Při výpočtu je nezbytné brát v úvahu charakteristiky obou skupin dat. •Mezi objekty v srovnávaných skupinách existuje vazba, daná např. člověkem před a po operaci, před a po dietě atd. •Oba soubory musí mít shodný počet hodnot, protože všechna měření v jednom souboru musí být spárována s měřením v druhém souboru. •Test je prováděn na diferencích skupin, nikoliv na jejich původních datech. > •Srovnávají navzájem dva vzorky (two sample, dvouvýběrové testy) •Pro srovnání tří a více vzorků nezávislých dat použijeme analýzu rozptylu – ANOVA (případně neparametrickou variantu Kruskalův-Wallisův test) Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Schéma při testování pomocí párových testů Data Normální rozdělení? (normální rozdělení diferencí!) NE ANO Párový t-test Párový Wilcoxonův test / znaménkový test Parametrické testy Neparametrické testy Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Schéma při testování 2 a více skupin Data Normální rozdělení v rámci skupin? NE ANO Logaritmická transformace Normální rozdělení v rámci skupin? NE ANO Dvouvýběrový t-test, ANOVA na transformovaných datech Dvouvýběrový t-test, ANOVA Homogenita rozptylů? NE ANO Mannův-Whitneyho test, Kruskalův-Wallisův test * Homogenita rozptylů? NE ANO Mannův-Whitneyho test, Kruskalův-Wallisův test na původních datech * Mannův-Whitneyho test, Kruskalův-Wallisův test na původních datech Parametrické testy Neparametrické testy * Při nesplnění předpokladu shody rozptylů mezi skupinami lze použít i parametrický t-test s Welchovou korekcí Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Korelační a regresní analýza —Korelační analýza je využívána pro vyhodnocení míry vztahu dvou spojitých proměnných. Obdobně jako jiné statistické metody, i korelace mohou být parametrické nebo neparametrické. — —Regresní analýza vytváří model vztahu dvou nebo více proměnných, tedy jakým způsobem jedna proměnná (vysvětlovaná) závisí na jiných proměnných (prediktorech). Regresní analýza je obdobně jako ANOVA nástrojem pro vysvětlení variability hodnocené proměnné. Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Korelační koeficienty —Korelační koeficient (r) – kvantifikuje míru vztahu mezi dvěma spojitými veličinami (X a Y). — ØPearsonův korelační koeficient – parametrický, hodnotí míru lineární závislosti mezi 2 spojitými proměnnými. ØSpearmanův korelační koeficient – neparametrický, hodnotí míru pořadové závislosti mezi 2 spojitými proměnnými. ØHodnota r je kladná, když vyšší hodnoty X souvisí s vyššími hodnotami Y, naopak hodnota r je záporná, když nižší hodnoty X souvisí s vyššími hodnotami Y. ØNabývá hodnot od -1 do 1: ¢ r = 0 → nekorelované r > 0 → kladně korelované r < 0 → záporně korelované Ø Ø • — — Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová logo-IBA Problémy s výpočtem korelačního koeficientu Problém více skupin Nelineární vztah X Y X r = 0,981 (p < 0,001) r = 0,761 (p = 0,032) Y Problém velikosti výběru Y X Y X r = 0,891 (p = 0,214) r = 0,212 (p = 0,008) Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, S. Littnerová, L. Brožová