MASARYKOVA UNIVERZITA Přírodovědecká fakulta DISERTAČNÍ PRÁCE Brno, 2009 Hana Kotoučková MASARYKOVA UNIVERZITA Přírodovědecká fakulta Hana Kotoučková Historie robustních matematicko-statistických metod Disertační práce Školitel: prof. RNDr. Jana Jurečková, DrSc. Brno, 2009 Bibliografická identifikace Jméno a příjmení autora: Hana Kotoučková Název disertační práce: Historie robustních matematicko-statistických metod Název disertační práce anglicky: History of Robust Statistical Methods Studijní program: Matematika Studijní obor (směr), kombinace oborů: Obecné otázky matematiky Školitel: prof. RNDr. Jana Jurečková, DrSc. Rok obhajoby: 2009 Klíčová slova v češtině: Robustní metody, metoda nejmenších čtverců, small sample asymptotics, Mayer, Boscovich, Laplace, Gauss, Newcomb, Hülst, Princetonská studie, Huber, Hampel, mnohorozměrné modely. Klíčová slova v angličtině: Robust methods, least Squares method, small sample asymptotics, Mayer, Boscovich, Laplace, Gauss, Newcomb, Hülst, Princeton study, Huber, Hampel, multivariate model. © Hana Kotoučková, Masarykova univerzita, 2009 Prohlášení: Prohlašuji, že jsem dizertační práci zpracovala samostatně a s použitím uvedené literatury. V Brně dne 22. 3. 2009 Hana Kotoučková Poděkování Děkuji svojí školitelce prof. RNDr. Janě Jurečkové, DrSc. za její pomoc, cenné rady a čas, který mi věnovala při přípravě a psaní této práce. Abstrakt Cílem práce bylo stručně popsat, jak se začaly objevovat statistické postupy, které bychom dnes označili přízviskem robustní. Především šlo o to popsat, proč vůbec vyvstala potřeba používat nové postupy v situacích, kdy klasické statistické metody selhávaly. Nejprve jsou krátce popsány počátky samotné teorie pravděpodobnosti, kombinatoriky, demografie a pojistné matematiky. Samostatná kapitola je věnována metodě nejmenších čtverců. Metoda nejmenších čtverců nebyla jedinou možností, jak kombinovat nekonzistentní rovnice, nicméně byla nejúspěšnější. Problémem kombinování jednotlivých pozorování se zabýval kartograf Tobias Mayer, matematik Leonard Euler nebo Pierre Simon Lapiace. Poněkud méně známou osobností je jezuitský kněz Roger Joseph Boscovich, který dal slovní a geometrický popis metody, která může být považována za alternativu k metodě nejmenších čtverců. Samotnou metodu nejmenších čtverců pak uveřejňuje roku 1805 Adrie Marie Legendre. Nicméně již o čtyři roky později si objev této metody přisvojuje Carl Friedrich Gauss. Gauss je spojen i se zavedením normálního rozdělení. Dlouhou dobu se předpokládalo, že většina náhodných veličin se řídí právě tímto rozdělením a již se neověřovalo, jestli se skutečně zkoumaná veličina řídí normálním rozdělením. Pokud se nejedná o normální rozdělení, jsou např. přítomny odlehlé hodnoty, klasické statistické procedury (včetně metody nejmenších čtverců) mohou selhat. Mezi jedny z prvních, kteří si tohoto faktu všimli, patří americký astronom Simon Newcomb, matematik Percy John Danieli nebo nizozemský astronom Hendrik van de Hulst. Moderní robustní metody se objevují až v druhé polovině dvacátého století. Zásadním byl z tohoto pohledu článek Petera Hubera z roku 1964 Robust Estimation of a Location Parameter. Huber zde mj. zavádí M-odhady. Vletech 1970-1971 se vPrincetonu konal seminář o robustních odhadech. Poznatky byly shrnuty v knize Robust Estimates of Location: Survey and Advances. Autoři zde prezentují nové robustní odhady a tyto odhady pak porovnávají mezi sebou pomocí influenční funkce a bodu selhání, které navrhl Frank Hampel. Přirozeně bylo žádoucí u robustních odhadů zjistit alespoň přibližné rozdělení pravděpodobností. Touto problematikou se zabýval např. britský statistik Henry Ellis Daniels, švýcarský statistik Frank Hampel a Kanaďan Christopher Field. Ricardo Antonio Maronna (Argentina) přišel již v roce 1976 s robustními metodami v mnohorozměrných modelech, které jsou trendem i v současnosti. Práce je zakončena pohledem na problémy a směry současné robustní statistiky. Abstract The intention of this work is to give a brief description of the beginning of robust methods. My primary goal was to describe the situations, where the classical statistical procedures did not work, what was a reason for finding new methods. The first part of the Thesis briefly describes the foundation of probability theory, combinatorics, insurance mathematics and demography. The next chapter deals with the least squares method, which was the most succesful among the early methods of combining inconsistent equations. The problem of combining inconsistent equations was studied by cartographer Tobias Mayer and by mathematicians Leonard Euler and Pierre Simon Laplace. The Jesuit Roger Joseph Boscovich gave a geometric description of the method that was a predecessor of the least squares. The first publication on the least squares method was that by Adrien Marie Legendre in 1805. However, Carl Friedrich Gauss denoted himself as the author of the least squares in his book, published four years later. The name of Gauss is also connected with the introduction of the normal distribution. The normal distribution was for a long time considered as the probability distribution of most random variables. However, it turns out that the classical statistical methods (including the least squares) can fail if the random variable doesn't come from the normal distribution, as was observed by American astronomer Simon Newcomb, English mathematician Percy John Daniell or Dutch astronomer Hendrik van de Hulst. Modern robust methods appeared in the second half of the twentieth century. In 1964 Peter Huber published the significant article Robust Estimation of a Location Parameter, introducing the M-estimators. In 1970-1971, John Wilder Tukey organized seminars on robust estimators in Princeton. Their results and conclusions the Princeton group published in the book Robust Estimates of Location: Survey and Advances. The authors studied new robust estimators and compared them by means of the influence function and the breakdown point, the concepts introduced by Frank Hampel. An important problem was to derive the probability distribution of robust estimators, at least approximatively. This problem have been solved by British statistician Henry Ellis Daniels, Swiss statistician Frank Hampel and Canadian Christopher Field. The first extension of the robust methods to multivariate models was made by Ricardo Antonia Maronna (Argentina) in 1976. The robust methods in multivariate models are the main problem of interest up to now. The final part of the Thesis briefly describes the recent trends in robust statistics. OBSAH Obsah ÚVOD.....................................................................................................................................................................1 KAPITOLA 1: HISTORICKÝ ROZVOJ PRAVDĚPODOBNOSTNÍHO A STATISTICKÉHO ZPŮSOBU VNÍMÁNÍ..........................................................................................................................................6 1.1 Počátky teorie pravděpodobnosti.........................................................................................................6 1.2 Kombinatorika........................................................................................................................................15 1.3 Teorie pravděpodobnosti v 18. století................................................................................................17 1.4 Demografie a pojistná matematika.....................................................................................................19 KAPITOLA 2:.HISTORICKÉ KOŘENY METODY NEJMENŠÍCH ČTVERCŮ.....................................21 2.1 Metoda nejmenších čtverců.................................................................................................................21 2.2 johann tobias mayer.............................................................................................................................22 2.3 leonard euler a zkoumání neperiodických odchylek v pohybech saturnu a jupitera............24 2.4 roger joseph boscovich.........................................................................................................................25 2.5 Pierre Simon de Laplace........................................................................................................................29 2.6 LEGENDRE a uveřejnění metody nejmenších čtverců......................................................................... 31 2.7 Gauss a spor o prvenství v objevení metody nejmenších čtverců..................................................32 KAPITOLA 3:.CITLIVOST ODHADU METODOU NEJMENŠÍCH ČTVERCŮ K ODCHYLKÁM OD NORMÁLNÍHO ROZDĚLENÍ A PRVNÍ ALTERNATIVNÍ ODHADY.....................................................39 3.1 Dogma normality...................................................................................................................................39 3.2 Zamítnutí odlehlých pozorování........................................................................................................40 3.3 Simon Newcomb a směsi normálních rozložení.................................................................................41 3.4 Lineární funkce pořádkových statistik.............................................................................................42 3.5 Percy John Daniell.................................................................................................................................44 3.6 Hendrik van de Hulst.............................................................................................................................47 KAPITOLA 4: VÝVOJ ROBUSTNÍCH ODHADŮ A ROBUSTNÍCH METOD V LINEÁRNÍM REGRESNÍM MODELU...................................................................................................................................53 4.1 Robustnost...............................................................................................................................................53 4.2 Teoretické základy robustních statistických metod.....................................................................54 4.3 Počátky moderních robustních odhadů.............................................................................................62 4.4 Peter Jost Huber.....................................................................................................................................63 4.5 Princetonská studie...............................................................................................................................67 4.6 Frank Hampel..........................................................................................................................................70 4.7 Povaha reálných dat.............................................................................................................................73 4.8 Small sample asymptotics.....................................................................................................................81 4.9 Ricardo Antonio Maronna...................................................................................................................85 4.10 Současnost robustní statistiky a její přínosy.................................................................................86 LITERATURA....................................................................................................................................................88 ÚVOD Úvod Disertační práce se věnuje vzniku teorie pravděpodobnosti, metodě nejmenších čtverců a především počátkům robustních matematicko-statistických metod. Výraz „robustní" se ve statistice používá poměrně krátkou dobu. Statistický význam tomuto slovu dal až G. E. P. Box v polovině dvacátého století. V dnešní době existují různé definice, více či méně matematicky přesné, ale obecně robustní znamená necitlivý na malé odchylky z idealizovaných předpokladů, pro které je odhad optimalizován. Mne ale nezajímaly pouze moderní robustní metody, jak je známe dnes a jak se vyučují na vysokých školách. Zajímala jsem se spíše o to, jak robustní postupy vznikly, co robustním metodám předcházelo, v jakých souvislostech se objevila potřeba používat jiné, jak klasické statistické metody. Aby bylo možné dostat se ke vzniku robustních metod, podívala jsem se nejprve na to, jak vznikla pravděpodobnost a statistika jako taková. Často bývá za počátek teorie pravděpodobnosti považována korespondence z roku 1654 mezi Pascalem (Blaise Pascal, 1623-1662) a Fermatem (Pierre de Fermat, 1601-1665). Nicméně počátky musíme hledat mnohem dříve. Teorie pravděpodobnosti se využívala i při různých hrách. Jednou z nej starších her byla nejspíš hra s kostkami. Kostky mohly být nahrazovány i jinými předměty, jako jsou kůstky nebo tyčinky. Tyto hry se objevují již na starověkých egyptských malbách (kolem roku 3500 před n. 1.). Počátky teorie pravděpodobnosti stručně popisuje první kapitola této disertační práce. Zabývám se zde mj. úlohou o rozdělení sázky, první publikovanou prací o počtu pravděpodobnosti De ratiociniis in ludo aleae, kterou napsal Christiaan Huygens (1629-1695). Huygensův spis je přetištěn, rozebírán a úlohy zobecňovány v díle Jakoba Bernoulliho (1654-1705) Ars conjectandi. Kombinatorické úlohy se sice objevují již mnohem dříve, ale kombinatorika jako samostatná část matematiky se začíná vyčleňovat až v polovině 17. století. Jedno z prvních děl zabývajících se kombinatorikou Traité du triangle arithemétique pochází od Blaise Pascala (1623-1662). Pascal sám však dílo nevydal, jedná se spíše o soubor textů, který byl vydán až po Pascalově smrti roku 1665. V druhé polovině 17. století vzniká infinitesimální počet. Tyto nové metody používají v teorii pravděpodobnosti Pierre-Rémond de Montmort (1642-1727) a Abraham De Moivre (1667-1754). V souvislosti s rozvojem teorie pravděpodobnosti jsem se také krátce zmínila o demografii a pojistné matematice. Nej starší známé úmrtnostní tabulky pocházejí již z roku 211 a jejich autorem byl římský právník Domitius Ulpianus (zemřel r. 228). V Evropě jsou známy první seznamy zemřelých - 1 - ÚVOD až z roku 1532 v souvislosti s morovou epidemií v Anglii. V roce 1592 začínají v Londýně vycházet pravidelné týdenní seznamy úmrtí. Z těchto studií vycházela i první publikovaná práce z pojistné matematiky z roku 1662, jejímž autorem byl John Graunt (1620-1674). Teorií doživotních důchodů se zabýval dokonce i anglický astronom Edmond Halley (1656— 1742). Druhá kapitola se věnuje historickým kořenům metody nejmenších čtverců. Metoda nejmenších čtverců byla nejúspěšnější z raných metod kombinování nekonzistentních rovnic. Důvodem obliby této metody byl fakt, že byla založena na snadno pochopitelných kritériích. Je zajímavé podívat se na pozadí jejího vzniku v souvislosti s geofyzikálními a astronomickými problémy 18. a 19. století. Mezi hlavní problémy patří např. určení a matematický popis pohybů Měsíce, vysvětlení neperiodických odchylek v pohybu planet Jupiteru a Saturnu, stanovení přesného tvaru zeměkoule nebo stanovení střední hustoty Země a gravitační konstanty. Tobias Mayer (1723-1762) pracoval jako kartograf v Norimberku. Vletech 1748-1749 provedl mnoho pozorování Měsíce a jeho pohyb popsal pomocí 27 nekonzistentních rovnic o třech neznámých. Byl přesvědčen o tom, že přesnost výsledku lze zlepšit vhodnou kombinací jednotlivých pozorování a navrhl statistické řešení problému, jak pozorování vhodně kombinovat. Výsledkem toho byla soustavy tří rovnic pro tři neznámé. Leonard Euler (1707-1783) se zabýval výpočtem drah planet, variačním počtem, pohyby Měsíce, ale také aplikací matematiky např. ve stavbě lodí a ve fyzice. Zaměřila jsem se na jeho studium nepravidelností ve vzájemném pohybu Saturnu a Jupitera. Euler po ověření na empirických datech získal soustavu 75 rovnic s osmi neznámými. Protože byl ale exaktním matematikem, nepoužil pro zlepšení přesnosti kombinaci pozorování jako Mayer. Méně známou postavou je jezuitský kněz Roger Joseph Boscovich (1711-1787). Zabýval se měřením poledníkového úhlu. Při analýzách těchto dat dospěl k prvnímu úspěšnému řešení nekonzistence různých obloukových měření. Svoji metodu však neformuluje analyticky, dává pouze slovní a geometrický popis. Na Eulera a Mayera navázal ve své analýze pohybů Saturnu a Jupitera Pierre Simon Lapiace (1749-1827). Pomocí kombinace nekonzistentních lineárních rovnic odhalil periodicitu pohybů těchto dvou planet. V roce 1787 své závěry publikoval v knize Théorie de Jupiter et de Saturne [55]. V roce 1805 Adrien Marie Legendre (1752-1833) publikoval knihu o určování dráhy komet Nouvelles méthodes pour la děterminations des orbits des cometes [56]. V apendixu -2- ÚVOD své knihy navrhl metodu nej menších čtverců, kterou aplikoval na naměřená pozorování drah komet. V roce 1809 Carl Friedrich Gauss publikoval svoji metodu nejmenších čtverců a směle připisoval objevení této metody sobě se slovy, že uvedenou metodu používá již od roku 1795. Toto tvrzení ovšem nemohl doložit žádnou konkrétní publikací a jeho nárokování prvenství je tak založeno pouze na nepřímých důkazech, které jsou v druhé kapitole zmíněny. Brzy po publikaci Legendreovy práce se metoda nejmenších čtverců stala standardní metodou astronomie a geodézie. Carl Friedrich Gauss (1777-1855) se zabýval podobnými problémy jako Mayer, Euler, Lapiace a Legendre. Gauss ale hledal rozdělení pravděpodobností chyb měření, pro které je odhad metodou nej menší čtverců optimálním odhadem měřené konstanty. Dospěl tak k hustotě normálního rozdělení. Toto rozdělení má v matematické statistice velice významnou roli. Od roku 1810 se dokonce předpokládalo, že většina náhodných veličin se řídí právě tímto rozdělením. Normální rozdělení bylo dlouhou dobu považováno za rozdělení, kterým se řídí většina náhodných veličin. I při používání metody nejmenších čtverců se často bez dalšího ověřování předpokládalo, že velikosti chyb pochází z normálního rozdělení. Na odlehlé hodnoty jsou citlivé i klasické statistické procedury, jako je průměr a rozptyl. Právě o citlivosti klasických statistických charakteristik a procedur na odchylky od normality pojednává třetí kapitola. V této souvislosti zmiňuji amerického astronoma Simona Newcomba (1835-1909), objevitele směsi normálních rozdělení. S průkopnickou prací Observations Weighted According to Order přichází v roce 1920 Percy John Danieli (1889-1946). Zavádí zde statistiky, kde jsou váhy přiřazeny měřením podle jejich pořadí. Nicméně Daniellovo dílo zůstalo nepovšimnuto a znovuobjevení jeho výsledků trvalo dalších dvacet let. Robustní statistiky bychom mohli najít v práci nizozemského astronoma Hendrika Ch. van de Hulsta (1918-2000). Ale i jeho práce zůstala dlouhou dobu nepovšimnuta. Hulst se zabýval robustní statistikou pouze krátce. Tím hlavním důvodem bylo nejspíš to, že v roce 1944 začal slavil úspěchy na poli teoretické astronomie. Poslední kapitola se zabývá moderními robustními odhady. Hned na začátek jsem zařadila něco málo z teorie robustních metod kvůli častému používání těchto pojmů ve zbytku kapitoly. Zásadním zlomem pro moderní robustní statistické metody byl článek Petera J. Hubera (*1934) z roku 1964 Robust Estimation of a Location Parameter. Huber zde mj. pojednává o asymptotické teorii odhadu parametru polohy pro kontaminovaná normální - 3 - ÚVOD rozdělení. Zavádí zde také tzv. M-odhady. Další významnou událostí pro rozvoj robustních metod byl seminář v Princetonu, který se konal v akademickém roce 1970-1971. V té době zde působil jako profesor statistiky John Wilder Tukey (1915-2000). Semináře se účastnili nejen zaměstnanci a studenti Princetonu, ale i pozvaní hosté. Základem této skupiny byli David F. Andrews , Peter J. Bickel, Frank R. Hampel, Peter J. Huber, W. H. Rogers a John W. Tukey. Princetonská skupina upozornila na nedostatky klasických odhadů a nabídla jako alternativu robustní odhady. Příspěvky byly posouzeny a následně doplněny. Výsledkem tohoto snažení pak byla kniha Robust Estimates of Location: Survey and Advances, která vyšla v roce 1972. Autoři nejen navrhli nové robustní odhady, ale navíc se snažili určit kvality i případné nedostatky těchto odhadů pomocí Hampelova bodu selhání a influeční funkce. A právě o influeční funkci a bodu selhání, které studoval Frank Hampel, je další část čtvrté kapitoly. Stručně bychom mohli říct, že bod selhání je nejmenší podíl pozorování, která po nahrazení libovolnými hodnotami (co nej nepříznivějšími) mohou vést k hodnotám odhadu nekonečno. Po Princetonské studii nastal poměrně překotný rozvoj robustních odhadů. Stalo se trendem uvažovat pouze odhady, které jsou „dostatečně dobré". Tato kvalita odhadu byla měřena pomocí bodu selhání. Odhady, které měly bod selhání menší nezjedná polovina, byly považovány za nedostatečné. Nad tím, zdaje nutné dodržovat toto striktní omezení, zda jsou skutečná data opravdu tak pesimistická, se zamýšlel Stephen Stigler v roce 1977. Jeho závěry jsem zařadila do části Povaha reálných dat. U robustních odhadů by bylo logicky žádoucí zjistit jejich alespoň přibližné rozdělení pravděpodobností. V roce 1954 používá britský statistik Henry Ellis Daniels (1912-2000) metodu sedlového bodu k odvození velice přesné aproximace rozdělení aritmetického průměru. Obdobnou problematikou se zabýval také Frank Hampel. Vhodně zde použil označení „small sample asymptotics", který vystihuje podstatu těchto metod. V části Small sample asymptotics je dále pojednáno i o práci Christophera A. Fielda. V současnosti j sou trendem robustní metody v mnohorozměrných modelech. Nicméně nejedná se o novinku několika posledních let. Na pole robustních odhadů přišel s mnohorozměrnými modely Ricardo Antonio Maronna již v roce 1976. Disertační práci uzavírá krátké pojednání o současných problémech a směrech robustní statistiky a o jejích přínosech pro obecný rozvoj moderní statistiky. Kromě uvedené literatury jsem ještě používala dva cenné internetové zdroje. Tím prvním byl The Mathematics Genealogy Project, dostupný na http://www.genealogy.ams.org/. -4- ÚVOD Jedná se o službu, kterou poskytuje Oddělení matematiky na North Dakota State University společně s Americkou matematickou společností. Druhým zdrojem pak byl The MacTutor History of Mathematics archive (http://www.historv.mcs.st-andrews.ac.uk/history/), vytvořený Johnem J. O'Connorem a Edmundem F. Robertsonem z University of St. Andrews. - 5 - KAPITOLA 1. Kapitola 1: Historický rozvoj pravděpodobnostního a statistického způsobu vnímání 1.1 Počátky teorie pravděpodobnosti Za počátek teorie pravděpodobnosti je obecně považována korespondence mezi Pascalem1 a Fermatem2, kterou spolu vedli v létě a na podzim roku 1654. Nicméně Pascal s Fermatem měli velké množství předchůdců. Počátky teorie pravděpodobnosti lze hledat v hrách. Nej starší z těchto her byla nejspíš hra v kostky. Ovšem v počátcích se neobjevuje hra s kostkami, jak je známe dnes, ale s jinými předměty, které je nahrazovaly. Nejstarší z nich jsou patrně hlezenní kosti kopytnatců (viz obr. 1.1.). Tato „kostka" může padnout čtyřmi způsoby. Hlezenní kosti v lidských sídlištích v nápadně velkém množství jsou nacházeny v sídlištích starých až 40 000 let. Archeologové se domnívají, že tyto kůstky byly používány právě k hrám. Obrázek 1.1. Hlezenní kůstky kopytnatců Na starověkých egyptských malbách z I. dynastie (kolem roku 3500 před n. 1.) lze nalézt znázornění her, při kterých se používala kostka. V čem přesně hra spočívala a jaká byla její pravidla, známo není. Nicméně ví se alespoň to, že hra spočívala v posouvání figurek a k určení počtu kroků se používaly buď hlezenní kosti nebo tyčinky. Nejspíš první hry o peníze se objevují ve starověkém Řecku. Rekové házeli hlezenními kůstkami, které měly očíslované strany 1, 3, 4 a 6. V Řecku byly kostky oblíbenou hrou, o čemž svědčí fakt, že byly častým motivem uměleckých děl. Kostky se objevovaly mj. na keramice, kresbách, mincích (viz obr. 1.2.). 1 Blaise Pascal (1623-1662) - narodil se v Clermon - Ferrandu, jeho otec byl soudcem, ale také se zabýval matematikou. Ve dvaceti letech Blaise Pascal sestrojil počítací strojek, který pomáhal jeho otci při výpočtu daní. Zabýval se pravděpodobností, projektivní geometrií, ale i fyzikou, filozofií a teologií. Blaise Pascal umírá ve věku 39 let v Paříži v důsledku těžké nemoci. 2 Pierre de Fermat (1601-1665) - vystudoval právo na univerzitě v Orleans. Pracoval jako člen parlamentu v Toulouse. Zabýval se matematickou analýzou, teorií čísel, ale i optikou. Je považován za zakladatele teorie čísel (Velká Fermatova věta). -6- KAPITOLA 1. I Římané se ve starověku věnovali hře v kostky. Používali kostky kamenné. Ve starověké Indii zase využívali na hry oříšky vibhidaka. Nikde se ale doposud neobjevuje známka o počítání relativních četností jednotlivých hodů. Někdy se jako důvod uvádí nedokonalost kostek a tudíž nemožnost počítat četnosti vrhů. Obrázek 1.2. Keramika znázorňující ženy při hře v kostky (kolem r. 300 před n. I.) Kombinatorika se objevuje nejdříve v Asii. Bhagabati Sútra přibližně z roku 300 před n. 1. obsahuje počty kombinací a permutací k prvků z n pro k = 1,2,3. Tyto počty se využívají při řešení problémů typu „jaké podsoubory lze vytvořit z daného počtu mužů a žen" apod. I v dalších sútrách lze nalézt kombinatorické otázky. S pravděpodobností se setkáváme i v rabínské literatuře. U Židů byla hra v kostky zakázána, nicméně los se používal jak v liturgii, tak pro rozhodování sporů. Nej častějším způsobem, jak dát průchod náhodě, bylo losování z urny. V rabínské literatuře se objevuje základní počítání s pravděpodobnostmi poměrně často, avšak především ve smyslu řešení praktických příkladů. Příklady na řešení situací založených na náhodě můžeme nalézt v Talmudu3 . Jsou zde úlohy např. na násobení pravděpodobností. V Evropě se objevuje výpočet z kombinatoriky u biskupa Wibolda z Cambray. Ten pro mnichy vymyslel hru (kolem r. 965), kde mniši házeli třemi kostkami a tím dostali jednu zmožných 56 kombinací. Mnich si tak vylosoval jednu z 56 ctností, kterou musel po následujících dvacet čtyři hodin praktikovat. Některé čtenáře možná překvapí fakt, že hra pochází z církevního prostředí. V Evropě totiž byla hráčská vášeň kritizována a potlačována 3 Talmud je jedním z hlavní děl rabínské literatury. Objevuje se ve dvou variantách - jeruzalémské (okolo r. 400 a babylónské (427-560). Jedná se o soubor předpisů nejen náboženských, ale i právních z oblasti trestního a občanského práva. -7- KAPITOLA 1. nejen ze strany státu, ale i ze strany církve. Nicméně zákaz se vztahoval pouze na hry 0 peníze. Proto i v době III. křížové výpravy měli vojáci jasně vymezená pravidla pro hraní kostek. Kombinatorická čísla se objevují v básni De vetula {O stařence). Autorem této básně byl nejspíš Richard de Fournival4. Uvádí zde návod, jak počítat kombinatorická čísla pro počty možností jednotlivých součtů při hodu třemi kostkami. Ve srovnání s jinými matematickými disciplínami se teorie pravděpodobnosti začala rozvíjet až poměrně pozdě. Podívejme se tedy nejprve na možné příčiny tohoto pozdního vývoje. Jednou z nich je i to, že nikdo neviděl žádnou souvislost mezi náhodnými jevy a matematikou. Náhoda byla buď zbožštěna (nic se neděje náhodně, vseje řízeno vyšší mocí), nebo byla náhoda považována za pouhou neznalost všech vztahů a příčin. Další příčinou bylo 1 to, že zkoumání náhody dříve nebylo nutné. Potřeba popsat náhodné jevy se objevuje v souvislosti s rozvojem demografie, pojišťovnictví, astronomie. Obrázek 1.3. Pierre de Fermat a Blaise Pascal Mohli bychom říci, že impulsem pro zkoumání náhodných jevů byly hazardní hry. Hry v kostky začínají ve čtrnáctém století doplňovat karetní hry. V počátcích byly ale karty poměrně nákladnou záležitostí, a proto se hrály především mezi lidmi z vyšších vrstev. Hazardní hry se objevují i v již zmiňované korespondenci mezi Pascalem a Fermatem z roku 1654. Více o této korespondenci lze nalézt např. v [17]. V této souvislosti by ale bylo vhodnější mluvit spíše o počtu pravděpodobnosti. Nejednalo se totiž o budování teorie, šlo o řešení konkrétních příkladů. Většina uvedené korespondence se zabývá úlohou o rozdělení 4 Richard de Fournival (1190-1260) - kancléř katedrály v Amiensu. - 8 - KAPITOLA 1. sázky. Tato úloha se objevuje i u dalších autorů. Ve své nejjednodušší podobě se dá formulovat následovně: Dva „stejně dobří" hráči (pravděpodobnost výhry v každé hře je pro oba hráče stejná) hrají určitou sérii her o částku C. Vyhrává ten, kdo jako první vyhraje k her. Tato série her může být předčasně ukončena, a to ve chvíli, kdy prvnímu hráči chybí do výhry m her a druhému hráči n her. Úkolem je rozdělit spravedlivě částku C mezi tyto dva hráče. Poprvé se však úloha o rozdělení sázky neobjevuje v uvedené korespondenci. Její původ je mnohem starší. Až donedávna se předpokládalo, že nejstarší řešení této úlohy podal italský matematik Pacioli5. Nicméně O. Ore našel zmínku o úloze v rukopise z roku 1380. Pacioli uvažuje příklad se dvěma hráči, kteří ve stavu 5:3 ukončují sérii a potřebují mezi sebe rozdělit sázku. Pacioli navrhuje, že to mají udělat v poměru k již dosaženým bodům. Na toto chybné řešení zareagoval ve své knize General trattoto di numeri etmisura Tartaglia6. Ovšem ani on se nedobral ke správnému řešení. Ani jeden z nich se totiž nezabývá herní budoucností, tj. tím, kolik her ještě zbývá k vítězství. To odvodil až Cardano7. Cardano si povšiml toho, že rozdělení sázky nezávisí na odehraných hrách, ale na počtu her, které chybí každému z hráčů k vítěznému konci. Sázka má být rozdělena úměrně k počtu způsobů, kterými lze vyhrát. 5 Luca Pacioli (1445-1517) - matematik, učil na univerzitách v Pise, Bologni, Florencii. 6 Niccolo Fontána Tartaglia (1499-1557) - italský matematik, známý především díky algebraickému řešení kubických rovnic. Autor několika matematických knih, včetně prvních italských překladů Archimeda a Euclida. 7 Girolamo Cardano (1501-1576) - italský matematik. Cardano vystudoval medicínu. Od r. 1526 pracoval jako lékař, nicméně v r. 1632 se vrátil do Milána a byl jmenován učitelem matematiky. Stal se nejvýznamnějším lékařem v Miláně, jeho služby byly žádané po celé Evropě. Současně vyučoval matematiku. Napsal několik knih z oblasti medicíny, matematiky, astronomie, náhodných her. Jeho nejznámější knihou je nejspíš ArsMagna. Od r. 1562 byl profesorem medicíny v Boloně. V r. 1570 byl obviněn z kacířství a dostal zákaz přednášet veřejně a vydávat knihy. Teorií pravděpodobnosti se zabývá se své knize Liber de Ludo Alece, která ale byla publikována až v roce 1663. -9- KAPITOLA 1. VPacioliho příkladu jen to pak poměr rozdělení sázky 7:1. Cardano byl podle Halda [28] notorickým hráčem. Tuto svoji hráčskou zkušenost využil ve své knize Liber de Ludo Aleae. Kniha byla ovšem publikována až v roce 1663. Není známo, kdy byl rukopis dokončen. Nicméně ve 20. kapitole se objevuje datace 1564. Liber de Ludo Aleae je pojednáním o teoretických, praktických a morálních aspektech her založených na náhodě. Většina teorie je podána formou příkladů. Některé případy řeší metodou pokus - omyl a v knize uvádí jak správné, tak špatné řešení. Díky pozdní publikaci tato kniha neovlivnila přímo další vývoj. Nicméně se dá předpokládat, že výsledky Cardana byly koncem šestnáctého století známé matematické komunitě. Více o knize např. v Haldovi [28]. V této době se také objevovaly úlohy, které bychom dnes označili jako kombinatorické, např. kolika způsoby může při současném hodu několika kostkami padnout jistý počet ok. Při prvních pokusech o vyřešení těchto úloh se však nikde nepíše o „pravděpodobnosti". Tento pojem je nahrazen výrazy „dělení částky", „šance na výhru" apod. Otázku, zda se při hodu třemi kostkami vyskytuje součet 9 stejně často jako součet 10, řeší ve svém krátkém pojednání Sopra le Scoperte dei Dadi Galileo Galilei8. Anglický překlad této práce je možné najít v dodatku knihy [18], kde David datuje Galileovu práci do období 1613-1623. Obrázek 1.5. Christiaan Huygens 8 Galileo Galilei (1564-1642) - astronom, matematik, fyzik, filozof. Od roku 1589 působil na katedře matematiky na univerzitě v Pise, v roce 1592 odchází na univerzitu v Padově. Galileo se proslavil také jako astronom. Sestrojil vylepšené dalekohledy, objevil čtyři měsíce Jupiteru, fáze Venuše, ukázal, že na povrchu Měsíce jsou krátery a pohoří. V roce 1632 vydává spis Dialogo, který je vlastně dialogem nezi Aristotelovským a Koperníkovským pohledem na vesmír. O mechanice je dílo Discorsi e dimostrazioni matematické intorno a due nuove scienze attinenti alla mecanica ed i movimenti locali z roku 1638. Kvůli svým názorům se dostává Galileo do sporu s církví. - 10- KAPITOLA 1. První publikovanou prací o počtu pravděpodobnosti byl Huygensův9 spis De ratiociniis in ludo alece {O výpočtech v hazardní hře), který vyšel v roce 1657. Christian Huygens při studiu práv navštívil Paříž a zde se dozvěděl o korespondenci Pascala s Fermatem. Ve své práci Huygens publikoval i správné řešení úlohy o rozdělení sázky. Svůj spis De ratiociniis in ludo alece napsal Huygens holandsky, do latiny ho přeložil Franciscus van Schooten - ten ho také vydal jako přílohu se své práci Exercitationum mathematicarum libri quinque. Huygensovo dílo je rozčleněno do čtrnácti témat, tzv. Propositio. Zabývá se v nich hrou o nějakou sázku, úlohou o rozdělení sázky a dalšími příklady s herní motivací. V dodatku je připojeno pět neřešených úloh, které ponechává Huygens na procvičení čtenářům. Ani Huygens zde nezavádí pojem „pravděpodobnost", mluví o tzv. „očekávané výhře", popř. používá formulaci, že „očekávané výsledky mohu získat stejně snadno". Za hlavní přínos bychom mohli označit zavedení střední hodnoty diskrétní náhodné veličiny, kterou ovšem nazývá „očekávaná výhra". V obecných příkladech již využívá pravidla o sčítání a násobení relativních četností - „pravděpodobností" - nezávislých jevů. Oproti korespondenci Pascala s Fermatem je zde ale podstatný rozdíl vtom, že zatímco Pascal s Fermatem řešili pouze konkrétní úlohy, Huygens se pokouší o zavádění obecných pojmů a postupů. V propositiones I—III uvádí tři tvrzení, které bychom dnes mohli označit jako definice, a z nich potom vychází při řešení svých příkladů. Vždy pod tvrzením je vysvětlení, proč vztah platí. Z našeho hlediska je nej důležitější třetí tvrzení, které je zobecněním prvních dvou. Zájemci mohou najít otištěnou Huygensovu práci v původní latinské verzi i v českém překladu v [61], odkud jsou i následující překlady do češtiny. TVRZENÍ III. Jestliže by počet případů, v nichž mi připadne a, byl roven p, ale počet případů, v nichž mi připadne b, byl roven q, pak za předpokladu, že všechny případy jsou stejně možné, mé očekávání bude mít hodnotu ^a + ^ .10 P+ I 9 Christiaan Huygens (1629-1695) - narodil se i zemřel v Haagu v Holandsku; zajímal se o broušení optických čoček a konstrukci dalekohledu, pomocí něhož v r. 1655 objevil první měsíc planety Saturn; patentoval první kyvadlové hodiny v r. 1656, které podstatně zlepšily přesnost měření času; sestrojil několik kyvadlových hodin, pomocí nichž určoval zeměpisnou délku při svých plavbách po moři; ve své práci Horologium Oscillatorium sive de motu pendulorum z r. 1673 popsal teorii pohybu kyvadla; v r. 1663 byl přijat do Královské společnosti v Londýně; byl předním členem francouzské Akademie věd. 10 PROPOSITION III. - 11 - KAPITOLA 1. V následujících tvrzeních IV-IX Huygens řeší úlohu o rozdělení sázky. Začíná nejprve řešením případů pro dva hráče. Poté se dostává k řešení v případě tří hráčů. Svoje pojednání o rozdělení sázky uzavírá v tvrzení IX, kde dává návod, jak nalézt obecné řešení úlohy o rozdělení sázky pro libovolný počet stejně dobrých hráčů. Tuto formulaci bychom dnes mohli označit za matematickou větu. Udává rekurentní postup, jak se dostat k řešení úlohy. TVRZENÍ IX. Abychom mohli vypočítat podíl každého hráče při libovolně mnoha hráčích, z nichž některému chybí více a jinému méně her, je třeba uvážit, co náleží hráči, jehož podíl má být stanoven, když on sám nebo nějaký jiný hráč vyhraje následující hru. Sečtou-li se takto získané části dohromady a dělí-li se tento součet počtem hráčů, obdrží se hledaný podíl dotyčného hráče.11 V následujících tvrzení X-XII se Huygens zabývá hrou v kostky. Nejprve počítá pravděpodobnost hození šestky v prvním hodu. Opět ale nepoužívá slova pravděpodobnost. Ptá se, kolik by musel vsadit ten, kdo se pokouší hodit šestku v prvním hodu a kolik musí vsadit jeho protivník, aby byl poměr sázek spravedlivý. Stejným způsobem uvádí i další příklad - jaká je šance, že hráči v prvním hodu dvěma kostkami padnou na obou kostkách šestky. V poslední úloze z této části řeší otázku, kolika kostkami musí hráč házet, aby pravděpodobnost, že hodí dvě šestky najednou v prvním hodu, byla alespoň jedna polovina. Poslední dvě tvrzení se týkají jisté hry v kostky pro dva hráče. První z nich hodí současně dvěma kostkami. Vyhrává, pokud padne sedm bodů. Druhý vyhraje, pokud padne deset bodů. Pokud je součet ok na kostkách jiný, hráči si rozdělí výhru rovným dílem. Ve druhé hře je princip obdobný jen s tím rozdílem, že protihráč má první tah a počet ok potřebný k vítězství je jiný. Celý spis je zakončen pěti neřešenými úlohami, které jsou označeny jako problemata. U první, třetí a páté úlohy jsou uvedeny výsledky. cPl--D > £ I J Toto tvrzení může být snadno upraveno do tvaru nyní známého jako Bernoulli slabý zákon velkých čísel: v(*-p v N \ 1 > £ i < - ) C + 1.2 Kombinatorika O prvních kombinatorických úlohách jsem se zmínila již dříve. Kombinatorika jako samostatná část se začíná z matematiky vyčleňovat zhruba v polovině 17. století. Jednou z prvních knih zabývající se kombinatorikou byl Pascalův spis Traité du triangle arithemétique {Pojednání o aritmetickém trojúhelníku). Tato práce vznikala v období korespondence mezi Pascalem a Fermatem, tedy v roce 1654. Nicméně Pascal sám nikdy dílo nevydal a tak byl spis uveřejněn až o jedenáct let později (roku 1665) po Pascalově smrti. Nejedná se vlastně ani o ucelené dílo, jde spíše o soubor textů. Některé části jsou psané latinsky, jiné francouzsky. V úvodu vydavatel uvádí, že některé texty byly nalezeny mezi Pascalovými listinami již vytištěné, což svědčí o tom, že je zamýšlel vydat. Vypadá to ale, že na nich chtěl ještě pracovat. Možným důvodem jejich nevydání byl nejspíš fakt, že se Pascal posledních osm let svého života zabýval pouze náboženskými otázkami. Z hlediska teorie pravděpodobnosti je pro nás zajímavá část, kde Pascal řeší úlohu o rozdělení sázky pomocí aritmetického trojúhelníku. Zajímavý je také fakt, že Pascal v důkazu jednoho ze svých tvrzení používá metodu úplné indukce. Díky tomu je považován za objevitele této metody. - 15 - KAPITOLA 1. Aritmetický trojúhelník (Pascalův trojúhelník), jak ho známe z dnešní doby má dlouhou historii a Pascal rozhodně nebyl jeho objevitelem. Pascalův trojúhelník (až do řádu n = 8) se objevuje v arabské matematice již u al-Karádži13. V Číně se Pascalův trojúhelník nejspíš poprvé objevuje v knize Ču SYia (žil na přelomu třináctého a čtrnáctého století) Jaspisové zrcadlo čtyř prvků (viz obr. 1.6.). Pascalův trojúhelník, jak ho známe dnes, se poněkud liší od toho, který uvažuje Pascal ve své práci. Dnes uvažujeme trojúhelník vytvořený z kombinačních čísel. Pascal ale pracuje s obecnějším schématem, které je vytvořeno pomocí určitých pravidel z jednoho daného čísla (generátoru). My dnes uvažujeme pouze aritmetický trojúhelník, kde je generátorem číslo 1. Nicméně Pascal stejně pracuje téměř výhradně s aritmetickým trojúhelníkem, jak ho známe nyní, i když jeho tvrzení platí také pro ostatní trojúhelníky vytvořené jinými generátory. V porovnání s dnešním schématem Pascal používá pro označení jednotlivých prvků trojúhelníku písmena řecké nebo latinské abecedy, což trochu komplikuje pochopení jeho tvrzení. V tabulce 1.2. je ukázka části Pascalova trojúhelníku, kde generátorem je číslo 1 (převzato z [61]). Abu Bekr ibn M u ham m ad ibn al-Husajn Al-Karadží (953-kolem 1029) - matematik. Znám především díky svým výsledkům v oblasti algebry. - 16- KAPITOLA 1. 1 2 3 4 5 6 7 8 9 10 1 X^V 1 n / i x, ^X X i ô .X 1 X i 1 1 1 2 x X^ 5 N >X X^ 6 X^7 X^8 X^5 3 A B / / 3 \gX co ^X XlO X 15 /21 / 2% /36 4 D .X E / / 4 F .X / 10 X^\ Y >X X^55 /56 /84 5 H / M / 5 K X^15 /X35 XvoV 6 P Q X X 6 ^56 X^6 7 V / X^7 /28 X84 8 X^8 9 10 /( Tabulka 1.2. Pascalův aritmetický trojúhelník Z našeho pohledu je zajímavé, jak Pascal řešil úlohu o rozdělení sázky pomocí tohoto trojúhelníku. Pascal nejprve formuluje problém a uvádí základní princip řešení (ještě bez použití aritmetického trojúhelníku). Dále ukazuje, jak se úloha řeší pro konkrétní případy. Poté se zabývá zobecněním úlohy. K tomu ale ještě musí uvést několik pomocných tvrzení o vztazích mezi prvky v aritmetickém trojúhelníku. Následuje poslední část, ve které je uveden obecný princip řešení úlohy o rozdělení sázky mezi dva stejně dobré hráče. Pascalův výsledek bychom mohli v dnešní terminologii přepsat následovně: Pokud jednomu hráči chybí do výhry m her a druhému n her, pak sázku je třeba rozdělit v poměru m+n^1fm + n-l') ^(m + n-Ý\ i=m {i ) y=o^ j ) 1.3 Teorie pravděpodobnosti v 18. století Vletech 1660-1680 vzniká díky Newtonovi14 a Leibnizovi15 infinitesimální počet. Tyto nové matematické metody využívá již Jakob Bernoulli, především ale Montmort16 a Moivre17. Isaac Newton (1642-1727) - anlický matematik, fyzik, astronom a filozof, zakladatel klasické mechaniky a objevitel gravitačního zákona. Vystudoval Trinity College v Cambridge, kde v roce 1668 nastupuje na místo - 17- KAPITOLA 1. Montmort navazuje na Huygense. Své poznatky z teorie pravděpodobnosti publikoval v knize Essay ď Analyse sur les Jeux de Hazard, která vyšla v Paříži v r. 1708. Obecně lze říci, že jeho kombinatorické úvahy převyšují úroveň kombinatoriky v Ars Conjectandi. Montmort používá mj. podmíněné pravděpodobnosti. Nicméně není jisté, zda Montmort v době, kdy svoji knihu publikoval, znal něco z dosud nevydaného Ars Conjectandi. Montmortova kniha byla poprvé vydána v roce 1708. Ars Conjectandi bylo poprvé vydáno až v roce 1713 Nicolausem Bernoullim. Je ale možné, že Montmort se dozvěděl něco z dosud nevydaného díla např. od některého z žáků Jakoba Bernoulliho, respektive od Nicolause Bernoulliho, který ze strýcova díla čerpal ve svých pracích z oblasti práva. První vydání jeho knihy začíná hledáním šancí na výhru v různých karetních hrách. Spis se poměrně dobře čte, protože Montmort u každé hry uvádí její pravidla. Po stanovení pravidel řeší jednoduché případy metodou podobnou Huygensovu řešení a poté postupuje k obecnému řešení, které je sice správné, ale ne vždy je tak zřejmé. Některá Montmortova řešení jsou uvedena ve formě nekonečných řad. A nejspíš poprvé se zde objevuje při řešení problémů z teorie pravděpodobnosti jako limitní případ exponenciální funkce. Montmortova kniha vyšla r. 1713 ve druhém vydání, kde byly úlohy a problémy z prvního vydání podstatně rozvinuty. Oproti prvnímu vydání je rozsah knihy více než profesora matematiky. V roce 1705 je královnou Annou povýšen do šlechtického stavu. Newton vytvořil základ klasické mechaniky, je autorem tzv. Newtonových pohybových zákonů. V roce 1687 vydává Philosiphiae naturalis principia mathematica. Teorie gravitačního zákona je rozvinuta v jeho spisu De motu Corporum z roku 1685. Společně s Leibnitzem vytváří diferenciální a integrální počet. Newton se věnuje také optice. 15 Gottfried Wilhelm Leibnitz (1646-1716) - studoval práva. Vstoupil do diplomatických služeb mohučského kurfiřta, díky tomu působil čtyři roky (1672-1676) v Paříži. Později působil jako knihovník a dvorní rada v Hannoveru. Do dějin matematiky se zapsal jako jeden ze zakladatelů infinitesimálního počtu. 16 Pierre-Rémond de Montmort (1678-1719) - narodil se v Paříži, jeho otec chtěl, aby studoval práva. Nicméně jeho syn raději odešel do zahraničí. Když bylo Montmortovi 22 let, jeho otec zemřel a zanechal mu velké bohatství. Montmort studoval u Malebranche filozofii a u Descartesa fyziku. Studoval také matematiku, především algebru a geometrii. Do r. 1706 byl kanovníkem Notre-Dame. Roku 1708 publikuje výsledky svých výzkumů z oblasti pravděpodnosti v Essay ď Analyse sur les Jeux de Hazard. Druhého vydání se kniha dočkala roku 1713. Montmort velkou část svého života strávil na Chateau de Montmort. V roce 1715 byl Montmort zvolen členem Royal Society a o rok později členem Academie Royal des Sciences. 17 Abraham De Moivre (1667-1754) - narozen ve Vitry (poblíž Paříže). Studoval na College de Harcourt v Paříži. Roku 1685 byl ve Francii zrušen edikt nanteský. De Moivre jako protestant odmítl přestoupit na katolickou víru. Kvůli tomu byl tři roky vězněn, po propuštění odešel do Anglie. Jako cizinec však nezískal místo na univerzitě, proto vyučoval matematiku soukromě. De Moivre si přivydělával tím, že radil hráčům hazardních her a soukromým pojišťovatelům. Zabýval se algebrou, geometrií, teorií nekonečných řad a teorií pravděpodobnosti. Vr. 1718 publikoval práci The Doctrine of Chances: or, A Method of Calculating the Probability of Events in Play. Kniha vyšla ještě dvakrát v rozšířené podobě v roce 1738 a 1756. Vr. 1730 vydává knihu Miscellanea Analytica. Z jeho výsledků je znám např. Stirlingův vzorec pro odhad hodnoty n\ pro velká n. Aproximoval binomické rozdělení limitním rozdělením - dnes známým pod názvem Gaussovo normální rozdělení. De Moivre je dnes znám díky vztahu Cos« + siná * = :osna + sinwa, který je po něm nazván. V tomto případě však De Moivre pouze uvedený vztah používal, nicméně nikdy ho v této podobě nezapsal, ani nebyl jeho objevitelem. Slovní formulaci poprvé uvedl Francois Viěte (1540-1603). Současná podoba vztahuje připisována Rogeru Cotesovi (1682-1716). De Moivre také aproximoval binomické rozdělení Poissonovým rozdělením. - 18 - KAPITOLA 1. dvojnásobný a odráží jistý pokrok v myslení autora v této oblasti. Druhé vydání vyšlo s pomoci Montmortova přítele Nicolause Bernoulliho. Nicolaus Bernoulli se setkal s Montmortem, když navštívil Paříž. Od té doby spolu udržovali čilou korespondenci. Velkou část knihy (přes sto stran) tvoří korespondence mezi Montmortem a Johannem a Nicolausem Bernoullim. Montm ort zřejmě publikoval takové množství korespondence, protože chtěl ukázat na výsledky, jejichž autorem byl Nicolaus. Nicolaus se podílel hlavně na zobecnění problémů, které navrhl buď Montmort nebo Nicolausův strýc Johann. Nicolaus také předložil problém, který se stal známý pod názvem Petrohradský problém18. Infinitesimální počet používal v pravděpodobnostních problémech i Abraham De Moivre. Moivre se zabýval teorií nekonečných řad, geometrií a algebrou. Protože se mu v Anglii jako cizinci nepodařilo získat místo na univerzitě, vyučoval matematiku soukromě. Tato práce však byla časově náročná a špatně placená. V pozděj ších letech si začal přilepšovat vydáváním knih a poskytováním rad hazardním hráčům a pojišťovatelům. Teorií pravděpodobnosti se tak nejspíš začal zabývat z praktických důvodů. 1.4 Demografie a pojistná matematika Již na začátku této kapitoly jsem uvedla možné důvody pro rozvoj teorie pravděpodobnosti. Jedním z nich byl i rozvoj demografie [53] a pojišťovnictví. Počátky pojistné matematiky lze najít v Římě. Nej starší známé úmrtnostní tabulky pochází z roku 211 a jejich autorem byl Ulpianus19. V Evropě se první seznamy zemřelých pořizovaly v Anglii v r. 1532 kvůli morové epidemii. O více jak půl století později v r. 1592 začínají v Londýně vycházet pravidelné týdenní seznamy úmrtí. Seznamy obsahovaly příčinu úmrtí - mor nebo jiné důvody. Nejspíš tak měly posloužit jako ukazatel příchodu případné morové epidemie. První publikovanou prací z pojistné matematiky byla kniha Johna Graunta20 Natural and political observations mentioned in a following index and made upon the bills of Petrohradský problém (paradox) - hráč hází mincí tak dlouho, dokud nepadne první orel. Počáteční výhra a se po každém hodu zvyšuje a-krát, tzn. po n hodech je výhra rovna a". Při použití Huygensova vzorce pro výpočet střední hodnoty dostaneme očekávanou střední hodnotu výhry jako součet všech možných výher vynásobených jejich pravděpodobnostmi, tj. ^ a/2^—> pro každé a > !. Problémem je výše poplatku 1=1 A za vstup hráče do hry. Výška tohoto vstupního poplatku závisí na ochotě hráče riskovat. Paradoxem je to, že i když je možné získat neomezeně vysokou částku, hráči většinou nejsou ochotni platit více než^ = 20 za hru. 19 Domitius Ulpianus (zemřel r. 228) - římský právník za doby vlády císaře Alexandra Severa. 20 John Graunt (1620-1674) - obchodník žijící v Londýně. Proslavil se až svojí knihou Natural and political observations mentioned in a following index and made upon the bills of mortality, která vyšla v několika vydáních (1662, 1663, 1665, 1676). Byl zvolen členem Royal Society. - 19- KAPITOLA 1. mortality, která vyšla v Anglii v roce 1662. Tato studie je založená právě na týdenních seznamech úmrtí v Londýně. V jeho knize se objevuje např. poměr mužů a žen, poměr bojeschopných mužů, poměr žen v plodném věku k celkovému počtu apod. Grauntovy úmrtnostní tabulky např. ukazují, že 16 let se dožívá pouze čtyřicet procent pokřtěných dětí. Významným výsledkem Grantový knihy je podstatně nižší, než se obecně předpokládalo, a patrně správný odhad počtu obyvatel Londýna. Další významnou postavou v této oblasti byl politický vládce Nizozemska Johann de Witt21. Jeho spis Waarde van lyf-renten naer pr opor tie van Losrenten (překládaný do angličtiny jako Treatise on Life Annuities) vyšel v roce 1671. De Witt pomocí teoretických úmrtnostních tabulek vypočítává hodnotu doživotní renty poskytované státem. Teorií doživotních důchodů se zabýval i anglický astronom Edmond Halley22. V jeho článku An estimate of the degrees of the mortality of mankind, drawn from curious tables of the births and funerals at the city of Br e slaw; with an attempt to ascertain to price of annuities upon lives, který vyšel v roce 1693, je mj. použito geometrického pohledu na pravděpodobnostní úlohu. Halley zvolil Vratislav kvůli tomu, že oproti Londýnu zde byl stabilnější počet obyvatel. Na základě vratislavských tabulek sestavil úmrtnostní tabulky a z nich pak vypočítal průměrnou cenu životní renty pro celou populaci. Obrázek 1.7. Johann de Witt (vlevo) a Edmond Halley 21 Johann de Witt (1625-1672) - státník, matematik a právník. Byl Velkým pensionářem Hollandu. 22 Edmond Halley (1656-1742) - anglický astronom a fyzik. Objevil planety, které dnes známe pod jeho jménem. Od r. 1720 byl královským astronomem v Greenwichi. -20- KAPITOLA 2. Kapitola 2: Historické kořeny metody nejmenších čtverců 2.1 Metoda nejmenších čtverců Metoda nejmenších čtverců byla nejúspěšnější zraných metod kombinování nekonzistentních rovnic. Důvodem úspěchu této metody byl fakt, že byla založena na snadno pochopitelných objektivních kritériích. Pro kombinování nezávislých pozorování jedné veličiny se na konci sedmnáctého století začíná používat aritmetický průměr. Na začátku osmnáctého století se objevuje zobecněná verze aritmetického průměru, kde jsou jednotlivým pozorováním přiřazeny váhy. V roce 1757 se objevuje tzv. „Boscovichova metoda", která však po uvedení metody nejmenších čtverců (1805) upadla v zapomnění. Abychom mohli lépe pochopit, co vedlo k objevu metody nejmenších čtverců, je potřeba se podívat, jaké problémy řešili vědci ve století, které objevu předcházelo. Jako hlavní vědecké problémy osmnáctého století bychom mohli označit: (i) Určení a matematický popis pohybů Měsíce. (ii) Vysvětlení odvěké nerovnosti, která je pozorována v pohybech Jupiteru a Saturnu. (iii) Určení tvaru Země. První narážka na to, že Země není perfektní koule se objevila již v roce 1672 u Jeana Richera23. Zjistil, že kyvadlo blízko rovníku je méně ovlivněno gravitační přitažlivostí, než stejné kyvadlo v Paříži. Isaac Newton v Principech (1678) ukázal, jak rotace Země může způsobovat zplošťování Země na pólech. Země má tak tvar rotačního elipsoidu. Newton navíc odhadl její zploštění a eliptičnost, tj. podíl, kterým poloměr na rovníku překračuje poloměr na pólu, jako 1/230. Oproti tomu ředitel Royal Observátory v Paříži Domenico Cassini si myslel, že Země je protáhlý sféroid, zploštělá na rovníku, ne na pólech. Dvěma hlavními metodami k určení tvaru Země bylo pozorování pohybu kyvadla a měření délky oblouku stejného úhlu na tomtéž poledníku na různých vzdálených místech. Určení tvaru Země z měření oblouku ale vyžadovalo spolupráci mnoha vědců a náročnou několikaměsíční práci. Myšlenkou bylo změřit délku stupně zeměpisné šířky24 na dvou nebo 23 Jean Richer (1630-1696) - francouzský astronom. V roce 1666 byl jmenován členem akademie věd. V roce 1671 byl vyslán, aby v Cayenne konal astronomická pozorování. A právě zde pozoroval, že kyvadlo je méně ovlivněno gravitací, než stejné kyvadlo v Paříži. Výsledky svých tříletých pozorování v Cayenne shrnul v práci Observations astronomiques e t physiques faites en Visle de Cayenne. 24 Zeměpisná šířka určuje polohu na povrchu Země směrem k severu nebo k jihu od rovníku. Jedná se o úhel, který svírá rovina rovníku s přímkou, procházející středem Země a příslušným bodem na povrchu Země. Měří se ve stupních. Body se stejnou zeměpisnou šířkou se nazývají rovnoběžky. -21 - KAPITOLA 2. více dostatečně vzdálených zeměpisných šířkách. Pokud by délka stupně blízkého rovníku byla kratší než délka stupně u pólu, byl by tvar Země zploštělý. Rozdíl mezi těmito dvěma délkami by mohl být použit k vypočítání zploštění. Vztah mezi délkou oblouku a zeměpisnou šířkou lze odvodit z geometrie. My budeme uvažovat pouze krátké oblouky (ty jediné je možné změřit). Pro tyto oblouky pak platí jednoduchá aproximace - pokud a je délka jednoho stupně zeměpisné šířky, mající střed v zeměpisné šířce a a naměřená podél poledníku, pak pro aproximaci platí a - z + ľsin2 a , kde z je délka stupně na rovníku, y přebytek (nebo naopak nedostatek) stupně na Severním pólu oproti délce stupně na rovníku. Domenico Cassini se svým synem Jacquesem měřili francouzský oblouk před rokem 1720. Na základě svých měření se přiklonili k tvrzení, že Země je protáhlá. Postavili se proti výsledkům Newtona. Nicméně omezený rozsah zeměpisné šířky (pouhých 9°) a možná omezená přesnost měření byly příčinou, proč tento závěr nebyl všeobecně přijat. V roce 1735 následovala výprava francouzské akademie do Peru a do Laponska. Šlo o to změřit oblouky blízko rovníku a kolem 66° zeměpisné šířky a srovnat je s měřeními blízko Paříže. Protože místa se nacházejí na dostatečně vzdálených zeměpisných šířkách, bylo důvodné očekávat vyšší vypovídací sílu těchto měření. Vědci francouzské akademie na základě svých měření vyvrátili Cassiniho hypotézu a přiklonili se na stranu Newtona, že Země je zploštělá. Nicméně zůstal úkol určit eliptičnost nebo velikost zploštění. Různé dvojice oblouků totiž dávaly rozdílné hodnoty. Podívejme se teď na další ze zmiňovaných problémů, a to pozorování neperiodických odchylek v pohybu planet Jupiteru a Saturnu. V roce 1676 astronom Halley potvrdil podezření, že Jupiter a Saturn mají sklon k nepatrným dlouhodobým nerovnoměrnostem ve svých pohybech. Po porovnání aktuálních pozic Jupiteru a Saturnu s tabulkovými hodnotami získanými v několika staletích bylo zjištěno, že průměrný pohyb Jupiteru je zrychlující se, zatímco u Saturnu zpomalující se. Nicméně Halley nebyl schopen toto své tvrzení podepřít matematickou teorií. 2.2 Johann Tobias Mayer Johann Tobias Mayer25 pracoval jako kartograf a astronom. Vletech 1748-1749 provedl velké množství pozorování Měsíce. Mayer odhalil kývavý pohyb Měsíce, který dnes 25 Johann Tobias Mayer (1723-1762) - matematik samouk a astronom. Jeho první důležitá astronomická práce se zabývala librací Měsíce. Proslavil se především lunárními a solárními tabulkami, publikovanými v Transactions. Publikoval také dvě geometrické práce v roce 1746. Působil na univerzitě v Góttingenu. Od roku -22- KAPITOLA 2. nazýváme librace. Vyvrací tím ve své době převládající názor, že ze Země vidíme stále stejnou polovinu Měsíčního povrchu. Díky libraci však můžeme pozorovat i část odvrácené strany Měsíce. Ze Země tak vidíme 59% povrchu Měsíce. Více o libraci v [5] a [50]. Mayer si všímal několika významných lunárních vlastností a v roce 1750 ukázal [63], jak tato data mohou být použita k určení různých charakteristik oběžné dráhy Měsíce. Jako význačný bod na Měsíci si Mayer vybral kráter Manilius. Uvažoval pak následující lineární závislost p - $3° - il=a in<9 >os£- T, kde a je úhel mezi pólem Země a pólem Měsíce, P označuje selenografickou26 šířku vybraného útvaru na Měsíci (Mayer použil kráter Manilius), k ekliptikální délku výstupního uzlu oběžné dráhy Měsíce, k + 6 ekliptikální délku vzestupného ekvinokcia, g ekliptikální délku a 90° - h ekliptikální šířku vybraného útvaru na Měsíci. Hodnoty g a h jsou pozorovány a k lze nalézt v lunárních tabulkách. Mayer provedl 27 pozorování, a tím získal 27 rovnic pro tři neznámé a , p a as'm0. Průkopnické je to, jak se Mayer s přeurčenou soustavou rovnic vypořádal. Rozdělil 27 rovnic do tří skupin po devíti pozorováních. V každé skupině sečetl všech devět rovnic. Tím získal pouhé tři rovnice pro tři neznámé. Jak ale probíhalo rozdělování rovnic do skupin? Mayer si všímal koeficientů u neznámých a . První skupiny tvořilo devět rovnic s největšími kladnými hodnotami neznámé a . Ve druhé skupině pak bylo devět rovnic s nej menšími hodnotami (zápornými) koeficientu a. A konečně ve třetí skupině měly být rovnice s největšími hodnotami u neznámé asmO. Tento popis třetí skupiny není úplně přesný, protože Mayer do třetí skupiny dává devět zbylých, dosud nepoužitých rovnic. A toto přesně neodpovídá rovnicím, které mají největší hodnoty koeficientu as'm.0. Nicméně i tak je tento způsob kombinování rovnic průkopnický a zaslouží si naši pozornost. Rozdělení tímto způsobem maximalizuje rozdílnost koeficientu a a tím jsou sumace rovnic vzhledem k a tak velké, jak je to jen možné. Mayer tedy ze tří rovnic může určit hodnotu neznámých a, p a 0. Pokračoval dále a uvažoval, jak to bude s přesností těchto hodnot. Nešlo mu o žádnou obecnou analýzu chyby, problém řešil empirickým stanovením přesnosti. Mayer ukázal, jak by vypadalo řešení pro tři neznámé, kdyby použil pouze tři rovnice. V tomto případě mu vychází výsledek a - 1°40'. Když však použil všech 27 rovnic, dopočítal a - 1°30'. Z toho, že měl k dispozici devětkrát 1754 až do své smrti byl ředitel observatoře. Jeho rukopisy publikoval roku 1775 G. C. Lichtenberg pod názvem Opera inedita. 26 Selenografické souřadnice jsou obdobou geografických souřadnic pro Měsíc. -23 - KAPITOLA 2. tolik pozorování, usuzuje, že výsledek by měl být devětkrát přesnější. Správnou hodnotu označuje jako a = 1°30' ± x, kde x označuje chybu (odchylku skutečné hodnoty od hodnoty určené pomocí 27 rovnic). Chyba při použití tří rovnic je tak 10' ± x. Z rovnice ±x : 1/27 = (10' ±x) : 1/3 dostává Mayer hodnotu ±x = 1,25'. Mayer tak na závěr konstatuje, že skutečná hodnota a může být o ľ nebo 2' menší nebo větší než hodnota 1°30' . Obrázek 2.1. Tobias Mayer a Leonard Euler 2.3 Leonard Euler a zkoumání neperiodických odchylek v pohybech Saturnu a Jupitera Leonard Euler (1707-1783) provedl matematickou analýzu pohybu Saturnu a Jupiteru [19]. Euler se primárně zaměřil na planetu Saturn. Připustil, že oběžná dráha Saturnu i Jupiteru je eliptická, nicméně že roviny oběžných drah nejsou stejné. Po dokončení matematické analýzy si chtěl Euler své výsledky ověřit empiricky. Měl k dispozici 75 kompletních skupin pozorování z let 1582 až 1745. Jeho formule obsahovala celkem osm neznámých. Z pozorování tedy sestavil celkem 75 rovnic pro osm neznámých. Euler byl především exaktní matematik, a proto nepřijal myšlenku, že by kombinací rovnic mohl získat přesnější výsledek. Euler pracoval s malými skupinami rovnic (většinou tolika skupinami, kolik bylo neznámých). A uznával numerické výsledky pouze v tom případě, že různé skupiny rovnic dávaly téměř totožné výsledky. Když porovnáme řešení Mayera a Eulera, můžeme konstatovat, že Mayer přistupoval k problému jako praktický astronom. Rozdělil pozorování do skupin tak, aby v jedné skupině byla pozorování, vytvořená v podstatě za stejných podmínek. Euler byl však především matematik. Vycházel z předpokladu, že pozorování byla pořízena za různých, neznámých -24- KAPITOLA 2. podmínek. Mayer nahlížel na chyby jako na náhodné. Byl přesvědčen, že kombinací jednotlivých pozorování zvýší přesnost výsledku v poměru k počtu kombinovaných rovnic. Euler však nepřijal tento statistický pohled na věc, že náhodné chyby mají tendenci se navzájem vyrušit. 2.4 Roger Joseph Boscovich V roce 1755 Boscovich27 spolu a Christopherem Mairem (1697-1767) publikoval výsledky měření poledníkového úhlu pod názvem De Litteraria Expeditione per Pontificiam ditionem ad dimetiendas duas Meridiani gradus [7]. V následných Boscovichovych analýzách těchto dat nacházíme první úspěšné řešení nekonzistence různých obloukových měření. Jeho metoda byla založena na minimalizování váženého součtu absolutních hodnot odchylek měření od hledané hodnoty. Vážení používá proto, že jednotlivá měření se lišila svou přesností. Tím Boscovich pokládá základ robustních statistických metod. My se nyní na jeho metodu podíváme podrobněji. Obrázek 2.2. Podobizna R. G. Boscoviche na jugoslávské poštovní známce (vlevo) a chorvatské bankovce Když se Boscovich pustil do problému určení eliptičnosti Země, setkal se jen s omezeným úspěchem. K podstatnému zlepšení se dopracoval až později. Boscovich si byl vědom toho, že potřebuje měření na dostatečně vzdálených místech. Protože jinak velice malé chyby v určení oblouku by se mohly značně zvětšit při kombinování jejich dvojic. Proto použil pět měření, která byla pořízena ve vzdálených lokalitách, a dalo se u nich předpokládat, 27 Roger Joseph Boscovich (1711-1787) - jezuitský kněz. Narodil se roku v 1711 v Raguse, dnešním Dubrovníku. Studoval v Římě a většinu svého dospělého života prožil v Itálii nebo Paříži. V roce 1740 byl v Římě jmenován profesorem matematiky. O dvacet let později odjel do Londýna, kde zůstal asi šest měsíců. Setkal se zde s několika významnými anglickými vědci, mj. s Benjaminem Franklinem. Boscovich se zabýval astronomií, optikou, gravitací a trigonometrií. -25 - KAPITOLA 2. že jsou přesná (viz tab. 2.1.). Délka je v originále uváděna v jednotkách toise, kde 1 toise (do češtiny bychom mohli přeložit jako jeden sáh, dnes už nepoužívaná míra) je přibližně 6,39 stopy, tj. 1,947 metru. Místo Zeměpisná šířka (a) Délka oblouku (v sázích) sin2 a O4 (1) Quito 0°0' 56,751 0 (2) Mys Dobré Naděje 33°18' 57,037 2,987 (3) Řím 42°59' 56,979 4,648 (4) Paříž 49°23' 57,074 5,762 (5) Laponsko 66°19' 57,422 8,386 Tabulka 2.1. Boscovichovy podklady k poledníkovým obloukům, zdroj: Boscovich aMaire [8, str. 482] Boscovich se tak dostává k pěti rovnicím ai = :+ v s in2 a , kde a, jsou délky příslušných oblouků (v jednotce sáh na stupeň), a jsou zeměpisné šířky bodu ve středu oblouku. Neznámé proměnné y a z vyjadřují přebytek jednoho stupně oblouku na pólu oproti jednomu stupni na rovníku a délku stupně na rovníku. Boscovich věděl, že každé dvě z těchto rovnic mohou být použity k vypočtení eliptičnosti a polárního přebytku. To také udělal. Pro každou z deseti dvojic vypočítal polární přebytek y a eliptičnost. Pro výpočet eliptičnosti použil Boscovich přibližný vzorec l/eliptičnost= ■•zly. Výsledky jsou shrnuty v tabulce 2.2. Dvojice Polární přebytek (y, v sázích) Eliptičnost Dvojice Polární přebytek (y, v sázích) Eliptičnost 1,5 800 1/213 2,4 133 1/128 2,5 713 1/239 3,4 853 1/200 3,5 1,185 1/144 1,3 491 1/347 4,5 1,327 1/128 2,3 -350 -1/486 1,4 542 1/314 1,2 957 1/78 Tabulka 2.2. Boscovichovy výsledky výpočtů eliptičnosti a polárního přebytku pro všech deset dvojic pozorování, zdroj: Boscovich aMaire [7, str. 501] Tímto způsobem ale dostal Boscovich deset různých hodnot eliptičnosti. Protože neznal žádný lepší způsob, jak se s takovým přebytkem hodnot vypořádat, zprůměroval tyto hodnoty a dostal se k eliptičnosti 1/155 28. Nicméně tato hodnota se mu zdála příliš velká, a Hodnota zploštění Země udávaná dnes je 1/298,26. -26- KAPITOLA 2. proto se rozhodl zamítnout dvojice (1, 2) a (2, 3), neboť byly příliš odlišné od ostatních. Znovu spočítal průměr a tentokrát došel k výsledku 1/198. Ani to se ale Boscovichovi nezdálo uspokojivé. Místo, aby vzal jednu z těchto hodnot, popř. nějaké jejich zprůměrování za výslednou hodnotu eliptičnosti, zaměřil se na odchylky mezi zjištěnými hodnotami eliptičnosti mezi jednotlivými dvojicemi. Zamítá hypotézu o tom, že Země je elipsoid. Kdyby totiž Země byla elipsoid, všechna měření musí docházet ke stejné eliptičnosti. Ale v tomto případě mu připadají rozpory mezi jednotlivými měřeními natolik významné, že podle něj nepřipadá v úvahu, aby Země byla elipsovitého tvaru. D E LITTERARIA EXPEDITIONE PER PONTIFICIAM DITIONEM AD DIMETIENDOS DUOS MERIDIAN1 GRADUS ■ T COttRIGINDAM MAPFAM G EOCR APSICAM ÍVSSV, ET AVSPICllS BENEDICTI XIV* PONT. MAX. SUSCEPTA A PATRIBUS SOCIET. JESU Christofhoro Maire I T ROGERIO JoSEFHO BoSCOVlCH. ROMA MDCCLV. IN TYPOGRAPHIO PALLADIS lICtJDBBANT NlCOLAUS i IT MARCUS PALIARIHI PRíSIDUM PESHISSU. Obrázek 2.3. Titulní strana práce z roku 1755 Ani s tímto svým závěrem se ale Boscovich nesmířil a rozhodl se dále pokračovat v práci. V roce 1757 (tedy o dva roky později) publikoval poměrně stručné pojednání o zcela novém způsobu kombinování nekonzistentních obloukových měření. A v roce 1760 dává Boscovich úplný popis tohoto principu společně s návodem, jak ho využít v praxi. Vše dokumentuje na příkladu pěti měření poledníkového oblouku z roku 1755. Rozdíl oproti přístupu Mayera je vtom, že tam, kde Mayer postupuje ad hoc, Boscovich používá určitý obecný postup. Formuluje pravidla, která by měl mít průměr založený na kombinaci obloukových měření (ne obyčejný aritmetický průměr) mít. Pro každou naměřenou délku oblouku udělal korekci. Tyto korekce musely splňovat tři podmínky: -27- KAPITOLA 2. (i) Jejich rozdíly musí být úměrné rozdílům mezi převráceným sinům dvojnásobků jejich zeměpisných šířek. Tato podmínka je nazývána zákonem rovnováhy, což vyžaduje eliptický tvar. (ii) Součet pozitivních korekcí musí být stejný jako součet negativních korekcí. Tato podmínka je odůvodněna tím, že kladné i záporné odchylky od skutečné hodnoty jsou stejně možné. (iii) Součet všech korekcí (pozitivních i negativních) musí být co nejmenší možný při splnění dvou předchozích podmínek. Boscovich však neformuluje tyto podmínky analyticky, ale pouze slovně a ve své práci dává pouze geometrický nebo mechanický popis, jak problém řešit. Nicméně velkou výhodou navrženého řešení je jeho obecnost. Diskuzi nad řešením Boscovich doprovází diagramem, ve kterém popisuje svůj algoritmus (obr. 2.4.). I B II D ET Obrázek 2.4. Boscovichův algoritmus, převzato z [8] Vodorovná osa AF udává sin2 6*, kde 0 je zeměpisná šířka středu oblouku, vertikální osa AX udává délku oblouku v sázích na stupeň. Pět oblouků je označeno jako a, b, c, d, e; G je těžiště. Délku úsečky AF považujeme za jednotku. A označuje počátek, A , B, C, D, a E jsou hodnoty sin26> vyznačené na jednotkovém intervalu. Délky (v sázích na stupeň) příslušných naměřených oblouků jsou v diagramu vyznačeny úsečkami Aa, Bb, Cc, Dd a Ee. -28 - KAPITOLA 2. Boscovich řeší problém, jak naleznout přímku AH takovou, že korekce a A', bO, cK, dL a eM budou splňovat všechny tři požadované podmínky. První podmínka je splněna tím, jak jsme zachycovali do grafu jednotlivé vzdálenosti. Druhá podmínka (podmínka rovnováhy) vyžaduje, aby přímka, kterou hledáme, procházela těžištěm bodů a, b, c, d, e. V diagramu je těžiště zakresleno jako bod G. Stačí tedy splnit poslední třetí podmínku. Boscovich si do grafu zakreslil přímku SGT. Tu „ukotvil" v bodě G a otáčel s ní po směru hodinových ručiček. Teď šlo jen o to, při kterém otočení dostáváme hledanou přímku. Jak přímka rotovala, suma korekcí (součet všech korekcí bez znaménka, tj. součet jejich absolutních hodnot) bude klesat, až dosáhne svého minima, a poté začne zase růst. Boscovich říká, jak dlouho je potřeba s přímkou otáčet. Korekce pro jednotlivé oblouky se mění při otáčení přímky v poměru k vzdálenostem AS, BS, SC, SD a SE. Je potřeba v rotaci pokračovat, dokud přímka neprotne pět bodů tak, že alespoň polovina součtu těchto pěti vzdáleností AS + B S + SC + SD + SE byla dosažena vzdálenostmi, které odpovídají protnutým bodům. Předtím, než bude tato přímka nalezena, součet korekcí bude při rotování klesat. Po dosažení hledané přímky začne suma korekcí růst. Vše, co Boscovich uveřejnil o své metodě, je slovní popis a příklad, který jsem uvedla (ve zjednodušené podobě) v minulých odstavcích. Přidal ještě diskuzi s Mairem. V této debatě používá metodu na devět naměřených oblouků a poté aplikování metody po zamítnutí tří nejvíce „podezřelých" měření, která se nejvíce lišila od ostatních. Boscovich tak dochází k závěru, že Země je nepravidelného tvaru, ale podobá se elipsoidu. Boscovich dále neuvádí žádné vlastnosti své metody, neuveřejňuje její další rozvoj, ani se nepokouší o analytickou formulaci. Zabývá se pouze problémem tvaru Země, svoji metodu neaplikuje na další problémy. Uvádí sice, že metoda je obecná a dá se použít i v jiných situacích, nicméně neuvádí žádné příklady. Boscovichovou metodou se zabýval např. i Gilbert Bassett a Roger Koenker [3]. 2.5 Pierre Simon de Lapiace Na nerovnosti v pohybech planet Saturnu a Jupiteru naráží v kurzu historie v roce 1787 Lapiace29. Navrhuje rozšíření Mayerovy metody zacházení s nekonzistentními lineárními rovnicemi. Navíc se Laplaceovi podařilo ukázat, že pohyby Saturnu a Jupiteru jsou 29 Pierre Simon de Lapiace (1749-1827) - narodil se v Normandii a jeho život zahrnoval Napoleonskou éru. Lapiace byl jedním z nej významnějších francouzských vědců. Byl členem Akademie věd, profesorem na École Militaire a École Normále, ministrem vnitra. Ve své vědecké práci se zabýval mechanikou nebeských těles, matematikou, pravděpodobností a fyikou. Mezi jeho nej důležitější spisy patří Traité de mécanique Céleste (1799-1805) a Théorie analytique desprobabilités (1812). -29- KAPITOLA 2. ve skutečnosti periodické - s velmi dlouhou periodou. Své výsledky shrnuje ve spisu Théorie de Jupiter et de Saturne, vydaném Akademií věd v roce 1787. Teoretické výsledky svého zkoumání Lapiace srovnává s naměřenými daty. Lapiace vybral 24 měření Saturnu z období 200 let. Jeho teorie však obsahovala čtyři neznámé, které nebylo možné získat s dostatečnou přesností. Proto se rozhodl, že tyto neznámé určí ze samotných pozorování. Čtyři neznámé označovaly určité korekce pro střední zeměpisnou délku Saturnu v roce 1750, jeho průměrný roční pohyb, jeho excentricitu a pozici afélia30. Lapiace tak získal 24 nekonzistentních rovnic. Tyto rovnice byly lineární ve všech svých čtyřech proměnných. Dostal se tak vlastně téměř ke stejnému problému, jako před ním Euler a Mayer. Mayer v této situaci seskupil všechny rovnice do disjunktních skupin. Lapiace postupuje trochu odlišně. Rozhodl se zredukovat 24 rovnic na čtyři následující rovnice: (i) součet všech rovnic, (ii) rozdíl součtu rovnic 1-12 a součtu rovnic 13-24, (iii) lineární kombinace rovnic - + + ■- '+ 0+ 1- 4+ 7+ 8- :0+ 3+ A, (iv) lineární kombinace rovnic 2- - »+ + »- 2- 3+ 5+ 6- 9+ '1+ '2. Nyní již Lapiace dostal čtyři rovnice pro čtyři neznámé, které vyřešil. Navíc pomocí reziduí ověřil, jak dobře výsledné rovnice vystihují naměřená pozorování. Lapiace nicméně nevysvětluje, proč se rozhodl právě pro tyto lineární kombinace původních rovnic. Oproti Mayerovi je tu ten rozdíl, že Mayer každé pozorování použil pouze jednou. Mayer rozděloval rovnice do skupin podle hodnot koeficientů jediné neznámé. Lapiace stejné rovnice používá vícekrát. Lapiace se zabýval i problémem tvaru Země. K tomotu tématu se vrací v roce 1789, tentokrát však bere na zřetel práci Boscoviche. Vychází také z měření oblouků na zemském povrchu. Zjišťuje, že Boscovichova metoda je sice dobrá, ve své originální podobě však příliš složitá. Proto převádí tuto metodu na analytickou formu. To by sice nemuselo být považováno za žádný velký pokrok, pouze o jistý přepis jedné metody, nicméně Lapiace o deset let později Boscovichovu metodu ještě poněkud modifikuje. Počítá již pouze se sedmi oblouky. Lapiace upravuje původní Boscovichovy podmínky na nové: (i) suma chyb způsobených při měření celých oblouků musí být nula, (ii) suma všech chyb braných v absolutních hodnotách musí být minimální. Afélium - česky odsluní. Nejvzdálenější místo od Slunce (od ohniska dráhy), jímž prochází těleso, které se pohybuje kolem Slunce po elipse. -30- KAPITOLA 2. Navíc ve své analýze používal vážení pozorování. Ovšem naprosto odlišné od svých předchůdců. Lapiace přiřazoval váhy jednotlivým měřením podle délek jejich oblouků. Delší oblouky tak měly větší váhu. Lapiace poskytl analytický důkaz, že toto je skutečně řešení daného problému tvaru Země. Ze sedmi obloukových měření vypočetl hodnotu eliptičnosti 1/132. Obrázek 2.5. Pierre Simon de Lapiace a Adrien Marie Legendre 2.6 Legendre a uveřejnění metody nejmenších čtverců Francouzská revoluce přinesla do své země mnoho změn. Jednou z nich byl i požadavek změnit dávný systém měr a vytvořit nový metrický systém. Základem tohoto nového systému měl být jeden metr, definovaný jako 1/10 000 000 poledníkového kvadrantu31. Na francouzské vědě bylo určení délky tohoto oblouku. Do tohoto projektu byl zapojen i Legendre32. Francouzi ale nepočítali s tím, že by změřili celý kvadrant. Svůj výpočet délky nové jednotky založili na změření 10° tohoto oblouku. Celá tato část se nalézala na francouzském území - od Montjouy do Dunkirque. Měření probíhalo v roce 1795. Do roku 1799 byl proveden převod velkého množství úhlových měření na délky oblouků. Oficiální 31 Poledníkový kvadrant - vzdálenost z rovníku na pól, v tomto případě se měla na mysli vzdálenost od rovníku na Severní pól. 32 Adrien Marie Legendre (1752-1833) - pocházel z bohaté rodiny, díky tomu získal vynikající vzdělání v matematice a fyzice na Collége Mazarin v Paříži. V letech 1775-1780 přednášel na École Militaire. Poté odešel na Berlínskou akademii. Zabýval se elipsoidy, definoval Legendreovy funkce. Ve svém článku Recherches sur la figuře des planetes z roku 1784 používá Legendreovy polynomy. Dále se zabývá teorií čísel. V roce 1785 se Legendre stává řádným členem Academie des Sciences. Roku 1791 byl zapojen do výboru Academie des Sciences pro zavedení metrického systému. Rok poté pracuje Legendre na přípravě logaritmických a trigonometrických tabulek. Legendre se zabýval i geometrií. V roce 1794 vydává své dílo Eléments de geometrie. V roce 1805 publikuje Nouvelles méthodes pour la détermination des orbites des cométes. V této práci poprvé uveřejňuje metodu nejmenších čtverců. -31 - KAPITOLA 2. zprávy o tomto výzkumu byly zveřejněny až v roce 1805. Nicméně již kolem roku 1799 byl k dispozici souhrn naměřených dat. Legendre se k datům vrací při přípravě spisu o určení oběžných drah komet. Tato práce vychází v roce 1805 pod názvem Nouvelles méthodes pour la détermination des orbites des cométes. Následovala vydání v roce 1806 a 1820, rozšířená o dodatek. V této práci poprvé publikuje tuto metodu, jak pomocí minimalizování čtverců chyb získat požadované hodnoty pozorovaných veličin. Pravidlo, jak vytvořit normální rovnice je odvozeno a aplikováno na praktických příkladech. O prvních důkazech metody nej menších čtverců pojednává v [64] Mansfield Merriman. NOUVELLES METHODES T H E O R I A POUR LA DETERMINATION ^ ORBITES DES COMETES; MOTVS CORPORVM COELESTIVM IN PAR A. M. LEGENDRE, Membre cte I'IflSlitUt et de la Legion dTianneur, do U Society royale de Londres f &c. SECTIONIBVS COmCIS SOLEM AMBIENTIVM A V C T O H E A CAROLO F RIDER IC 0 GAVSS A PARIS, HAUDTKI 1yh1hti FhID. PlRTHIÍ ET 1H Hh EeSSEU Chea FiRiim DIDOT, Eibrairepour lea JUftth&natiques,k Marine, {'Architecture, H lea editions atereotypfis, rite deThiormlle, n" 116. VebiIiTiir FiBlflll up. Tří ULtc-] k Wlíllc Lotmixr »p. H. 11 Braní. 5lii.iiht,bj(i up, A. YľibDrg. ľlr>ll«LI A|k K lrj » L" r ni" .-: ::. MiiiT.ui ip. SancliL i'i,iiHi'.'::Jn]]. Hí'.ím, j 1." AN Kill — lBo5. A w 'i t ' i n ru jf r in iibmit: Epnit-nol Iudiutric-ťWjrtoir, dirJi. Obrázek 2.6. Titulní strany vydání knihy Legendrea z roku 1805 a Gausse z roku 1809 2.7 Gauss a spor o prvenství v objevení metody nejmenších čtverců Jak již bylo řečeno, metoda nejmenších čtverců byla poprvé publikována v roce 1805 Legendrem. V roce 1809 vychází Gaussova33 kniha Theoria motus corporum coelestium, ve Carl Friedrich Gauss (1777-1855) - se narodil v Brunswicku v Německu. Díky svému mimořádnému talentu a výborným výsledkům na místním gymnáziu získal stipendium, díky kterému mohl studovat na Collegium Carolinum. V roce 1795 odešel na univerzitu v Gôttingenu, kde pokračoval ve studiu. Později (1807) se na této univerzitě stal profesorem astronomie a ředitelem hvězdárny v Gôttingenu, kde setrval po zbytek svého života. Během svého života se věnoval mj. algebře, teorii čísel, analýze, diferenciálním rovnicím. Ve své doktorské práci v roce 1799 dokázal základní větu algebry a ukázal, že libovolný reálný polynom může být zapsán jako součin lineárních a kvadratických členů s reálnými koeficienty. Jako teoretický matematik pracoval -32- KAPITOLA 2. které Gauss publikuje své metody k výpočtům oběžných drah několika planet. Zde také poprvé uvádí metodu nej menších čtverců. Gauss tvrdí, že prvenství objevení metody nej menších čtverců náleží jemu a že zmiňovanou metodu používal již od roku 1795. Měl vůbec Gauss na toto tvrzení nárok? A na jakých důkazech se jeho prohlášení zakládalo? Theoria motus byla původně napsána v němčině již na podzim roku 1806. Anders Hald uvádí [29], že v červenci 1806 měl Gauss k dispozici kopii Legendreovy knihy Nouvelles méthodes pour la détermination des orbites des cométes, než byla poslána Olbersovi34 k revizi. Až v roce 1807 našel Gauss vydavatele své knihy, který nicméně požadoval překlad do latiny. Theoria motus tak byla publikována až v roce 1809. Gaussovo prisvojení metody nejmenších čtverců roztrpčilo Legendrea, který poslal Gaussovi v květnu 1809 dopis, v němž ho mj. upozorňuje, že není možné nárokovat si objev jen pouhými slovy, že metodu používal již dříve. Stephen Stigler [83] uvádí čtyři hlavní důkazy, které uvedl Gauss a jeho následovníci na obhajobu Gaussova prvenství: (i) Gaussova slova z roku 1809, že používal tuto metodu již od roku 1795. (ii) Tajemný zápis v Gaussově matematickém deníku s datem 17. června 1798: „Calculus probabilitatis contra La Place defensus". (iii) Gaussovo tvrzení, že o metodě řekl dalším astronomům (Olbers, Lindenau35, Zach36) před rokem 1805. (iv) Gaussův dopis, který byl v roce 1799 publikován v Allgemeine Geographische Ephemeriden, v němž zmiňuje „meine Methode". Píše vněm o tiskařské chybě v popisu oblouku mezi Pantheonem a Evaux. Místo 76 545,74 zde bylo 76 154,74. Objevil chybu po aplikaci svojí metody na čtyři naměřené oblouky. S chybou vycházela eliptičnost 1/150 a po odstranění této chyby 1/187. Nicméně poznamenal, že chyba není v tomto případě podstatná, protože koncové body leží příliš blízko u sebe. Gauss sám. Nicméně v aplikované matematice pracoval společně s astronomy, později s geodety a fyziky. Mezi jeho spolupracovníky z oblasti astronomie patřili Friedrich Wilhelm Bessel (1784-1846) a Heinrich Wilhelm Matthäus Olbers (1758-1840). Spolupracoval také s profesorem fyziky v Göttingenu Wilhelmem Eduardem Weberem (1804-1891). Více o Gaussovi např. v [22]. 34 Heinrich Wilhelm Matthäus Olbers (1758-1840) - německý astronom, lékař a fyzik. Vystudoval lékařství v Göttingenu. Po absolvování se věnoval medicíně v Brémách. Zabýval se také astronomií. Byla po něm mj. pojmenována kometa, kterou objevil v roce 1815. 35 Bernhard August von Lindenau (1779-1854) - německý právník, astronom a ministr. 36 Franz Xaver von Zach (1754-1832) - astronom a matematik. Studoval nejprve ve Vídni, poté v Anglii. Od roku 1788 vydával časopis Allgemeine Geographische Ephemeriden, ve kterém sám publikoval svoje vědecké práce z astronomie. O pohybech Slunce napsal práci Novae et correctae tabulae motuum solis, která vyšla v roce 1792. Od roku 1800 byl editorem měsíčníku se širším zaměřením Monatliche Correspondenz zur Beförderung der Erd- und Himmelskunde. Působil v Anglii, Švýcarsku, Francii. -33 - KAPITOLA 2. Ani jeden z těchto důkazů však není dostatečně přesvědčivý. Podívejme se na každý z nich podrobněji. Gaussovo prohlášení, že používal metodu již od roku 1795, je podporováno Gaussovými matematickými schopnostmi. Nepotřeboval dělat falešná prohlášení. Na druhou stranu Gaussovo tvrzení se zakládá na dodatečné vzpomínce. Proč neuverejnil tuto metodu jako první, když ji, jak prohlašuje, objevil? Pokud připustíme, že opravdu metodu znal, pak je možné, že jí nepřikládal velkou důležitost a neuvědomoval si její praktický význam. A z tohoto důvodu nepovažoval za nezbytné její uveřejnění. Nebo se mu metoda zdála příliš zřejmá a jednoduchá. Pokud se podíváme na druhý bod - záznam v deníku, pak ani toto není jednoznačný důkaz. Záznam nás pouze ujišťuje o tom, že se Gauss zabýval otázkami souvisejícími s pravděpodobností v červnu 1798. Také třetí bod postrádá přesvědčivost. Astronom Olbers sice podpořil Gaussovo prohlášení v poznámce pod čarou v roce 1816 s tím, že si vzpomíná, že mu Gauss zmínil základní princip metody již v roce 1803. Nicméně tak učinil až po sedmi letech opakovaného pobízení Gaussem. A co další dva astronomové, o kterých se Gauss zmiňoval? Zach v letech 1800 až 1813 vydával astronomický časopis Monatliche Correspondenz, který se skládal především z recenzí a dopisů. Lindenau mu asistoval ve vydávání tohoto periodika od roku 1807. Lindenau v recenzi článku o geodézii ze srpna 1806 detailně rozebírá metodu nejmenších čtverců. Není zde ale žádná zmínka o Gaussovi. Metoda je připisována Legendreovi. Je zde i citována jeho práce Nouvelles méthodes pour la détermination des orbites des cométes. V listopadovém vydání Monatliche Correspondenz z roku 1807 se objevují dvě poznámky o metodě nejmenších čtverců. Ani jedna z nich není podepsaná, pravděpodobně byly napsány vydavateli. V obou se mluví o Legendreově metodě a v obou je metoda označována francouzským názvem Méthode des moindres quarrés. O Gaussovi není nikde ani zmínka. Přitom Gauss tvrdil, že o svojí metodě řekl oběma astronomům. Nicméně ani toto není jednoznačný důkaz toho, že Gauss jim o nejmenších čtvercích nic neřekl před rokem 1805. Možná se jen cítili omezeni vědeckou normou, že první publikování určuje prvenství. Mohlo se stát i to, že Gauss jim sice metodu popsal, nicméně oni mu správně neporozuměli. Výtah z Gaussových dopisů Olbersovi a von Zachovi je možné nalézt v [71]. Dostáváme se k poslednímu nepřímému důkazu - k výsledkům Gaussova počítání s použitím „meine Methode". To nás přivádí k zajímavé otázce: mohou být stejné výsledky odvozeny z originálních dat použitím metody nejmenších čtverců? Data, která měl Gauss k dispozici jsou uvedena v tabulce 2.3. Jak poznamenal Gauss, místo 76 545,74 má být hodnota 76 145,74. Údaje pocházejí z geodetického měření, které bylo základem pro určení -34- KAPITOLA 2. nového metrického systému. V roce 1793 bylo ve Francii rozhodnuto, že základní jednotkou nového metrického systému bude jeden metr - délka rovná jedné desetimiliontině poledníkového kvadrantu, což je vzdálenost ze severního pólu na rovník podél odpovídající zeměpisné šířky procházející Paříží. Pro každou část délka oblouku je udávána v modulech, a to je délka odpovídající přibližně 12,78 stopy. Na základě těchto dat Gauss spočítal „svojí metodou" eliptičnost Země 1/150. Poté však nalezl tiskovou chybu a přepočítal eliptičnost na 1/187. Mohlo by se zdát, že na základě těchto znalostí bude jednoduché jednoznačně zjistit, zda Gauss opravdu použil metodu nej menších čtverců. Stačí vzít odpovídající hodnoty, použít metodu nejmenších čtverců a zjistit, zda se námi vypočtené hodnoty shodují s těmi Gaussovými. Bohužel problém je složitější. Problém je vtom, že vztahy mezi délkou oblouku, zeměpisnou šířkou, poledníkovým kvadrantem a eliptičností nejsou lineární. Takže existuje více způsobů, jak úlohu převést na problém lineárních nejmenších čtverců. Navíc se mohou objevit odchylky způsobené zaokrouhlováním. Obvyklá lineární formulace problému, kterou použil mj. Boscovich (1755) nebo Legendre (1805) je za předpokladu, že je Země je elipsoid následující: a = z + t^sin2 L , kde a = lid (délka oblouku v modulech dělené stupněm zeměpisné šířky), z je délka stupně na rovníku a y je rozdíl (přebytek) stupně na pólu v porovnání s jedním stupněm na rovníku. Moduly S Stupně D Střed oblouku L Dunkirk - Pantheon Pantheon - Evaux Evaux - Carcassonne Carcassonne - Barcelona 62 472,59 76 545,74 84 424,55 52 749,48 2,189 10 2,668 68 2,963 36 1,852 66 49° 56'30" 47° 30'46" 44°41'48" 42° 17'20" Součet 275 792,36 9,673 80 - Tabulka 2.3. Francouzské měření oblouku. Tabulka udává délku čtyř na sebe navazujících částí poledníkového oblouku procházejícího Paříží, jak v modulech S (1 modul je přibližně 3,8953 metru), tak ve stupních d zeměpisné šířky (určených pomocí astronomických pozorování). L značí zeměpisnou šířku středu každé části oblouku. Pokud budeme S brát jako závisle proměnnou a vyřešíme rovnici pro z a y za použití metody nejmenších čtverců, Stigler [83] se dostává k výsledkům: z = 28 227,162 05 ^ = 541,263 935 3 1/eliptičnost = 157,95 poledníkový kvadrant = 2 564 801,46 -35 - KAPITOLA 2. Pokud budeme pracovat s tiskovou chybou, pak dostáváme: z = 28 074,826 97 .y = 906,790 131 4 1/eliptičnost = 94,38 poledníkový kvadrant = 2 567 539,98 Gaussovi však vycházejí značně odlišné hodnoty: z = 28 271,456 5 y = 457,220 3 1/eliptičnost =187 poledníkový kvadrant = 2 565 006 Obrázek 2.7. Vztah mezi délkou oblouku, zeměpisnou šířkou, poledníkovým kvadrantem a eliptičností Proto se Stigler pokusil použít vážené nejmenší čtverce, ale ani v tomto případě nebyl úspěšný. Ani položení d za závisle proměnnou nepřineslo kýžené výsledky. Zbývají tedy dvě možnosti. Buď Gauss aplikoval metodu nej menších čtverců na vztah a = : + ýsin2 L a dopustil se při výpočtu chyby, nebo nejmenší čtverce nepoužil. První varianta se zdá být vysoce nepravděpodobná. Gauss byl vynikajícím počtářem a v tomto případě se jednalo pouze o krátkou posloupnost výpočtů. -36- KAPITOLA 2. Stigler se dále zabývá otázkou, jak tedy Gauss přišel ke svým výsledkům. Gauss byl v první řadě matematik, ne statistik. Stigler tedy vznesl zajímavou otázku. Co když se Gauss nespokojil s první aproximací a = :+ v sin2 L ? Boscovich a Lapiace věděli, že chyby v určení S, d a L byly poměrně velké ve srovnání s chybami způsobenými aproximací. Neměli tak důvod pokračovat dále. Neočekávalo se žádné podstatné zlepšení v přesnosti. Sám předpoklad, že Země je elipsoidem, je sám o sobě aproximací. Gauss se ale s takovou odpovědí nemusel spokojit. Zdá se tedy možné, že Gauss mohl použít nej menší čtverce, ale na aproximaci, řekněme, druhého stupně. Problém je v tom, že čím větší třídu vztahů použijeme, tím složitější je situace. Určitou expanzi druhého stupně použil Bowditch (1832) a Bessel (1837): S= :d+ 'sinťicos2Z+ sin2r/cos4Z. Narjaz může být pohlíženo jako na nelineární funkce eliptičnosti a délky stupně na rovníku. Stigler uvádí dva důvody pro podporu tvrzení, že Gauss by mohl použít metodu nej menších čtverců na rozvoj druhého řádu. Prvním z nich je výrazný rozpor mezi eliptičnosti, kterou našel před a po odstranění typografické chyby. Tohoto velkého rozdílu nedosáhneme při aplikování nejmenších čtverců nebo Boscovichovy metody na rozvoj prvního stupně. Jako druhý důvod uvádí Stigler fakt, že zkoušel určit z druhého rozvoje poledníkový oblouk s využitím nejmenších čtverců a jeho výsledky byly velmi povzbudivé. Např. pokus řešit vztah S= :d+ >s'mdcos2L+ sin2r/cos4Z pomocí nevážených nejmeších čtverců dal poledníkový kvadrant 2 565 012 a jiný přístup používající Besselův přístup přes nelineární nejmenší čtverce dal přesně Gaussovu hodnotu 2 565 006. Nicméně žádný z těchto Stiglerových postupů nebyl úspěšný v simulaci určení Gaussových hodnot pro eliptičnost. Poté, co Stigler v roce 1981 publikoval svoji domněnku [83, str. 320-321, rozšířená verze článku Stigler S.: Gauss and the Invention o/Lest Squares. Annals of Statistics 9(1981), 465-474], několik schopných analytiků se pokusilo napodobit Gaussovy výsledky s použitím rozvoje druhého stupně nebo jiných obměn metody nejmenších čtverců. Ovšem nikdo z nich nebyl úspěšný. Gilstein a Leamer (1983) ukázali, že Gauss nemohl své výsledky najít pomocí vážených nejmenších čtverců z formulace prvního stupně použitím všech možných vah a Celmins (1998) došel ještě dále [11] a demonstroval, že Gaussovy výsledky nemohly být získány žádnou ze široké třídy přístupů vycházejících z nejmenších čtverců, včetně požadovaného vztahu a mnoha přibližných vyšších řádů expanze. Stigler tak dochází k závěru, že nej pravděpodobnější je varianta, že Gauss použil nějaký odlišný přístup -37- KAPITOLA 2. k problému, který dosud nebyl znovu objeven. Následné statistické přepočty ukazují, že nejpozději v díle z roku 1799 měl Gauss k dispozici nějakou metodu sloučení nekonzistentních rovnic, získaných pozorováním. Pokud to tedy nebyla metoda nejmenších čtverců, co to bylo? Pokud bychom připustili, že Gauss objevil metodu nejmenších čtverců nezávisle na Legendreovi a používal ji již před rokem 1799, pak stále zůstává otázkou, proč on sám tuto metodu nepublikoval? Jakou jí vlastně přisuzoval důležitost? Je tak možné, že se sice o svojí metodě zmínil jiným astronomům před rokem 1805, ale nejasný Gaussův výklad nebo nedostatek možností aplikace této metody mohly být příčinou nepochopení nejmenších čtverců. O to větší obdiv si ale zaslouží Legendre, který uveřejněním nejmenších čtverců v roce 1805 dosáhl okamžitého a všeobecného úspěchu. Další příčinou toho, proč Gauss nově nalezenou metodu nepublikoval, může být i fakt, že Gaussovi metoda nejmenších čtverců připadala příliš jasná a zřejmá. Mohl proto nabýt dojmu, že není potřeba něco tak jednoduchého publikovat. Gauss byl tedy možná tím, kdo objevil metodu nejmenších čtverců jako první, nicméně Legendre byl první, kdo metodu uveřejnil a zpřístupnil ji široké veřejnosti. -38- KAPITOLA 3. Kapitola 3: Citlivost odhadu metodou nejmenších čtverců k odchylkám od normálního rozdělení a první alternativní odhady 3.1 Dogma normality Normální rozdělení bylo dlouho považováno za rozdělení, kterým se řídí většina náhodných veličin. Často uváděný citát z roku 1912, který Poincaré přisuzuje Lippmannovi by se dal přeložit následovně: Všichni věří v normální rozdělení chyb: experimentátoři, protože je pokládají za matematický teorém, a matematikové, protože je pokládají za experimentální fakt.37 Dogma normality bylo možné popřít až v době výkonných počítačů. Ale již v roce 1965 Abram M. Kagan38, Yuri V. Linnik39 a Calyampudi R. Rao40 dokázali, že odhad metodou nejmenších čtvercuje optimální pro normální rozdělení chyb a v jiných případech může úplně selhat. Když se podíváme na Gaussovo zavedení normálního rozdělení, zjistíme, že Gauss vlastně zavádí normální rozdělení tak, aby vyhovovalo aritmetickému průměru. K téměř nedotknutelnosti dogmatu normality nejspíš přispěla i Gauss-Markovova věta (nejlepší lineární nestranný odhad očekávané hodnoty je aritmetický průměr) a Centrální limitní teorém (součet mnoha malých na sobě nezávislých chyb je přibližně normální). V předchozí kapitole jsme mluvili o metodě nejmenších čtverců. Lidé, kteří tuto metodu používají, někdy mlčky předpokládají bez dalšího ověřování, že velikosti chyb se řídí normálním rozdělením. Už v devatenáctém století si Legendre nejspíš uvědomoval, že metoda nejmenších čtverců není vždy optimální. Ve své práci o metodě nejmenších čtverců z roku 1805 doporučuje nejprve zamítnout měření, která jsou příliš velká na to, aby mohla být považována za přípustná. Nejspíš poprvé si všimli citlivosti klasických statistických charakteristik, jako je průměr a rozptyl, k odlehlým hodnotách astronomové a fyzikové při určování různých ... car les expérimentateurs s 'imaginent que c 'est un théoréme de mathématiques, et les mathématiciens que ďest un théoréme de mathématiques, et les mathématiciens que ďest un fait expérimental. [72, str. 149] 38 Abram Meerovich Kagan (*1936) - působil na státní univerzitě v Leningradu (nyní Petrohrad) a na univerzitě v Taškentu v Uzbekistánu. Od roku 1988 působí na University of Maryland. Mezi oblasti jeho vědeckého zájmu patří parametrické odhady, zobecněné lineární modely, Fisherova informace. 39 Yuri Vladimirovich Linnik (1915-1972) - ruský matematik, zabýval se teorií čísel, teorií pravděpodobnosti a matematickou statistikou. Působil na univerzitě v Leningradu (nyní Petrohrad). 40 Calyampudi Radhakrishna Rao (*1920) - indický matematik. Mezi jeho nejznámější objevy patří Cramér-Raova mez a Rao-Blackwellova věta. Zabýval se teorií odhadu, lineárními modely, mnohorozměrnou analýzou, biometrikou, funkcionálními rovnicemi. -39- KAPITOLA 3. fyzikálních, geofyzikálních a astronomických konstant. Jedním z nich byl i James Short41, který v roce 1763 odhadoval paralaxu Slunce pozorováním oběžné dráhy Venuše [76]. Nespokojil se s pouhým aritmetickým průměrem, ale zprůměrňoval tři průměry: prostý průměr, průměr všech pozorování s rezidui menšími jak jedna sekunda a průměr pozorování s rezidui menšími jak půl sekundy. V této souvislosti bych si dovolila udělat malou odbočku a zmínit se o tom, proč vůbec Short pozoroval oběžnou dráhu Venuše. Již od počátku osmnáctého století uměli astronomové docela dobře určit relativní vzdálenosti ve sluneční soustavě, tedy vzájemné vzdálenosti mezi oběžnými dráhami planet, mezi planetami a Sluncem. Nicméně neznali absolutní vzdálenosti. Pokud by se jim podařilo určit jednu takovou vzdálenost, pak by od této vzdálenosti mohli odvodit všechny ostatní. Středem jejich zájmu byla vzdálenost Země od Slunce. V osmnáctém století se tak vědci rozhodli určit paralaxu Slunce. Nejspíš první, kdo navrhl, aby byla paralaxa42 Slunce určena pozorováním oběžné dráhy Venuše, byl astronom Edmond Halley. Venuše měla být sledována při svém zdánlivém přechodu přes líc Slunce. Při průchodu Venuše přes sluneční disk při pozorování z různých míst na Zemi je možné zjistit, jak se Venuše promítá na různá místa slunečního kotouče. Pomocí změření těchto rozdílů lze dopočítat vzdálenost Venuše od Slunce a následně i vzdálenost Země od Slunce. Nedostatkem zmíněného postupuje fakt, že přechod Venuše přes sluneční disk je poměrně vzácný jev. První zaznamenaný průchod Venuše se odehrál v roce 1639 a byl pozorován pouze v Anglii. Další průchody byly očekávány až v roce 1761 a 1769. Aby bylo možné provést smysluplné měření, bylo potřeba provést pozorování na dostatečně vzdálených místech na Zemi. Do roku 1761 se podařilo vytvořit pozorovatelny na Mysu dobré naděje, v Římě, Kalkatě, Stockholmu a ve většině evropských hvězdáren. Data, kterými se zabýval James Short, pochází právě z roku 1761. 3.2 Zamítnutí odlehlých pozorování Jedním ze statistických problémů, který souvisí s robustními odhady, je zamítání odlehlých hodnot. O tomto problému byla zmínka již v předchozí kapitole o metodě nej menších čtverců. Jak ale zjistit, která pozorování jsou opravdu odlehlá a která máme tudíž vyřadit z dalších výpočtů? První návrh pro stanovení odlehlých hodnot publikoval roku 1852 41 James Short (1710-1768) - astronom a známý výrobce dalekohledů. 42 Paralaxa je v astronomii úhel, o který se změní poloha nebeského tělesa na obloze, pokud je pozorováno z krajních bodů vhodně zvolené základny. Výpočet paralaxy se používá pro měření vzdáleností ve vesmíru. Zvláštní postavení má tzv. sluneční paralaxa. Sluneční paralaxa je úhel, pod kterým by byl pozorován rovníkový poloměr Země ze středu Slunce (8,794148"). -40- KAPITOLA 3. [70] Benjamin Peirce . Nicméně Peirce, stejně jako mnoho dalších, se příliš nezajímal o vlastnosti odhadu, který je udělán po zamítnutí odlehlých hodnot. Spíše implicitně předpokládal, že poté, co zamítl odlehlá pozorování, je možné vytvořit odhad bez ohledu na to, jaká informace mohla být ztracena. Tento nedostatek samozřejmě nezůstal dlouho bez povšimnutí. Britský astronom George Biddell Airy44 v roce 1856 ve svém listu kritizuje použití Peirceova kritéria. Tím se rozpoutává mezinárodní debata, která nebyla uspokojivě rozřešena. Nicméně na americké půdě se Peirce aspoň částečně stává vítězem. V letech 1852— 1874 působil v U. S. Coast Survey. Tato společnost měla za úkol zaměřit a zmapovat novou zemi. A právě v letech, kdy zde Peirce působil, byl jeho test na zamítnutí odlehlých hodnot běžně používán členy této organizace. Obrázek 3.1. Benjamin Peirce a Simon Newcomb 3.3 Simon Newcomb a směsi normálních rozložení Simon Newcomb (1835-1909) je znám jako nej významnější americký astronom devatenáctého století. Určil mnoho astronomických konstant, které jsou dodnes uznávány. Byl také nadaným matematikem a spoluzakladatelem (a mnoho let editorem) American Journal of Mathematics. Díky své knize Principles of Political Economy se stal také předním americkým Benjamin Peirce (1809-1880) - profesor astronomie a matematiky na Harvardu od r. 1842 až do své smrti. Promoval na stejné univerzitě. Jeho nej významnějším učitelem byl překladatel Lapiace Nathaniel Bowditch (1773-1838). Z dnešního hlediska je Peirce ceněn z několika důvodů. Tím prvním je jeho učitelská a vědecká práce. Vroce 1870 vydává spis Linear Associative Algebra. Dalším důvodem je jeho test na zamítnutí odlehlých hodnot, který vzbudil rozsáhlou debatu o vhodnosti takového počínání. Jeho synem byl Charles Sanders Peirce (1839-1914). Dnes je C. S. Peirce znám především jako filozof a logik. Pracoval, stejně jako jeho otec, v U. S. Coast Survey. 44 George Biddell Airy (1801-1892) - anglický matematik a astronom. Zabýval se planetárními oběžnými dráhami, určením střední hustoty Země. Studoval v Cambridge. V letech 1835-1881 působil jako britský královský astronom. -41 - KAPITOLA 3. teoretickým ekonomem. Newcomb byl, jak se zdá, první, kdo představil směs normálních hustot jako model pro rozdělení s těžkými konci a použil tento model k získání odhadu polohy, který byl robustnější jak výběrový průměr. Simon Newcomb se narodil v Novém Skotsku, kde byl jeho otec učitelem. V šestnácti letech šel do učení k lékaři, které mělo trvat pět let. Nicméně z jeho kariéry lékaře po dvou letech sešlo za poměrně dramatických okolností. V osmnácti se živil jako učitel. V roce 1858 ukončil Harvard's Lawrence Scientific School. Newcomb běžně používal vážený průměr ve svých odhadech astronomických konstant. Přitom váhy určoval subjektivně na základě svého vlastního posouzení relativní správnosti a přesnosti v průběhu pozorování. Newcomb při svých výpočtech také zamítal odlehlé hodnoty. Ale pouze v případě, že byly opravdu silně vychýlené. Při pozorování oběžné dráhy Merkuru (hodnoty byly naměřené 6. 5. 1878) zjistil, že množina 684 reziduí, založených na těchto pozorování, má mnohem těžší konce, než příslušné normální rozdělení. Množina pozorování pocházela z měření s různými stupni přesnosti. Newcomb zjišťuje, že v tomto případě nebude aritmetický průměr vhodnou charakteristikou. Přišel s myšlenkou popsat naměřená data pomocí směsi normálních rozdělení s různými parametry. O několik let později (v roce 1886) Newcomb publikuje y American Journal of Mathematics článek A Generalized Theory of the Combination of Observations so as to Obtain the Best Result [67]. V tomto článku nejprve kritizuje přílišné užívání kritéria pro zamítání odlehlých hodnot a poté představuje svůj model směsi rozdělení. Dále navrhuje odhad založený na tom, že menší váhy jsou dávány příliš odlišným pozorováním. Ve svých pozdějších pracích dokonce Newcomb vytváří jednoduchou verzi Tukeyho citlivostní křivky45. 3.4 Lineární funkce pořádkových statistik Lineární funkcí pořádkových statistik označujeme váženou lineární kombinaci pozorování, kde jsou váhy přiřazeny pouze na základě pořadí daného pozorování. Tyto lineární funkce pořádkových statistik můžeme použít k odhadování středních hodnot. Do této třídy patří i velmi dobře známý medián a variační rozpětí. Jak medián, tak variační rozpětí, mají poměrně dlouhou historii. John Wilder Tukey začal používat v roce 1970 citlivostní křivku (sensitivity curve) ke zkoumání vlastností odhadů pro konečné vzorky. Více o Tukeyho citlivostní funkci lze nalézt v knize [1]. -42- KAPITOLA 3. Mediánem se zabývá ve své práci Théorie Analytique des Probabilités [54] z roku 1812 Lapiace. Lapiace zde uvažuje problém, který bychom dnes nazvali lineární regresí: kde ai,pi jsou známé, odhadujeme y, x, jsou chyby, které pocházejí z libovolného symetrického rozdělení. Lapiace hledal odhad, který by minimalizoval součet absolutních hodnot reziduí. Dospěl k tomu, že takovým odhadem je medián al v případě, že pt = . Lapiace odvodil hustotu takového odhadu a ukázal, že s rostoucí velikostí výběru se tato hustota blíží hustotě normálního rozdělení. Mnoho prací o rozlišných použitích mediánu publikoval v roce 1875 Francis Galton46. Medián je také dnes často využívaným odhadem i z toho důvodu, že je robustní k odchylkám od normálního rozdělení. Galtonovou motivací však byla, spíše než nedůvěra k normálnímu rozdělení, jednoduchost výpočtu mediánu a snadnost jeho interpretace. Galton navrhuje použití mediánu v případech, kdy lze očekávat těžší konce než u normálního rozdělení. Mnoho podobných znaků lze nalézt v nezávislé práci Gustava Theodora Fechnera47. Obrázek 3.2. Francis Galton V roce 1889 Galton navrhuje komplikovanější lineární odhad průměru a směrodatné odchylky ve tvaru: Francis Galton (1822-1911) - anglický psycholog, statistik a antropolog. Je zakladatelem eugeniky (sociálně-filozofický směr zaměřený na studium metod, které povedou k dosažení co nejlepšího genetického fondu člověka). Francis Galton byl vnukem Erasma Darwina. Po Galtonovi je pojmenován přístroj modelující normální rozdělení (Galtonův přístroj, quincunx) a také vysokofrekvenční píšťala užívaná pro výcvik psů, tzv. Galtonova píšťala. 47 Gustav Theodor Fechner (1801-1887) - německý fyziológ, fyzik, psycholog, zakladatel psychofyziky, jeden ze zakladatelů experimentální psychologie a estetiky, profesor univerzity v Lipsku. -43 - KAPITOLA 3. ô" = -, kde g jsou libovolné, ale pevné p a. Van de Hulst ukazuje, že pokud je a dostatečně daleko od 1/2 a n —>• , pak as. ^ na \ « (- 2a j \y/ ^J^^x. If n obeservations X(. (n very large) are distributed according to the symmetric probability (density) f and one n determines the number M by ^ If/ $f; — M j= 0, where (// is some odd function, then EM = ■---[88, str. 84] n J/'4( dy/ : j 58 Frits Zernike (1888-1966) - holandský fyzik. Doktorát získal v roce 1915 na univerzitě v Amsterdamu. Roku 1953 získal Nobelovu cenu za fyziku za zkonstruování fázově-kontrastního mikroskopu. Na princip fázově-kontrastního mikroskopu přišel při zkoumání vad optických přístrojů. -50- KAPITOLA 3. Toto však dokázal už Percy John Danieli, o kterém byla zmínka v předchozím textu. Nicméně, jak bylo také uvedeno, jeho práce zůstala velice dlouho nepovšimnuta. Van de Hulstův důkaz lze nalézt v [88]. Pokud funkce /bude rovna hustotě standardizovaného normálního rozdělní , n = 14 a k = i, 1, 2,..., 11. Tyto hodnoty docela dobře souhlasí s Hertzsprungovými empirickými daty v tabulce 3.1. Když ale van de Hulstovi výsledky komentoval van Dantzig, vyjádřil se následovně [88]: Vcelku si myslím, že nemá smysl pokoušet se vysvětlit malé odchylky mezi vašimi výpočty a Hertzsprungovými výsledky; podle mého mínění shoda je příliš dobrá na to, aby to bylo správně.59 Van de Hulst se také zabýval asymptotickým rozptylem mediánu. Po několika neúspěšných pokusech se mu podařilo najít pro n (počet hodnot, ze kterých je počítán medián) liché a / = > rozvoj v řadu & ^ n(, A-n 2>7T-A \l>nl \ na ffn = -i 1----—+ —T + ...\ . " 2{ 2n n2 24n2 ) On the whole, I don't think it makes sense to try to explain the small deviations between your calculations and Hertzsprung's results; in my opinion, the agreement is too good to be true. [88, str. 90] - 51 - KAPITOLA 3. Tento výsledek ovšem nelze použít pro n - A. Van de Hulst se také pokoušel zlepšit aproximaci pro a v Použil k tomu variační rozpětí, definované jako: Odvodil vztah mezi rozptyly useknutého průměruXnl, průměru Xn0 a variačního rozpětí M n v případě, že / = >: = 4 {EMl ) °".,Q <> ľ { ^ ■ ) Numerickými metodami pro n— 'A a f = > nalezl na L= ,018. V prosinci 1943 píše van de Hulst Hertzsprungovi, o tom, že nalezl matematicky prakticky stejné výsledky jako Hertzsprung, co se týče rozptylů useknutých průměrů 24 as. ^ i pozorování. Dále uvádí, že je možné aplikovat jeho vzorec na 'k « (-2ar ~j w 4 J iígtx nejen na normální rozdělení, ale na skutečné rozdělení chyb měření včetně těch, obsahujících odlehlé hodnoty. Navrhuje také určit rozdělení chyb v Hertzsprungově pokusu a nalézt optimální procentní část, která by měla být useknuta. Pravděpodobně sám van de Hulst tento problém dále neřešil. Zabýval se ale rozdělením chyb s rozsahem od -4,24 do 4,24. V tomto případě navrhuje 10% oříznutí na obou stranách. -52- KAPITOLA 4. Kapitola 4: Vývoj robustních odhadů a robustních metod v lineárním regresním modelu 4.1 Robustnost Slovo „robustní" (popř. robustnost) bylo v osmnáctém století používáno k vyjadřování o někom, kdo je silný, avšak surový a vulgární. Statistický význam dal slovu až roku 1953 George Edward Pelham Box60. Ve svém článku Non-Normality and Tests of Variances píše nejprve o tom, které testy jsou v jeho době používané při ověřování shodnosti průměrů a rozptylů v několika skupinách. A zmiňuje, že tyto testy jsou odvozeny za podmínky, že jsou splněny některé předpoklady. Jedním z těchto předpokladů je normální rozdělení pozorování. Poté používá slovo robustnost v následujícím kontextu: Zdá se, že tato vlastnost „robustnosti" vzhledem k nenormalitě, kterou tyto testy pro porovnávání středních hodnot mají, a bez níž by byly mnohem méně vhodné pro potřeby experimentátora, není samozřejmá u jiných statistických testů a zvláště ne u testů rovnosti rozptylů, zmíněných výše.61 Před rokem 1885 se vědci zabývali tím, co bychom dnes mohli nazvat „robustnost" ve smyslu necitlivosti procedur na odchylky z předpokladů, především z předpokladu normality. O tomto tématu bylo pojednáno již v předchozí části. V současné době existují různé definice, více či méně matematicky přesné, ale obecně robustní znamená necitlivý na malé odchylky z idealizovaných předpokladů, pro které je odhad optimalizovaný. Proč se ale vůbec robustní metody začaly rozvíjet? Když se podíváme na klasické statistické postupy, zjistíme, že se většinou jedná o parametrické postupy. Tj. model je určen až na hodnoty několika parametrů, které nabývají reálných nebo vektorových hodnot. V mnoha případech se jedná o parametry rozdělení pravděpodobností náhodných chyb 60 George Edward Pelham Box (*1919) - vystudoval matematickou statistiku na University College v Londýně. Zabýval se robustností, časovými řadami, nelineárními odhady a aplikací statistiky. Box získal mnoho ocenění za svůj pňnos statistice, mj. Wilks Memorial Medal od Americké statistické společnosti a Shewhart Medal od American Society for Quality Control. 61 would appear, however, that this remarkable property of „robustness" to non-normality which these tests for comparing means possess, and without which they would be much less appropriate to the needs of the experimenter, is not necessarily shared by other statistical test, and in particular is not shared by the tests for equality of variances, mentioned above. [9, str. 318] - 53 - KAPITOLA 4. měření. Opakem parametrických metod jsou metody neparametrické. Ty jsou nezávislé, případně jen málo závislé, na tvaru rozdělení pravděpodobností. Klasických příkladem jsou pořadové testy statistických hypotéz. Tyto neparametrické metody mají dobré vlastnosti pro celou třídu distribučních funkcí. Nicméně za tuto „univerzálnost" zaplatíme jistou daň. A tou je v tomto případě ztráta vydatnosti. Jak bylo uvedeno již v předcházející kapitole, i malé odchylky od normálního rozdělení mohou značně ovlivnit odhady, získané metodou nejmenších čtverců, ale i například klasickým F-testem a dalšími klasickými postupy. A právě robustní metody mají tu vlastnost, že si zachovávají dobré vlastnosti v okolí nějakého základního rozdělení pravděpodobností. A na rozdíl od neparametrických testů jsou vydatnější. 4.2 Teoretické základy robustních statistických metod Protože se dostáváme k moderním robustním odhadům, ráda bych úvodem zavedla několik pojmů, které se budou nadále poměrně často vyskytovat. Spíše však pro „ujasnění pojmů". Tyto definice vychází z knihy Robustní statistické metody [49], kde je možné najít podrobnější informace. Jedním z požadavků na statistický odhad je fisherovská konzistence, kterou zavedl v roce 1921 Ronald Aylmer Fisher62. Z hlediska robustnosti je tato vlastnost odhadu důležitější než jeho nestrannost. Definice 4.1. Řekneme, že odhad 6 založený na pozorováních Xl,X2,...,Xn s rozdělením pravděpodobnosti P je fisherovsky konzistentním odhadem parametru 8, jestliže, pokud ho zapisujeme jako funkcionál 6 = \P„) empirického rozdělení pravděpodobností vektoru XY,X2,...,Xn ,n=l,..., pak platí T(P)= K Ronald Aylmer Fisher (1890-1962) - studoval matematiku a astronomii v Cambridge, zajímal se také 0 biologii. V letech 1915-1919 pracoval jako učitel matematiky a fyziky. V roce 1919 začal pracovat v zemědělské experimentální stanici v Rothamstedu jako biolog. Dosáhl zde významných výsledků ve statistice 1 genetice. Zabýval se organizací experimentů, analýzou rozptylu, testováním hypotéz. V roce 1921 Fisher zavedl pojem věrohodnosti. Fisher publikoval několik významných spisů, např. Statistical Methods for Research Workers (1925), The Genetical Theory of Natural Selection (1930), The design of experiments (1935). V roce 1929 byl Fisher přijat do Královské společnosti a v roce 1948 získal Darwinovu cenu Královské společnosti. Následovala Copley ho cena Královské společnosti v roce 1955. -54- KAPITOLA 4. Důležitým pojmem při výkladu robustních odhaduje tzv. influenční funkce. Abychom mohli zavést influenční funkci, je nutné se nejprve vypořádat s pojmy Gäteauxova derivace a kontaminace rozdělení. Definice 4.2. Funkcionál T je diferencovatelný v Gáteauxově smyslu podle P ve směru Q, existuje4i limita pak nazveme Gáteauxovou derivací T podle P ve směru Q. Definice 4.3. Kontaminací P rozdělení Q v poměru t nazveme rozdělení pravděpodobností P,ifj= C- >+ Q, kde P^e^a/e J;l~ Definice 4.4. Influenční funkcí funkcionálu T v rozdělení pravděpodobností P nazveme Gáteauxovu derivaci T podle P ve směru ôr, x eJr, tedy IF*;T,P = f= lim - * - kde pt+ -, Xn,Y - nn Xn j= rC„,7^. To nás vede k pojmu citlivost funkcionálu k přidání dalšího pozorování. Definice 4.5. Citlivostí funkcionálu Tn^fY,..., X n ^ k přidání dalšího pozorování při daných Xl,X2,...,Xn nazveme číslo - 55 - KAPITOLA 4. Pokud chceme měřit robustnost odhadů, nastává problém, jak to udělat. Existují totiž různé charakteristiky robustnosti. Již bylo řečeno, že influenční funkce je jednou z nej důležitějších charakteristik statistického funkci onálu. Hodnota influenční funkce IF4^;T,P^ měří vliv kontaminace funkcionálu T hodnotou x. Pokud má být tedy funkcionál robustní, měl by mít ohraničenou influenční funkci. Na influenční funkci jsou založeny dvě často používané charakteristiky funkcionálu T-lokální a globální citlivost. Definice 4.6. Lokální citlivostí funkcionálu T pro rozdělení pravděpodobnosti P nazveme hodnotu A = sup IF4;T,Pl- F*;T,P] y- Tato hodnota měří vliv nahrazení hodnoty x hodnotou y na funkcionál T. Definice 4.7. Globální citlivostí funkcionálu T pro rozdělení pravděpodobnosti P nazveme hodnotu xe Často se také setkáme s další charakteristikou robustnosti odhadu, a tou je tzv. bod selhání. Definice 4.8. Nechť x(0) = („...,iB Je náhodný výběr, kterému přísluší odhad funkcionálu T s hodnotou Tn {(0) ^. Nyní nahraďme libovolných m hodnot v původním výběru xc- jakkoliv zvolenými hodnotami. Označme x*1- nový výběr, který vznikne při co nej nepříznivějších nahrazení co nej nepříznivějšími hodnotami. Příslušnou hodnotu odhadu pak označme Tn C^1 V Bodem selhání odhadu Tn ve výběru x°- pak nazveme číslo Ví n kde m* ^<í- je nejmenší celé číslo m, pro které platí sup|rBt«V7;t«-I Jedná se tedy o nejmenší podíl pozorování, které po nahrazení libovolnými hodnotami mohou vést k hodnotám T„ nekonečno. -56- KAPITOLA 4. 4.2.1 Robustní odhady reálného parametru Nechť X1,...,Xn je náhodný výběr z populace s rozdělením pravděpodobností P. Naším úkolem je najít odhad parametru 0, který lze vyjádřit jako funkcionál rozdělení P, tedy T(P). Existují tři nejpoužívanější třídy odhadů reálného parametru: M-odhady, Z-odhady ai?-odhady. Tyto třídy odhadů lze rozšířit např. na lineární regresní model. 1. M-odhady M-odhad Tn je definován jako řešení minimalizace n %{,6 ;= nin vzhledem k 0 e ), kde p je vhodně zvolená funkce. Pokud je funkce p diferencovatelná vzhledem k 0 se spojitou derivací i//, pak Tn je řešením rovnice |>^,£=) 0 = » Influenční funkci M-odhadu pak můžeme zapsat ve tvaru IF*;T,P^= , ¥ íJ*^ ^ - Jy> ý,Tf dPý_ x - r d 1 kde w = —'/s j,0 i ' jo -\e._.K M-odhad Tn je ekvivariantní vzhledem k posunutí, tj. platí Tn^l+;...,Xn+-Z-rn^,-,Xnl+; ce . Nicméně není ekvivariatní vzhledem k měřítku, tj. obecně neplatí r„ «Ariv.., c^W,^,.., O ceR,c>). Zatím jsme blíže nespecifikovali funkci p, popř. její derivaci y/. Mezi takové funkce patří např. Huberova funkce, Andrewsova sinusová funkce nebo Tukeyho funkce biweight, o kterých bude řeč později v souvislosti s jejich objevem. Můžeme se setkat i s odhadem skipped mean, který je generován funkcí í-1 -k k [1 00s.v.proxe (ii) S„4i+ xn + :> ?„ cg , x=(, (iii) ^„ ^i,---,cx„> ^„ <1,...,x„^ olxe l". Navíc předpokládáme, že 4ň^n-S^ = )piZ prow^ , kde Sf1 je statistický funkcionál . Tím dostáváme studentizovaný M-odhad, který je ekvivariantní k posunutí i k měřítku, jako řešení rovnice V /o —-i = nin vzhledem k 6 e ). , v J Pokud je funkce p diferencovatelná vzhledem k 6 se spojitou derivací (//, pak je řešením rovnice 2_y —— I - I 0 E ) i= V ^« J Jako škálová statistika Sn se používá např. výběrová směrodatná ochylka, mezikvartilové rozpětí63 nebo mediálnová absolutní odchylka64. 2. L-odhady Tento typ odhadů je založen na uspořádaných pozorováních neboli pořádkových statistikách. Mějme náhodný výběr Xl,X2,..., Xn. Jeho pořádkové statistiky budeme označovat (pozorování uspořádaná podle velikosti) Xn.x,Xn.2,...,Xn.n. Tedy platí: X„-\ - ^ • •• ^ ^„:n ■ £-odhad pak je řešením rovnice k í=l >=1 Mezikvartilové rozpětí - rozdíl horního a dolního kvartilu. Mediánová absolutní odchylka - medián z absolutních hodnot rozdílu hodnot Xt a mediánu, tedy s„ ned i< < - 58 - KAPITOLA 4. kde 0 < pl < ... < pk < , h,h*jsou dané funkce, cnl,...,cnn a a1,...,ak jsou dané koeficienty. Navíc koeficienty cnj, 1 < < 7 jsou ohraničeny váhovou funkcí J : |U_—> buď jako /- nebo približným způsobem jako 1 / i ^ . n \i+ J Jak vidíme, Z-odhad se tak skládá ze dvou složek. Velká část Z-odhadů je tvořenou pouze jednou z těchto částí. Z toho také vyplývá označení těchto odhadů jako Z-odhad typu I a typu II. Známými příklady Z-odhadů jsou medián nebo variační rozpětí65, a-useknutý průměr, definovaný jako i n-\na x = 1 y j na —i- / i n:i i n ~ 2\ncc i=\na fl kde 0 < a : i,5 . Méně známým Z-odhadem je Giniho průměrná diference (Gini mean difference) G. = i " Mezi Z-odhady patří také tzv. a-winsorizovaný průměr _ Y \ n [na "| Wna = "i ka^nXna fl + Y,Xn, + ^An-.n-ina J* • n y i=[na 4-1 J Tento průměr tedy dostaneme tak, že extrémní hodnoty (nej menší a nej větší hodnoty v souboru, stejnou část na obou koncích) nahradíme posledními „neuseknutými" kvantily. 3. /ř-odhady Nechť Xl,X2,..., Xn je náhodný výběr populace se spojitou distribuční funkcí. Nechť R, je pořadí Xi mezi Xl,...,Xn, i = 1,Formálně lze pořadí vyjádřit jako n - —. Rj = YjI %j ^ X,J = -,—,n. Pak Rt = ?Fn4íJ^)= n, kdeFn je empirická distribuční funkce Xl,..., Xn. Pořadí jsou invariantní ke třídě ryze monotónních transformací. Pořadové 65 Variační rozpětí - rozdíl maximální a minimální hodnoty ve výběru. -59- KAPITOLA 4. testy mají tu vlastnost, že rozdělení testového kritéria a platnosti hypotézy nezávisí na distribuční funkci pozorování. i?-odhady j sou inverzí pořadových testů. Omezme se na případ, kdy Xl,...,Xn mají spojitou distribuční funkci Fi^- ") se středem symetrie 0. Hypotézu H0= 9 = 9 o středu symetrie testujeme znaménkovým pořadovým testem založeným na statistice i= kde R+ni {0 je pořadí \Xl - ' |,...J^„ - ' | a an(l) < .. < ~in(n) jsou dané skóry, generované neklesající skórovou funkcí ^z? : —> R+,

-■ i = « . \i+ J Jestliže platí 6=6 ,FÍí + ľ<- cj=l,xe '., jsou sign^fj -la R*<0 stochasticky nezávislé a £„(0 je nerostoucí a schodovitá funkce ŕ. Z toho vyplývá, že Sn >6 j= ) a (<9 ^ je za platnosti if0 symetrické kolem 0. Odhadem 6 je hodnota t, která je řešením rovnice Sn(t) = ). Kvůli nespojitosti Sn(t) nemusí mít tato rovnice řešení. Proto definujeme i?-odhad ve tvaru T' = iupŕ$M> ^\ r; = ní t{sniZ<). i?-odhady jsou ekvivariantní vzhledem k posunutí v poloze i ke změně měřítka. Mezi R- odhady patří i medián nebo tzv. Hodges-Lehmannův odhad \Xi+Xi ] medi J A , absolutně spojitá. Takto konstruovaný M-odhad je ekvivariantní vzhledem k regresi, tj. platí M„C+ «>> W„C> ), V e /. Není však ekvivariantní vzhledem k měřítku. Pokud bychom chtěli odhad M-odhad ekvivariantní jak vzhledem k regresi, tak vzhledem k měřítku, použijeme tzv. studentizaci. O studentizaci byla řeč již v části výkladu robustních metod reálného parametru. Podrobnosti o studentizaci v tomto modelu zde najít v některé z učebnic robustních odhadů, např. v [48, 49]. 2. L-odhady Rozšíření Z-odhadů na lineární regresní model se povedlo až roku 1978, a to Koenkerovi a Bassettovi, kteří definovali tzv. regresní a-kvantil P {a , 0 < a : , pro lineární regresní model. Tento regresní a-kvantil je definován za podmínky, že /3 označuje absolutní člen a regresní matice splňuje podmínku xa = .,/= Regresní a-kvantil P'« je pak definován jako řešení -61 - KAPITOLA 4. J> < -X;t>min, te^, 1=1 kde 00_+I-a|c ). 73 Peter Jost Huber (*1934) - narozen v Wohlenu ve Švýcarsku. Doktorskou práci z matematiky (Homotopy Theory in General Categories) napsal na švýcarské Eidgenossiche Technische Hochschule v Curychu. Poté ale přešel ke statistice. V letech 1961-1963 působil na Berkeley, kde také napsal svojí první a nejznámější práci z robustní statistiky Robust Estimation of a Location Parameter. Po působení na Cornellově univerzitě odešel na Eidgenossiche Technische Hochschule. V letech 1978-1988 pracoval na Harvardské univerzitě, v letech 1988-1992 na MIT a poté až do svého odchodu do důchodu na University of Bayreuth. TnH = med\ :\ a s- a tento odhad je úzce spojen a asymptoticky roven winsorizovanému průměru76. Odhad generovaný touto funkcí p [ je necitlivý k odlehlým pozorováním. Huber také studuje asymptotickou normalitu M-odhadů pro konvexní i nekonvexní funkci p . V příkladech počítá asymptotický rozptyl a dochází k následujícím závěrům (volně přeloženo podle [41]): (i) Prostý průměr je velmi citlivý ke chvostům F. (ii) Medián je velmi citlivý k průběhu F v mediánu a nevšímá si chování jinde. (iii) „Winsorizování" netrpí těmito nedostatky. Zřejmě je to spojeno s faktem, že příslušná funkce y/ je monotónní, ohraničená a spojitá. (iv) „Ořezávání" je spíše citlivé k průběhu F v bodech oříznutí ± . Vysoká hustota v těchto bodech může zničit odhad. Tyto nedostatky jsou běžné i u jiných procedur, kdy se zamítají pozorování; zde by bylo možné se tomuto problému vyhnout pomocí vyhlazení p v ± . V páté části své práce se Huber zabývá minimaximálně robustními odhady. Symbolem C je označena množina všech distribučních funkcí tvaru F - i - r^j + : í, kde 0 < s < je pevně dané číslo, G je pevná a H proměnná distribuční funkce. Předpokládejme, že G je distribuční funkce s dvakrát diferencovatelnou hustotou g takovou, že - ^gg(t)je konvexní v t. NechtT„ je M-odhad s příslušnou funkcí p, y/ = c- tak, že -cFUt = l. Pak asymptotický rozptyl je: tr p- EFy/ i- Z V y/ " = —-— . €Fy/ t- _ Nyní se Huber pokouší minimalizovat supremum supFV y/ ,F . Dokazuje tak následující větu (přeloženo z [41]): Věta: Asymptotický rozptyl Vy/ F má sedlový bod: existuje F0 = r^/ + í\ a y/ tak, že Winsorizovaný průměr-je definován j ako: _ Y ( n ha ^ ^ n V i=\ia±l ) Tento průměr vlastně vypočítáme tak, že pozorování uspořádáme podle velikosti a jistou část nejmenších a největších hodnot nahradíme kvantilem Xn. ^a f nebo Xnn_ ^a . -65 - KAPITOLA 4. supF V y/ ,F> 7V_,F0 Z= nf(// V y F0^, kde F probíhá distribuční funkce z C, pro které platí EFyr = ). Nechť t0 < \ jsou koncové body intervalu, kde \g'Ig\ ^ - (jeden nebo oba tyto body mohou být nekonečno) a ä: je s s ve vztahu 7 r <-*X~Í*('~3) Pro^< 0, = C-fJO proŕ0< < !, = C-e><3"'(ŕ"-) proŕ> i. ^ =~'Ufí) Je monotónní a ohraničená a odpovídá maximálně věrohodnému odhadu parametru polohy, pokud F0 je výchozí rozdělení. Tato věta je ještě doplněna poznámkou, že je možné omezit G na symetrickou distribuční fukci a nechat H probíhat přes všechny symetrické distribuční funkce. Tím se vyhneme tomu, že třída, přes kterou H probíhá, závisí na y/ Důležitý je i speciální případ minimaximálně robustního odhadu v modelu kontaminovaného normálního rozdělení. Budeme postupovat podle předchozí věty, kdy za G dosadíme distribuční funkci standardizovaného normálního rozdělení . Stejně postupoval i Huber. Použil odhad Tn = rn ^l,...,Xn který minimalizuje 1=1 kde p {j= '-t2 pro |ř| < p [- \t\- jk2 pro |ř| < y/= y, s a k jsou ve vztahu: 1 \ --= j p \ät+ \

< - • « c. Takových odhadů je zde konstruováno několik dosazením různých konstant za parametry a,b,c. V případě odhadu 17A a= ,7;b = ,4;c= ;,5. Vysoce byl také hodnocen M-odhad označovaný AMT, kde y/ je Andrewsova sinusová funkce: rsin4r/2,P |x|<2,br ¥ x J= " [0 jinak. Lineární kombinace pořádkových statistik, jako useknutý průměr, v Princetonské studii poněkud zaostávaly. Důvodem byla nemožnost kombinovat dobré lokální vlastnosti s těmi globálními (např. požadavek vysokého bodu selhání). Jako možná alternativa k M-odhadům byly vybrány odhady, založené na pořadových testech (jako Hodges-Lehmannův odhad). Ve velmi malých vzorcích badatelé tak jednotní nebyli. Jak uvádí Huber [40]: Zdá se, že s nejmenšími vzorky (velikosti 1 až 4) toho nemůžeme příliš dělat: prostý medián je pravděpodobně stejně dobrý jako jakékoliv jiné robustní odhady, zvláště pokud neznáme měřítko.82 Nicméně ani pro vzorky o rozsahu 5 až 9 konsenzu dosaženo nebylo. Výsledky shrnuje ve svém článku [6] také Peter Bickel. Jedním z podstatných výsledků studie byl však sám fakt, že badatelé stanovovali kvality a nedostatky odhadů pomocí Hampelova bodu selhání a influenční funkce. 81 We have learned that much more is gained by thinking about families of related estimates than by thiking about individual estimates. [1, str. 223] 82 For the very smallest sizes (range 1 to 4) it seems that not much can be done: the sample median is probably as good there as any other robust estimator, especially if scale is unknown. [40, str. 3] -69- KAPITOLA 4. 4.6 Frank Hampel Jak již bylo uvedeno v předchozí části, influenční funkci a bod selhání studoval Frank R. Hampel. Psal o nich ve své dizertační práci Contributions to the Theory of Robust Estimation z roku 1968 a později v roce 1971 také v článku^ General Qualitative Definition of Robustness [30] a následně v The Influence Curve andIts Role in Robust Estimation [35], který vyšel v roce 1974. Nicméně koncept influenční funkce v různých podobách se objevil ve statistické literatuře již dříve, např. ve článku On the Asymptotic Distributions of Differentiable Statistical Functions [65] z roku 1947, jehož autorem byl Richard von Mises83. Ve své dizertační práci si Hampel stanovil určité aspekty robustnosti. Jedním z nich byl požadavek, aby malé změny (ve smyslu porušení) měly pouze malé účinky. Dalším byl požadavek, který vedl k zavedení bodu selhání; jak velké může být porušení, než všechno selže. Článek z roku 1971 obsahuje dvě úzce související definice robustnosti posloupnosti odhadů, které berou v úvahu typy odchylek z parametrických modelů, které se obvykle vyskytují. Tyto definice využívají vlastnosti Prochorovovy vzdálenosti pravděpodobnostních měr84. Hampel předpokládá pozorování, která mohou být popsána nějakým parametrickým modelem (např. model nezávislých pozorování, pocházejících z totožného normálního rozdělení). Úkolem je odhadnout parametry tohoto modelu (nebo nějakou jejich funkci). Nicméně Hampel předpokládá, že tento parametrický model není naprosto korektní. Model se mírně liší. Hampel rozlišuje tři hlavní důvody těchto odchylek od parametrického modelu: zaokrouhlování pozorování, výskyt velkých chyb a fakt, že model může být pouze aproximací 83 Richard von Mises (1883-1953) - jeden z nej významnějších aplikovaných matematiků 20. století. Zabýval se mechanikou, hydrodynamikou, aerodynamikou, konstrukční geometrií, diferenciálními a integrálními rovnicemi, teorií pravděpodobnosti, matematickou statistikou a filozofií. Narodil se ve Lvově. Vystudoval gymnázium ve Vídni, poté studoval vídeňskou techniku. Ještě za dob svých studií působil jako asistent na brněnské německé technice. V roce 1908 získal na vídeňské technice doktorát za svoji práci Die Ermittlung der Schwingmassen im Schubkurbelgetriebe. Když mu bylo 26 let, byl jmenován profesorem aplikované matematiky na univerzitě ve Štrasburku. Po první světové válce působil krátce jako profesor hydrodynamiky a aerodynamiky v Drážďanech. V roce 1920 se stává ředitelem na institutu aplikované matematiky na univerzitě v Berlíně. Hned v následujícím roce zakládá časopis Zeitshrifi für angewandte Mathematik und Mechanik. Nicméně kvůli nástupu Adolfa Hitlera musí odejít z berlínské univerzity a odchází neprve do Istanbulu a v roce 1939 do Spojených států. V roce 1944 v Harvardu získává místo profesora aerodynamiky a aplikované matematiky. 84 Prochorovova vzdálenost pravděpodobnostních měr - definice použitá Hampelem [30]: Nechť up\S < : 3 kompaktní množina K - KG 2j -> 3ro«-> . Práce z roku 1974 se skládá z osmi částí. Článek je pojednáním o influenční funkci (Hampel ji nazývá influenční křivkou), o její interpretaci, vlastnostech a možnostech použití v teorii robustních odhadů. Influeční funkci zavádí následovně [35]: Definice: Nechť i? je reálná přímka, T reálný funkcionál definovaný na nějaké podmnožině množiny všech pravděpodobnostních měr na i? a i7 označuje pravděpodobnostní míru na R pro kterou je T definován. Označme 5K pravděpodobnostní míru určenou hromadným bodem 1 v jakémkoliv bodě Jte l. Směs i7 a nějaké S( zapíšeme jako + *>x pro 0 useknutý průměr je definován: ( _ n- ~n+ n ^ V ■ J ) 4. 15% useknutý průměr. kde A je střední hustota Země. Protože G a R můžeme pokládat za známé, určení střední hustoty Země A dostaneme změřením /. Z prvních experimentů bývá právě ten od Cavendishe považován za nejlepší. Je to díky jeho úplným popisům pokusů a velice dobrým použitým metodám. -75 - KAPITOLA 4. 25% useknutý průměr. Následující tři odhady jsou tzv. M-odhady, definované v tomto případě jako řešení (7) rovnice tí v s J kde 5 je odhad rozpětí (zde násobek mediánu absolutních reziduí kolem mediánu nebo kolem dřívější hodnoty odhadu, pokud se tato rovnice řeší iteračně), je vhodně zvolená funkce. 6. Huberův P1593 je jednokrokový M-odhad, kde ii^ rán ^,max <- z,u , k = 1,5, s je medián absolutních reziduí kolem mediánu. Tento odhad měl obecně dobré výsledky v Princentonské studii. 7. Andrewsův odhad AMT, kde é i = im — i \u\< ,\n -• Tento M-odhad byl počítán pomocí iterace T > w\ —-\X,. j l cS- ) ' v (X}-Tt\ ' > w\ —-i j v cs. ) Stigler používá toto označení, které odpovídá značení odhadů v Princetonské studii, aby bylo možné srovnání se zmíněnou studií. Huber totiž navrhl celou třídu těchto M-odhadů (viz odst. 4.5). -76- KAPITOLA 4. která byla provedena šestkrát. Začínalo se s mediánem, c= > a St jako medián hodnot \xj- Á 9. Edgeworthův odhad, který je váženým průměrem dolního kvartilu, mediánu a horního kvartilu. Váhy jsou v poměru 5:6:5. Tento odhad byl Edgeworthem94 navržen v roce 1893. 10. OutmeanXo25, který je vlastně průměrem těch měření, která byla nezahrnuta do počítání uříznutého průměru X0 25. Vypočte se tedy Yc — 'F- 7 11. Hoggův odhad Tl je definován Tx = ř0c>25 Q < :,o Tx = f 2,0 < } < :,6 Tx = ř3/16 2,6 <} < ,2 7i=ř3/8 3,2 < X Q označuje míru „váhy konce" výběru, a to U 0,05 L 0,05 " Q U4),5- L0,5^ L'a je průměr dolních a U*a horních 10Ca > hodnot Xt. Tento odhad byl navržen Robertem V. Hoggem v [37] v roce 1974. Těchto 11 odhadů bylo počítáno pro každý z 24 datových souborů. Pro srovnání odhadů mezi sebou použl Stigler dva ukazatele. Tím prvním byl index relativní chyby RE i, pro i -tý uvažovaný odhad. Tento index byl vytvořen k měření absolutní velikosti chyby odhadu vzhledem k velikostem chyb, dosažených jinými odhady pro stejný datový soubor. Proy-tý datový soubor byla nejprve vypočtena průměrná absolutní chyba: 7 nr j j Francis Ysidro Edgeworth (1845-1926) - na Trinity College v Dublinu vystudoval jazyky. V roce 1881 publikuje knihu Mathematical Psychics: An Essay on the Application of Mathematics to the Moral Sicences. V roce 1891 se Edgeworth stává prvním editorem Economic Journal, který vydávala Royal Economic Society. Editorem zůstává až do roku 1926. V roce 1892 se Edgeworth zabýval korelací a metodami odhadu korelačních koeficientů. První z článků na toto téma byl Correlated Averages (1892). Více o Edgeworthovi např. v [80]. -77- KAPITOLA 4. kde 6 označuje skutečnou hodnotu pro y'-tý datový soubor a 0 jsou hodnoty jedenácti odhadu pro y'-tý datový soubor. Dále byla určena relativní chyba Mého odhadu pro y-tý datový soubor jako: \e - »' e =--'-i-. >j Pokud je hodnota etj menší než jedna, znamená to, že pro datový soubor y udělal odhad /'menší chybu než je průměrná chyba pro jedenáct odhadů. Konečně tzv. index relativní chyby RE i, dostaneme pro každý odhad průměrováním přes datové soubory n j- Druhým ukazatelem, který Stigler použil pro srovnání odhadů, je index relativního pořadí. Pro každý datový soubor y byl nalezen odhad i s nej menší chybou G - 1 a tomu byl přiřazena hodnota rv = . Naopak odhad, který měl v tomto datovém souboru největší chybu e , dostal přiřazenu hodnotu r.. - 1. Poté byl pro každý odhad i vypočítán index relativního pořadí jako průměr přes datové soubory n J=i Výsledky těchto výpočtů jsou v tabulce 4. . Indexy byly počítány zvlášť pro velké a malé datové soubory. Čísla v kulatých závorech u indexu relativní chyby se vypočítají jako SEi= -L-Yei]-REiy\ . Velké hodnoty SEi,^ odrážejí velké kolísání ve výkonnosti odhadu pro různé datové soubory. Naopak malé hodnoty jsou znakem stabilního výkonu odhadu. Analogicky čísla v kulatých závorkách u indexu relativního pořadí jsou vypočtena jako SRÍ = -L-Ye9-RRíl i . -78- KAPITOLA 4. Relative Error (RE) Relative Rank (RR) Small Samples Large Samples Small Samples Large Samples Mean .931 (.20) 924 . (.19) 4.9 (3.2) 6.0 (4.6) Median 1.149 (.28) 1 152 (.18) 7.1 (4.1) 8.1 (3.8) Edgeworth 1.018 (.08) 945 (.07) 6.4 (3-2) 3.9 (1.5) Outmean 1.038 (.58) 774 (.50) 5.1 (4.8) 6.0 (5.8) 10% Trim .916 (.20) 944 (.06) 4.6 (2.2) 4.5 (2.4) 15% Trim .983 (-10) 991 (.04) 6.0 (1.7) 5.5 (0.6) 25% Trim 1.039 (.08) 1 .073 (.12) 6.8 (3.0) 6.1 (3.5) Huber P15 .922 (.20) .985 (.05) 5.3 (2.8) 5.5 (1.7) Andrews AMT .966 (.14) 1 .032 (.13) 6.2 (2.5) 6.0 (3.4) Tukey Biweight 1.023 (.13) 1 .097 (.17) 6.6 (3.1) 7.0 (3.9) HoggTl 1.014 (.07) 1 .084 (.13) 6.8 (2.5) 7.4 (2.5) Tabulka 4.1. Indexy relativní chyby a relativního pořadí počítané zvlášť pro malé a velké datové soubory. Malé hodnoty RE < a RR i, ukazují na dobrý výkon odhadu i. Zdroj: [79]. Small Samples Large Samples Relative Error Relative Rank Relative Error Relative Rank Best 10% Trim 10% Trim Outmean Edgeworth Huber PI 5 Mean Mean 10% Trim Mean 10% Trim Edgeworth Good Andrews AMT Outmean Huber P15 15% Trim 15% Trim Huber PI5 . 15% Trim Huber P15 Average Hogg Tl 15% Trim Andrews AMT Mean Edgeworth Andrews AMT 25% Trim Outmean Tukey Biweight Edgeworth Hogg Tl Andrews AMT Outmean Tukey Biweight Tukey Biweight 25% Trim 25% Trim 25% Trim Hogg Tl Poor Median Median Median Tukey Biweight HoggTl Median Tabulka 4.2. Seřazení jedenácti odhadů podle indexu relativní chyby a indexu relativního pořadí. Zdroj: [79]. Výsledky Stigler dále shrnuje v tabulce 4.1. Jak ale sám říká, tyto údaje umožňují pouze předběžné, závěry Nicméně i tak poskytují některé překvapivé výsledky. Např. to, že 10% useknutý průměr (odhad velice jednoduchý na provedení) vychází jako jeden z nej lepších uvažovaných odhadů. Zajímavé je i to, že medián, který byl dlouho považován za vysoce robustní a často se používá jako počátek při náročnějších iterativních odhadech, měl jedny -79- KAPITOLA 4. z nej horších výsledku. Z moderních odhadu, uvažovaných v Princentonské studii, vychází nejlépe Huber PI5 a Andrews AMT. Stigler se zde zabývá poněkud provokativní otázkou, jestli vůbec některé z moderních odhadů stojí za čas, který je nutné věnovat jejich výpočtu. V dalších částech studie je diskutována otázka možného zešikmení dat a systematické chyby v uvažovaných datech. Nemůžeme zaručit, že situace, které zde zkoumáme, jsou reprezentanty obvyklých aplikací, ale to není dostatečný důvod, abychom založili naše odhady na nerealisticky idealizovaných předpokladech.95 V následující části se Stigler věnuje otázce normality. Uvažované datové soubory sice mají trochu těžší konce než normální rozdělení, nicméně, nevykazují žádné významné abnormality. Proto autor uvádí (str. 1070): (Tabulka a obrázek) ukazují, že uvažované datové soubory mají sklon k poněkud těžším koncům, než je tomu u normálního rozdělení, ale pohled na svět přes Cauchyho brýle se mi zdá být příliš pesimistický.96 Naráží tak na fakt, že reálná data se liší od simulovaných dat. A právě simulovaná data se používají ve většině robustních studií. Někteří „pesimističtí" moderní statistikové používají pro svoje výpočty právě Cauchyho rozdělení, které má podstatně těžší konce než rozdělení normální. Závěrem autor shrnuje své poznatky a říká, že nej lepší způsob, jak se u svých zkoumaných souborů vyrovnat s mírným porušením normality, je malé ořezání dat, ne více než desetiprocentní. Po vydání článku v roce 1977 se rozpoutala diskuze. Některé ohlasy byly vesměs souhlasné (např. reakce George A. Barnarda97 z University of Waterloo, Davida R. Coxe98 95 There can be no gurantee that the situations studied here are representative of current applications, but that is not adequate reason for basing our assessments on unrealistically idealistic assumptions. [79, str. 1068] 96 (Table and Figure) suggest, that the data sets considered tend to have slightly heavier tails than the normal, but that a view of the world through Cauchy colored glases may be overly-pessimistic. [79, str. 1070] 97 George Alfred Barnard (1915-2002) - britský statistik. Studoval na univerzitě v Princetonu, odkud během druhé světové války odešel. V roce 1948 odešel na Imperial College London, kde se roku 1954 stal profesorem matematické statistiky. Odtud odešel na nově vytvořenou University of Essex. Až do roku 1981 ale trávil velkou část roku na University of Waterloo v Canadě. Je znám především díky svým pracím ze statistiky a řízení jakosti. 98 David Roxbee Cox (*1924) - britský statistik. Matematiku vystudoval na St. John's College v Cambridge. PhD. vzdělání získal na University of Leeds. David Cox napsal, nebo byl spoluautorem, 300 článků a knih. -80- KAPITOLA 4. z Imperial College v Londýně nebo Roberta V. Hogga z University of Iowa). Jiné byly více kritické - třeba ty od D. F. Andrewse (University of Toronto, jeden z autorů Princentonské studie) nebo Churchilla Eisenharta100 (National Bureau of Standards). Nicméně otevřela otázku povahy skutečných dat. 4.8 Small sample asymptotics U robustních odhadů by bylo logicky žádoucí zjistit jejich alespoň přibližné rozdělení pravděpodobností. Označme příslušný odhad Tn s hustotou /„, založený na pozorováních X1,...,Xn, která jsou nezávislá, se stejnou hustotou / Pokud Tn a f nemají nějaký speciální tvar, pak lze těžko analyticky vypočítat rozdělení Tn. Alternativou je linearizovat statistiku Tn a dokázat, že tato linearizovaná statistika je ekvivalentní Tn, pokud n-> . Výsledné asymptotické rozdělení může být použito jako aproximace rozdělení Tn. Ovšem v případě, že vzorek, se kterým pracujeme, je příliš malý, toto asymptotické rozdělení neposkytuje příliš dobré výsledky. Navíc tato aproximace je často nepřesná na koncích rozdělení. Obrázek 4.3. Henry Ellis Daniels Vletech 1966-1991 byl editorem Biometriky. Cox přispěl svými příspěvky k mnoha oblastem statistiky a aplikované pravděpodobnosti. Zabýval se např. proporcionálními modely za rizika, stochastickými procesy, analýzou binárních dat. 99 Robert Vincent Hogg (*1924) - titul PhD. ze statistiky získal na University of Iowa, kde také poté zůstal na fakultě matematiky. Stal se vedoucím oddělení statistiky, když v roce 1965 toto oddělení na univerzitě vznikalo. Ve své funkci zůstal dalších 19 let. Po 51 letech na univerzitě se stal v roce 2001 emeritním profesorem. Zabýval se robustními a adaptivními odhady a neparametrickou statistikou. 100 Churchill Eisenhart (1913-1994) - americký matematik, byl předsedou Statistical Engineering Laboratory (SEL) a Divize aplikované matematiky v National Bureau of Standards (NBS). Byl synem matematika Luthera Eisenharta. Do NBS se dostal z University of Wisconsin-Madison. - 81 - KAPITOLA 4. V roce 1954 používá Henry Ellis Daniels101 ve svém článku Saddlepoint Approximations in Statistics [16] metodu sedlového bodu k odvození velice přesné aproximace rozdělení aritmetického průměru. Hlavní myšlenka je následující - hustota /„ může být zapsána jako integrál v komplexní rovině pomocí Fourierovy transformace. Protože integrand je ve tvaru e"w*-, hlavní podíl na tomto integrálu pro velká n bude pocházet z okolí sedlového bodu, tj. bodu, pro který je rovno nule. Hodnota integrandu bude zanedbatelná mimo blízké okolí tohoto sedlového bodu. Pomocí metody „steepest descent" pak Daniels odvozuje kompletní rozvoj pro /„ řádu n . Výhodou tohoto rozvoje je fakt, že již několik prvních členů, někdy dokonce již sám vedoucí člen, poskytuje velice přesnou aproximaci pro konce rozdělení a funguje dobře i pro velmi malé soubory dat. Daniels o metodě sedlového bodu píše i ve svých dalších článcích [14, 15]. Obdobnou problematikou se dále zabýval také Frank Hampel. Vhodně použil výraz „small sample asymptotics", který vystihuje podstatu těchto metod. V roce 1973 na pražském sympoziu102 přednesl příspěvek Some Small Sample Asymptotics [33]. I na druhém pražském sympoziu v roce 1978 bylo o tomto tématu pojednáno, tentokrát Fieldem103. Ve sborníku z této konference je pak možné najít článek Summary of Small Sample Size Asymptotics for Location Estimates [21]. V roce 1982 Hampel společně s Fieldem uveřejňují v Biometrice článek Small-Sample Asymptotic Distributions ofM-Estimators of Location [20]. Tato metoda je vlastně vylepšenou verzí sedlového bodu, se kterým přišel v roce 1954 Daniels. Hampel ve svém příspěvku z roku 1973 odhaduje rozdělení aritmetického průměru a vybraných M-odhadů. Studuje dokonce vzorky o velikosti 1 nebo 2. Metoda totiž dává velice dobré výsledky i pro velmi malé vzorky. Jeho práce je zaměřena spíše na aplikace, než na ryzí matematickou teorii. Již dříve se používaly Edgeworthovy rozvoje pro distribuční funkci Fn nebo pro hustotu /„ rozdělení odhadu. Nicméně to mělo své nevýhody. Edgeworthovy rozvoje mohly vést k záporným hustotám a nedávaly příliš dobré výsledky pro konce rozdělení. Navíc rozvoje Fn, případně /„, vedly ke složitým výrazům. Hampel tak přichází smyšlenkou udělat rozvoj výrazu /,'//„. Zatímco rozvoje Fn nebo /„ vedly často k exponenciálním výrazům, první výraz rozvoje /,' //„je úměrný n a první dva výrazy jsou 101 Henry Ellis Daniels (1912-2000) - britský statistik. V letech 1974-1975 byl prezidentem Royal Statistical Society. 102 Jednalo se o Prague Symposium on Asymptotic Statistics. Poprvé se v Praze konalo v roce 1973, následně v pětiletých intervalech. 103 Christopher A. Field - působí na Dalhousie University v Halifaxu v Novém Skotsku v Kanadě. Mezi hlavní oblasti jeho výzkumu patří robustní statistika, molekulární biologie aproximace v sedlovém bodě. -82- KAPITOLA 4. lineární v n. Hampel se v této práci zaměřuje především na aritmetický průměr. Označme pn hustotu aritmetického průměr prvních n pozorování, Xl,X2,... jsou nezávislá, stejně rozdělená pozorování s hustotou/ nemající delší konce rozdělení jak exponenciální rozdělení, Tn = Xn. Hampel tedy uvažuje rozvoj -KnC=K= í--\í2j+ ^---:— ,— + ^ + p„<^ V 2) ' 2a a Axt la Alt kde Alt = J^/ {;-tctexpa > c-t ^4c dx, — ~> co A2t - jcř exp a ' c-t J"' V dx, — 3 co = \w '-ty/ tf-t^ctexpa ' z —t ^4f^x, — 3 co AAt - \y/ z-t~ctexp a ' c-t J"' t^c, — 3 00 ^5ŕ = k-t^texpa ' c-t J"'(:^c, — D 00 ^6ŕ = J^24:-ŕ^expa r c-t \c dx — o a ct,a splňují rovnosti co jcř exp a ' c-t ~ji4t~äx-\ — d co j^// c-/c(expa ' c-t ~£4e]ix = 0, — o CO a = \y/ 4c- ~~ct exp a ' z — ^4c]ix, — o 00 A - JV 4:- ^ exp a ' ;- ^4cdx/a . - o Následně byla také počítána relativní procentuální chyba konců rozdělení jako 100(iV-E)l{\-E), kde iVje aproximativní a E přesná distribuční funkce. Pro kontaminované normální rozdělení s e = 5 % vycházely relativní chyby kolem nebo pod 1 % pro t = 0,5 až po n = 1, pro / = 1 až po n = 3 a pro t = 1,5 až po n = 5. Pro kontaminované normální rozdělení byly -84- KAPITOLA 4. počítány aproximace prvního, druhého i vyšších řádů (zahrnují pouze první, první dva, více výrazů rozvoje p' KJiPn O a bylo zjištěno, že pro konce rozdělení zahrnutím druhého výrazu do aproximace bude dosaženo podstatného zlepšení. Nicméně přidání třetího výrazu již další výrazné zlepšení nepřináší. Více o small sample asymptotics např. v [24]. 4.9 Ricardo Antonio Maronna V současnosti jsou trendem robustní metody v mnohorozměrných modelech. Problémem je samozřejmě zjednodušení struktury mnohorozměrných dat nebo nahrazení mnohorozměrných modelů j ednorozměrnými. Na pole robustních odhadů přišel s mnohorozměrnými modely již v roce 1976 Ricardo Antonio Maronna104. Institute of Mathematical Statistics otiskuje jeho článek Robust M-Estimators of Multivariate Location and Scatter [62]. V tomto listu pojednává o robustním odhadu vektoru polohy t a kovarianční matice V pomocí M-odhadů, definovaných jako řešení soustavy rovnic: nxYux\ i-t^.V-1ii-t"2!lti-t>0, - L '1 nV±u2\i,-tV «, -t[] -t*. -t> V, kde u1,u2 jsou funkce, splňující množinu níže uvedených obecných předpokladů. Pro usnadnění zápisu a možnost srovnání s jednorozměrným případem je zde definováno pro s> >: y/ ^ = sul\^: = ,2. Požadavky na funkce ul,u2 jsou následující: (i) m1,m2 jsou nezáporné, nerostoucí a spojité pro s > ). (ii) y/ ,y/ jsou ohraničené. Nechť Kt = upi// í . s> i (iii) y je neklesající, v intervalu, kde y/ < K2, je rostoucí. (iv) Existuje s0 tak, že y/_ f 02 > n a ux ) pro s < i0(a proto K2 > n). Maronnova práce je velkým krokem vpřed vzhledem k odhadu kovarianční matice. Výhodou zde uvažovaného přístupu kM-odhadům je fakt, že dává afinně invariantní odhady, které jsou automaticky pozitivně definitní. V třetí a čtvrté části spisu je dokázána existence a jednoznačnost řešení navržené soustavy rovnic. Maronna pro názornost používá dva konkrétní případy. Prvním z nich je vícerozměrný Huberův M-odhad, kde funkce y/ i, k je definována 104 Ricardo Antonio Maronna - doktorské studium ukončil na univerzitě v Buenos Aires v roce 1975. - 85 - KAPITOLA 4. jako y/ t,kj= nax - r,min ^k . Druhým příkladem je maximálně věrohodný odhad pro Studentovo rozdělení. V následujících částech je dokázána konzistence a asymptotická normalita. V sedmé části je pojednáno o influenční funkci a bodu selhání. A právě nevýhodou těchto afinně invariantních M-odhadů je fakt, že mají nízký bod selhání. Ten je menší nebo roven lim, kde m je řád matice. V osmé části je vybráno devět konkrétních odhadů - jedná se o pět Huberových M-odhadů a čtyři maximálně věrohodné odhady pro Studentovo rozdělení s různými stupni volnosti. Pro tyto odhady jsou počítány hodnoty některých měr robustnosti společně s asymptotickými rozptyly těchto odhadů. Na závěr své práce Maronna ukazuje vylepšení procedury pro numerický výpočet odhadů a ukazuje výsledky chování odhadů pro vzorky velikosti deset a dvacet při pokusu, kdy některé parametry rozdělení odhadů byly počítány metodou Monte Carlo. 4.10 Současnost robustní statistiky a její přínosy V současnosti se robustní statistika zabývá především regresními modely a jejich dalšími rozšířeními, jako jsou mnohorozměrné modely, heteroskedastické proměnné, nelineární regrese. Uvažují se také výpočetní aspekty. Co lze, se rozšiřuje na časové řady, např. na autogresní modely, včetně mnohorozměrných. Vedle regrese se v současnosti uvažuje také predikce, klasifikační modely, diskriminace a kalibrace. V dnešní době je robustnost součástí výuky statistiky na mnoha univerzitách a robustní metody jsou používány i v praxi aplikovanými statistiky. Nicméně toto přijetí robustních metod nebylo automatické. Ačkoliv česká matematická statistika byla vždy na vysoké úrovní, ani zde na začátku sedmdesátých let dvacátého století nebyla robustnost přijata kladně. Avšak již v roce 1980 zorganizovala Matematicko-fyzikální fakulta v Praze první letní školu Robust o netradičních metodách matematické statistiky v Načetíně u Chomutova. Od té doby se Robust koná každé dva roky, střídavě v zimě a v létě. Poslední letní škola byla od 8. 9. 2008 v Roháčích na Slovensku. Práci bych ráda zakončila několika poznatky z Ronchettiho článku The Historical Development of Robust Statistics z roku 2006, kde se zabýval otázkou, jak mohou hlavní myšlenky a nástroje robustní statistiky přispět k obecnému rozvoji moderní statistiky. A zde jsou některé jeho výsledky (volně přeloženo a zkráceno podle [74]): (i) Model je pouze aproximací reality Tato myšlenka je samozřejmě zcela běžná ve všech vědách. Nicméně robustní statistika ukazuje, jak se mohou procedury, které byly při určitých podmínkách optimální, změnit, -86- KAPITOLA 4. když se nepatrně od těchto podmínek odchýlíme. To otvírá dveře hledání lepších alternativ a pro používání více metod pro analýzu dat. (ii) Mnohonásobné analýzy a řešení analýzy dat Robustní statistika přispěla k rozvoji myšlenky, že mnohonásobné nástroje jsou nezbytné pro analýzu reálných dat a že reálné problémy mohou mít více řešení. (iii) Statistické funkcionály; Gateauxova a Fréchetova diferencovatelnost Hampelův přístup k robustnosti je v řeči funkcionální analýzy. Zejména influenční funkce (Gateauxova derivace funkci onálu) se stala nej důležitějším heuristickým nástrojem analýzy stability statistických procedur a vývoje nových robustních procedur. Statistické funkcionály hrály důležitou roli později v rozvoji neparametrických metod. (iv) M-odhady Huberovy M-odhady představují velmi flexibilní a obecnou třídu odhadů, které hrály důležitou roli v rozvoji robustní statistiky a v konstruování robustních procedur. Nicméně tato myšlenka je mnohem obecnější a je důležitým stavebním blokem v mnohem různých oborech, např. v ekonometrii nebo biostatistice. (v) Bod selhání Bod selhání je mírou globální stability pro statistický funkcionál a j ako takový je typickou mírou robustnosti. Požadavek na vysoký bod selhání odhadů pomohl i vývoji např. obecných výpočtových technik. -87- Literatura [I] Andrews D. F., Bickel P. J., Hampel F. R., Huber P. J., Rogers W. H., Tukey, J. W.: Robust Estimates of Location. Survey and Advances. Princeton University Press, Princeton, 1972. [2] Archibald R. C.: History of Mathematics After the Sixteenth Century. The American Mathematical Monthly 56(1949), 35-56. [3] Bassett G., KoenkerR.: On Boscovich s Estimator. The Annals of Statistics 13(1985), 1625-1628. [4] Bečvář J., Fuchs E.: Matematika v 19. století. Edice Dějiny matematiky, Prometheus, Praha, 1996. [5] Belzová L.: M-odhady a jejich vlastnosti. Diplomová práce, Katedra pravděpodobnosti a matematické statistiky, Matematicko-fyzikální fakulta, Univerzita Karlova v Praze, 2002. [6] Bickel P. J.: Another Look at Robustness: A Review of Reviews and Some New Developments. Scandinavian Journal of Statistics 3(1976), 145-168. [7] Boscovich R. J., Maire C.: De Litteraria Expeditione per Pontificiam ditionem ad dimetiendas duasMeridianigradus. Palladis, Rome, 1755. [8] Boscovich R. J., Maire C.: Voyage astronomique et géographique dans Vetat de Veglise. Tilliard, Paris, 1770. [9] Box G. E. P.: Non-Normality and Tests on Variances. Biometrika 40(1953), 318-335. [10] Box G. E. P., Anderson S. L.: Permutation Theory in the Derivation of Robust Criteria and the Study of Departures from Assumption. Journal of the Royal Statistics Society 17(1955), 1-34. [II] Celmins A.: The Method of Gauss in 1799. Statistical Science 13(1998), 123-135. [12] Cohen M. L., Gastwirth J. L.: Small Sample Behavior of Some Robust Linear Estimators of Location. Journal of the American Statistical Association 65(1970), 946-973. [13] Danieli P. J.: Observations Weighted According to Order. American Journal of Mathematics 42(1920), 222-36. [14] Daniels H. E.: Exact Saddlepoint Approximations. Biometrika 67(1980), 59-63. [15] Daniels H. E.: Saddlepoint Approximations for Estimating Equations. Biometrika 70(1983), 89-96. [16] Daniels H. E.: Saddlepoint Approximations in Statistics. The Annals of Mathematical Statistics. Institute of Mathematical Statistics 25(1954), 631-650. - 88 - [17] David H. A.: Early Sample Measures of Variability. Statistical Science 13(1998), 368-377. [18] David F. N.: Games, Gods and Gambling, A History of Probability and Statistical Ideas. Dover Publications, New York, 1998. [ 19] Euler L.: Recherches sur la question des inégalités du mouvement de Saturne et de Jupiter. V Leonhardi Euleri, Opera Omnia 25(1960), 130-141. [20] Field Ch. A., Hampel F. R.: Small-Sample Asymptotic Distributions ofM-Estimators of Location. Biometrika 69(1982), 29-46. [21] Field Ch. A.: Summary of Small Sample Size Asymptotics for Location Estimates. Proceedings of the Second Prague Symposium on Asymptotic Statistics 1978, ed. P. Mandl a M. Hušková, 173-179. [22] Finkel B. F.: Biography: Karl Frederich Gauss. The American Mathematical Monthly 8(1901), 25-31. [23] Fischer H.: Dirichlet's Contributions to Mathematical Probability Theory. Historia Mathematica 21(1994), 39-63. [24] Flinger M. A.: Small Sample Asymptotics. Journal of Educational Statistics 13(1988), 53-61. [25] Gowing R.: Halley, Cotes, and the Nautical Meridian. Historia Mathematica 22(1995), 19-32. [26] Hacking I.: The Taming of Chance. Cambridge University Press, New York, 1990. [27] Háj ek J.: Asymptotically Most Powerful Rank-Order Tests. The Annals of Mathematical Statistics 33(1962), 1124-1147. [28] Hald A.: A History of Probability and Statistics and Their Apllications before 1750. John Wiley & Sons, Inc., New York, 1990. [29] Hald A.: A History of Mathematical Statistics from 1750 to 1930. John Wiley & Sons, Inc., New York, 1998. [30] Hampel F. R.: A General Qualitative Definition of Robustness. The Annals of Mathematical Statistics 42(1971), 1887-1896. [31] Hampel F. R.: Optimally bounding the gross-error-sensitivity and the influence of position in factor space. Proceedings of the American Statistical Association Statistical Computing Section, American Statistical Association, Washington, D. C, 1978, 59-64. [32] Hampel F. R., Rousseuw P. J., Ronchetti E., Stahel W.: Robust Statistical Procedures. The Approach Based on Influence Functions, New York, Wiley, 1986. -89- [33] Hampel F. R.: Some Small Sample Asymptotics. Proceedings of the Prague Symposium on Asymptotic Statistics 1973, ed. J. Hájek, 109-126. [34] Hampel F. R, Rousseeuw P. J., Ronchetti E..: The Change-of-Variance Curve and Optimal Redescending M-Estimators. Journal of the America Statistical Association 76(1981), 643-648. [35] Hampel F. R.: The Influence Curve andlts Role in Robust Estimation. Journal of the American Statistical Association 69(1974), 383-393. [36] Hodges J. L., Lehmann E. L.: Estimatest of Location Based on Rank Tests. The Annals of Mathematical Statistics 34(1963), 598-611. [37] Hogg R. V.: Adaptive robust procedures: a partial review and some suggestions for future applications and theory. Journal Amer. Statist. Assoc. 69(1974), 909-922. [38] Huber P. J.: A Robust Version of the Probability Ratio Test. The Annals of Mathematical Statistics 36(1965), 1753-1758. [39] Huber P. J.: Current Issues in Robust Statistics. Lisboa, 1983 [40] Huber P. J.: Recent trends in robustness. IEEE International Symposium on Information Theory, France, 1982. [41 ] Huber P. J.: Robust Estimation of a Location Parameter. Annals of Mathematical Statistics 35(1964), 73-101. [42] Huber P. J.: Robust Statistics. New York, Wiley, 1981. [43] Huber P.: The 1972 WaldLecture Robust statistics: A Review. The Annals of Mathematical Statistics 43(1972), 1041-1067. [44] Chernoff H., Gastwirth J. L., Johns M. V.: Asymptotic Distribution of Linear Combinations of Functions of Order Statistics with Applications to Estimation. The Annals of Mathematical Statistics 38(1967), 52-72. [45] Chernoff H., Savage I. R.: Asymptotic Normality and Efficiency of Certain Nonparametric Test Statistics. The Annals of Mathematical Statistics 29(1958), 972-994. [46] Jaeckel L. A.: Robust Estimates of Location: Symmetry and Asymmetric Contamination. The Annals of Mathematical Statistics 42(1971), 1020-1034. [47] Jurečková J.: Asymptotic Linearity of a Rank Statistics in Regression Parameter. The Annals of Mathematical Statistics 40(1969), 1889-1900. [48] Jurečková J., Picek J.: Robust Statistical Methods with R. Chapman & Hall/CRC, Boca Raton, 2006. -90- [49] Jurečková J.: Robustní statistické metody. Karolinum, Praha, 2001. [50] Kleczek J.: Velká encyklopedie vesmíru. Academia, Praha, 2002. [51] Koenker R., Bassett G.: On Boscovich 's Estimator. The Annals of Statistics 13(1985), 1625-1628. [52] Koshar R.: Foucault and Social History: Comments on "Combined Underdevelopment". The American Historical Review 98(1993), 354-363. [53] Kreager P.: Histories of Demography: A Review Article. Population Studies 47(1993), 519-539. [54] Laplace P. S.: Theorie Analytique des Probabilités. Paris, 1812. [55] Laplace P. S.: Theorie de Jupiter et de Saturne. Mém. Acad. Sei. Paris année (1787), 33-160. [56] Legendre A. M.: Nouvelles méthodespour la determination des orbites des cométes: avec un supplement contenant divers perfectionnemens de ces méthodes et leur application aux deux cométes de 1805. F. Didod, Paříž, 1805. [57] Lehmann E. L.: Asymptotically Nonparametric Inference: An Alternative Approach to Linear Models. The Annals of Mathematical Statistics 34(1963), 1494-1506. [58] Lehmann E. L.: Nonparametric Confidence Intervals for a Shift Parameter. The Annals of Mathematical Statistics 34(1963), 1507-1512. [59] Lehmann E. L.: Robust Estimation in Analysis of Variance. The Annals of Mathematical Statistics 34(1963), 957-966. [60] Lloyd E. H.: Least-Squares Estimation of Location and Scale Parameters Using Order Statistics. Biometrika 39(1952), 88-95. [61] Macák K: Počátky počtu pravděpodobnosti. Edice Dějiny matematiky, 9. svazek, Prometheus, Praha, 1997. [62] Maronna R. A.: Robust M-Estimators of Multivariate Location and Scatter. The Annals of Statistics 4(1976), 51-67. [63] Mayer T.: Abhandlung über die Umwälzung des Mondes um seine Axe. Kosmographische Nachrichten u. Sammlungen (1750), 52-183. [64] Merriman M.: On the History of the Method of Least Squares. The Analyst 4( 1877), 33-36. [65] Mises R. v.: On the Asymptotic Distribution of Differ entiable Statistical Functions. The Annals of Mathematical Statistics 18(1947), 309-348. -91 - [66] Mosteller F.: On Some Useful „Inefftcient" Statitics. The Annals of Mathematical Statistics 17(1946), 377-408. [67] Newcomb S.: A Generalized Theory of the Combination of Observations so as to Obtain the Best Result. American Journal of Mathematics 8(1886), 343-366. [68] Pearson E. S.: Studies in the History of Probability and Statistics XVII: Some Reflections on Continuity in the Development of Mathematical Statistics, 1885-1920. Biometrika 54(1967), 341-355. [69] Pearson E.G.: The Analysis of Variances in Cases of Non-Normal Variation. Biometrika 23(1931), 114-133. [70] Peirce B.: Criterion for the Rejection of Doubtful Observations. The Astronomical Journal 2(1852), 161-163. [71] Plackett R. L.: Studies in the History of Probability and Statitics. XXIX: Discovery of the Method of Least Squares. Biometrika 59(1972), 239-251. [72] Poincaré H.: Calcul des Probabilitěs. Gauthier-Villars, Paříž, 1912. [73] Portnoy S., He X.: A Robust Journey in the New Millennium. Journal of the American Statistical Association 95(2000), 1331-1335. [74] Ronchetti E.: The Historical Development of Robust Statistics. ICOTS 7(2006). [75] Ruppert D., Carroll R. J.: Trimmed Least Squares Estimation in the Linear Model. Journal of the American Statitical Association 75(1980), 828-838. [76] Short J.: Second Paper Concerning the Paralax of the Sun Determined from the Observations of the Late Transit of Venus; in Which This Subject Is Treated of More at Length, and the Quantity of the Paralax More Fully Ascertained. Philosophical Transactions of the Royal Society of London 53(1763), 300-345. [77] Siegel A. F.: Robust Regression Using Repeated Medians. Biometrika 69(1982), 242-244. [78] Stigler S.: Boscovich, Simpson, and a 1760 Manuscript Note on Fitting a Linear Relation. Biometrika 71(1984), 615-620. [79] Stigler S.: Do Robust Estimators Work with Real Data? Annals of Statistics 5(1977), 1055-1098. [80] Stigler S.: Francis Ysidro Edgeworth, Statistician. Journal of the Royal Statistical Society 141(1978), 287-322. [81] Stigler S.: R. H. Smith, A. Victorian Interested in Robustness. Biometrika 67(1980), 217-221. -92- [82] Stigler S.: Simon Newcomb, Percy Daniell, and the History of Robust Estimation 1885-1920. Journal of the American Statistical Association 68(1973), 872-879. [83] Stigler S.: Statistics on the Table: The History of Statistical Concepts and Methods. Harvard University Press, Cambridge, Massachusetts, 1999. [84] Stigler S.: Studies in the History of Probability and Statistics XXXVIII, R. H. Smith, a Victorian interested in robustness. Biometrika 67(1980), 217-221. [85] Stigler S.: The History of Statistics: The Measurement of Uncertainty before 1900. The Belknap Press of the Harvard University Press, Cambridge, Massachusetts, 1986. [86] Tukey J. W.: Exploratory Data Analysis. Addison-Wesley, Reading, Massachussets, 1977. [87] Tukey J. W.: The Future of Data Analysis. The Annals of Mathematical Statistics 33(1962), 1-67. [88] Zwet W. R. v.: Van de Hulst on robust statistics. A historical note. Statistica Neerlandica 39(1985), 81-95. -93 -