Autokorelace náhodných složek Druhou nesnází, která provází odhad zobecněného lineárního regresního modelu, je případná autokorelace náhodných složek regresní rovnice. Tento dost častý úkaz se vyskytuje daleko častěji u jednorovnicového modelu, jehož pozorování tvoří časové řady (u průřezových údajů je pozorován vzácně)[1]. Jeho důsledkem je, že odhady parametrů modelu pořízené obyčejnou metodou nejmenších čtverců OLS sice zůstávají nestranné, ale ztrácejí vydatnost. Při znalosti kovarianční matice náhodných složek[2] je pro získání vydatného odhadu nutno uplatnit zobecněnou metodu nejmenších čtverců GLS. Odhad rozptylu náhodných složek metodou OLS je však – při vzájemně autokorelovaných náhodných složkách -vychýlený. Indikace přítomnosti autokorelovanosti náhodných složek O přítomnosti autokorelace náhodných složek (jejichž teoretické hodnoty neznáme) se lze přesvědčit jen nepřímo, vyšetřením reziduálních hodnot. Velmi názorný obrázek o míře autokorelovanosti náhodných složek podává A) Durbin-Watsonův koeficient autokorelace reziduí určený výrazem (1) který je definován jako podíl součtu čtverců diferencí dvou po sobě jdoucích reziduálních hodnot a součtu čtverců všech reziduí. Rozsah přípustných hodnot DW- koeficientu se pohybuje v rozmezí < 0 , 4 >, přičemž obě krajní hodnoty signalizují maximální možnou korelovanost dvou následujících reziduálních hodnot. Pro případ DW @ 0 jde o kladnou autokorelaci 1.řádu, v případě DW @ 4 o zápornou autokorelaci, zatímco prostřední hodnota DW @ 2 signalizuje nepřítomnost autokorelace 1.řádu. Poznámka 1 Po umocnění výrazu v čitateli vzorce pro DW vidíme, že a) při nepřítomnosti autokorelace reziduí bude skalární součin vektorů a blízký nule, takže zbytek čitatele bude přibližně rovný dvojnásobku jmenovatele b) při silné kladné autokorelaci bude tento skalární součin blízký a výraz bude přibližně roven součtu - c) konečně při silné záporné autokorelaci bude zmíněný skalární součin blízký a výrazy a budou přibližně stejné co do absolutní velikosti i co do znamének Vše platí za předpokladu, že rozdíl v počtu členů sumací (ve jmenovateli je o 1 člen více) nebude při dostatečně početném datovém vzorku podstatný. Poznámka 2 Zřetelná kladná autokorelace (1.řádu) je charakteristická delšími řetězci shodných znamének reziduálních hodnot ležícími střídavě nad a pod vyrovnávající regresní přímkou/nadrovinou. Silná záporná autokorelace (1.řádu) je naopak typická téměř pravidelným střídáním znamének reziduálních hodnot (tj. zřetelnou oscilací dvou po sobě jdoucích reziduálních hodnot kolem vyrovnávající regresní přímky/nadroviny). Nevýhodou Durbin-Watsonova koeficientu je však skutečnost, že empiricky získanou hodnotu DW nelze v úplnosti statisticky testovat (rozdělení testové statistiky závisí na prvcích matice , které jsou rozdílné pro každý statistický výběr). V důsledku toho obsahuje interval přípustných hodnot pro DW-koeficient < > dvě „hluché oblasti“, v nichž nelze rozhodnout, zda hypotéza o nepřítomnosti autokorelace 1. řádu bude zamítnuta ve prospěch některé z alternativ (kladná či záporná autokorelovanost). Tak v intervalu < > se zamítá hypotéza neautokorelovanosti ve prospěch alternativy: existence kladné autokorelace 1. řádu v intervalu < > nelze test rigorózně vyhodnotit v intervalu < > se nezamítá (přijímá) hypotéza neautokorelovanosti v intervalu < > nelze test rigorózně vyhodnotit v intervalu < > se zamítá hypotéza neautokorelovanosti ve prospěch alternativy: existence záporné autokorelace 1.řádu „Mezní“ hranice lze spočítat pro libovolný počet stupňů volnosti (T-k) a pro obvyklé hladiny významnosti ( =0,01 nebo 0,05). Příslušné hodnoty jsou tabelovány. Poznámka 3. DW test není přímo použitelný v případě testování sériové korelace vyšších řádů nebo při nelineární formě autokorelace náhodných složek. Některé modifikace k zmírnění problému v těchto situacích navrhli Nerlove, Wallis, Theil, Nagar a Geary. Postupy vedoucí k eliminaci autokorelovanosti náhodných složek B) COCHRANE-ORCUTTova procedura[3] kterou lze popsat tímto iterativním opakováním následujících tří fází B0) Předstupněm iteračního procesu je výpočet parametrů modelu v původní specifikaci obyčejnou metodou nejmenších čtverců OLS a následné stanovení vyrovnaných hodnot závisle proměnné a hodnot reziduí B1) Formulujeme autoregresní schéma 1. řádu pro rezidua ve tvaru (2) kde je příslušný bílý šum autoregresního procesu 1. řádu (jeho realizace jsou centrované, nekorelované, homoskedastické a stejně rozdělené náhodné veličiny). K zachování stacionarity procesu je, jak známo, nutné splnění podmínky . B2) Odhad koeficientu autokorelace 1. řádu získáme pomocí výrazu (3) při dodefinování hodnotou . B3) Takto získaný odhad se použije v modifikovaném regresním modelu. Modifikace je představována úpravou jednotlivých modelových proměnných pomocí metody zobecněných diferencí. V případě např. 3 vysvětlujících proměnných, kde první „vysvětlující“ proměnnou představuje vektor jedniček, má tento vztah podobu (pro ) (4) Nasazením metody OLS na takto modifikovaný model získáme upravený odhad vektoru parametrů . Tento odhad se dosadí do původního modelu a následně se spočtou (přes vyrovnané hodnoty) upravená rezidua . S těmi se vstoupí do druhého kroku iterační procedury představované opakováním fáze B1). Následuje opět sekvence operací B2) , B3) atd. Poté, co v průběžném r-tém kroku získáme odhady pro , porovnáme je s hodnotami veličin získanými v předchozím kroku. Jestliže rozdíly ve dvou po sobě jdoucích krocích nepřekročí předepsanou odchylku (stanovenou např. ve formě maxima z odchylek u jednotlivých parametrů anebo jako v absolutní hodnotě vzatý rozdíl odhadů autoregresního koeficientu 1.řádu tj. ), můžeme výsledky dosažené v daném iteračním kroku považovat za uspokojivé a příslušné odhady převzít jako konečné. Určitou podobnost s předchozím postupem vykazuje C) DURBINova dvoustupňová metoda[4] použitelná i v případě přítomnosti autokorelace vyšších řádů u náhodných složek C1) Model se nejprve – obdobně jako v kroku B3) předchozí metody – převede na tvar zobecněných diferencí (5) resp. po substitucích , , atd. a získá tvar (6) Odtud se pomocí metody OLS získá konzistentní odhad autoregresního koeficientu 1.řádu příslušejícího zpožděné hodnotě proměnné . C2) Tento odhad se dosadí do výchozího tvaru modelu (5)[5] a opětovným použitím OLS se získají zpřesněné odhady pro , pro , pro atd. s uspokojivými asymptotickými (tj. pro velký rozsah výběru T) vlastnostmi. Poznámka 3 Odhad parametru získávaný v prvním kroku procedury Durbinovy dvoustupňové metody se zde tedy neprování podle (3) jako v případě Cochran-Orcuttovy metody, ale regresí (6) s maticí vysvětlujících proměnných tvaru: = . + Z této regrese se použije pouze odhad parametru , zatímco ostatní se neuplatní; ty se potom získávají až následně krokem C2) z (5) s již dosazeným Poznámka 4 Nevýhodou tohoto postupu je však zřetelně zvýšený počet odhadovaných parametrů, který dosáhne počtu 2k-1 - ke každému původnímu (j=2,.., k) (tedy až na ) přísluší nyní dvojice parametrů z nichž jeden je „původní“ a druhý vznikne násobením hodnotou . V případě relativně malého počtu pozorování ve srovnání s počtem vysvětlujících proměnných regresní rovnice není tedy tento postup příliš vhodný. Nevýhodu spojenou s oblastmi nerozhodnutelnosti testování závisejícími na u Durbin-Watsonova koeficientu odstraňuje podobně konstruovaná míra známá jako D) von Neumannův koeficient (podíl)[6] autokorelace reziduí Tato míra je definována vztahem (7) Lze ukázat, že jsou-li náhodné složky , a tedy i rezidua normálně rozdělena, pak pro dost velký počet pozorování T má statistika také přibližně normální rozdělení. Její střední hodnota a rozptyl jsou dány výrazy (7A) Kritické hodnoty -podílu jsou pro různá T a obvykle používané hladiny významnosti tabelovány. V situacích, kdy se mezi vysvětlujícími proměnnými objevují též zpožděné endogenní proměnné, není použití Durbin-Watsonova koeficientu vhodné. Rezidua získaná metodou OLS nejsou v tomto případě nezávisle rozdělena, dokonce ani tehdy ne, jsou-li nezávisle rozděleny náhodné složky . To snižuje přínos této statistiky při aplikaci v ekonometrických modelech . Příčinou toho, že DW-koeficient nedává při přítomnosti vysvětlujících zpožděných endogenních proměnných objektivní závěry, je skutečnost, že DW-koeficient se v tomto případě blíží ke 2 v důsledku výskytu právě těchto proměnných, nejen v důsledku přítomných (případně však i neautokorelovaných) náhodných složek. Poznámka 5 Z výrazu (7) je zřejmé, že mezi oběma charakteristikami platí Účinnějším indikátorem autokorelovanosti reziduí je v některých situacích E) Durbinova h-statistika autokorelace reziduí definována následovně (8) kde je odhad výběrového rozptylu odhadnutého regresního koeficientu u zpožděné endogenní proměnné . Při nulové hypotéze o sériové nezávislosti náhodných složek je h-statistika asymptoticky normálně rozdělena (s nulovou střední hodnotou a jedničkovým rozptylem) Lze ji testovat jako normální směrodatnou odchylku (alternativní hypotézou je přítomnost autokorelace 1. řádu). Omezenost jejího použití vyplývá z podmínky kladného jmenovatele . Zde je nutno uplatnit alternativní testovací postupy. Poznámka 5 V případě, že h-statistika není definována, doporučuje se (následně po provedení OLS-regrese) např. definovat regresní rovnici ve tvaru (9) Testování hypotézy se převede na testování statistické významnosti koeficientu v této regresi. F) Berenblut-Webbův test[7] je založen na statistice (10) kde jsou rezidua z regrese prvních diferencí na první diference vysvětlujících proměnných (bez konstanty) tj. z regrese (11) Jmenovatel (10) je obvyklý SSE, do kterého vstupují “původní rezidua” z OLS-regrese (12) Poznámka 6 Jen pro upřesnění značení: a . Jestliže původní rovnice obsahuje konstantu, můžeme užít tabulky pro D-W testovou statistiku pro posouzení hodnot B-W-statistiky . BW-statistika je navíc uplatnitelná, i když se vyskytne situace, kdy .[8] Jestliže je model homoskedastický a jsou-li náhodné složky regresní rovnice generovány autoregresním schématem 1.řádu, lze zapsat kovarianční matici náhodných složek v následující podobě: V této matici, jak patrno, jsou na hlavní diagonále samé jedničky a na „rovnoběžkách“ s touto hlavní diagonálou vždy příslušné mocniny , kde je rovno rozdílu indexů příslušného prvku od součtu indexů diagonálního prvku (ležícího na stejném řádku, resp. sloupci). Při takovémto schématu lze uplatnit zobecněnou metodu nejmenších čtverců GLS tak, že se transformace původních pozorování provede tak, že se k této transformaci použije matice ve tvaru Tato matice má nenulové prvky jen ve dvou řadách. jednou je hlavní diagonála, která má všechny prvky rovny 1 až na první prvek, jehož hodnota je , zatímco druhou nenulovou řadou je řada ležící bezprostředně pod hlavní diagonálou, která je obsazena prvky s hodnotami rovnými . Příslušná transformace se pak projeví tím způsobem, že pozorování jsou upravena do této podoby tzn. že j-tý sloupec matice je obsazen (vždy až na první prvek) „zobecněnými diferencemi“[9] ________________________________ [1] Příčinou je zejména.to, že v průřezových vzorcích jsou hodnoty jednotlivých případů/pozorování řazeny zpravidla nahodile, takže není sebemenší důvod usuzovat, že může existovat souvislost (která závisí na pořadí) mezi nimi (s jakoukoliv náhodnou záměnou pořadí pozorování by se tato souvislost musela nutně změnit). Hodnoty pozorování v časových řadách jsou naproti tomu – až na naprosté výjimky - řazeny chronologicky. [2] To je ovšem dost výjimečná situace. [3] Cochrane, D., Orcutt, G.H.: Application of Least-Squares Regressions to Relationships Containing Autorrelated Error Terms. JASA 44/1949 str.32-61. [4] Durbin,J.: Testing for Serial Correlation in Least-Squares Regression when Some of the Regressors are Lagged Dependent Variables. Econometrica 38/1970 str. 410-421. [5] Koeficient autoregrese se v tomto případě bere již jako známý. [6] von Neuman, John: Distribution of the Ratio of the Mean Square Successive Difference to the Variance. Annals of Mathematical Statistics 1941 s. 367-295 [7] Berenblut, I.,I., Webb, G.,I.: A New Test for Autocorrelated Errors in the Linear Regression Model. Journal of the Royal Statistical Society Vol.35/1973 s. 33-50. [8] Stacionaritu procesu, k jejímuž zajištění je tato podmínka nutná, zajišťuje zde uplatnění “diferencovaných” pravostranných proměnných. [9] Někdy se tento postup nazývá Prais-Winstenovou transformací.