Pokročilé metody v jednoduché lineární regresi
Test adekvátnosti regresního modelu
Hodnoty veličiny Y jsou roztříděny do r ≥ 3 skupin podle variant x[1], ..., x[r] veličiny X.
Označme ni počet pozorování v i-té skupině, i = 1, …, r, přičemž aspoň jedna skupina má více
než jedno pozorování. Budeme předpokládat, že každá skupina hodnot má normální
rozložení a že všechny skupiny mají týž rozptyl.
Všech pozorování je n.
Průměr hodnot v i-té skupině označme Mi a průměr všech hodnot označme M.
Charakter závislosti Y na X popíšeme regresní funkcí ( )p10
,,,;xm βββ K .
Budeme testovat hypotézu, zda je tato regresní funkce vhodným modelem pro naše data.
Při testování budeme potřebovat tyto součty čtverců:
celkový součet čtverců ( )∑∑
= =
−=
r
1i
n
1j
2
ijT
i
MYS ,
skupinový součet čtverců ( )∑
=
−=
r
1i
2
iiA MMnS ,
regresní součet čtverců ( )∑
=
−=
r
1i
2
iiiR MyˆnS .
Testová statistika:
( ) ( )
( ) ( )rn/SS
1pr/SS
F
AT
RA
−−
−−−
= se řídí rozložením F(r-p-1, n-r), jestliže H0 platí.
Kritický obor: W = <F1-α (r-p-1, n-r), ∞)
F ∈ W => na hladině významnosti α zamítáme hypotézu, že funkce ( )p10 ,,,;xm βββ K je
vhodným regresním modelem závislosti Y na X.
Těsnost závislosti Y na X vyjádřenou skupinovými průměry měří poměr determinace
P2
= SA/ST.
Nabývá hodnot z intervalu <0,1>. Čím je poměr determinace bližší jedné, tím je závislost
silnější, čím je bližší nule, tím je závislost slabší.
Příklad: Máme k dispozici údaje o cenách 23 náhodně vybraných domů (veličina Y –
v tisících $) a počtu jejich pokojů (veličina X) v jednom americkém městě.
počet pokojů cena
5 155,168,180
6 166,172,179,190,200
7 210,215,218,225,230,245
8 213,225,240,247,249
9 267,275,290,298
Závislost ceny domu na počtu pokojů popište regresní přímkou.
Na hladině významnosti 0,05 testujte hypotézu, že přímka je vhodným regresním modelem pro
tato data.
Těsnost závislosti vyjádřete poměrem determinace.
Znázorněte data s proloženou regresní přímkou.
Řešení: MNČ odhadneme parametry regresní přímky. Má tvar y = 17,2885 + 28,5851 x.
Vypočítáme regresní součet čtverců: ( )∑
=
−=
r
1i
2
iiiR
MyˆnS = 30907,9041,
celkový součet čtverců: ( )∑∑
= =
−=
r
1i
n
1j
2
ijT
i
MYS = 35870,6087,
skupinový součet čtverců: ( )∑
=
−=
r
1i
2
iiA MMnS = 32474,1087.
Testová statistika:
( ) ( )
( ) ( )rn/SS
1pr/SS
F
AT
RA
−−
−−−
= =
( ) ( )
( ) ( )
768,2
523/1087,324746087,35870
25/9041,309071087,32474
=
−−
−−
Stanovíme kritický obor W = <F1-α (r-p-1, n-r), ∞) = <F0,95 (3, 18), ∞) = <3,161, ∞).
Jelikož F∉W, nezamítáme na hladině významnosti 0,05 hypotézu, že přímka je vhodným
regresním modelem.
Poměr determinace: P2
= SA/ST = 32474,1087/35870,6087 = 0,9053,
tedy závislost ceny domu na počtu pokojů je v daném datovém souboru značně silná.
Znázorníme data s proloženou regresní přímkou.
4,5 5,0 5,5 6,0 6,5 7,0 7,5 8,0 8,5 9,0 9,5
X
140
160
180
200
220
240
260
280
300
320
Y
Řešení v systému STATISTICA:
Vytvoříme nový datový soubor se dvěma proměnnými X a Y a 23 případy:
1
X
2
Y
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
5 155
5 168
5 180
6 166
6 172
6 179
6 190
6 200
7 210
7 215
7 218
7 225
7 230
7 245
8 213
8 225
8 240
8 247
8 249
9 267
9 275
9 290
9 298
Odhadneme parametry regresní přímky:
Výsledky regrese se závislou proměnnou : Y (ceny_bytu.sta)
R= ,92825096 R2= ,86164984 Upravené R2= ,85506173
F(1,21)=130,79 p<,00000 Směrod. chyba odhadu : 15,373
N=23
Beta Sm.chyba
beta
B Sm.chyba
B
t(21) Úroveň p
Abs.člen
X
17,28851 18,00156 0,96039 0,347788
0,928251 0,081167 28,58506 2,49950 11,43629 0,000000
Cena = 17,28851 + 28,5806*počet pokojů
Sestavíme tabulku ANOVA:
Vrátíme se do Výsledky – vícenásobná regrese – Detailní výsledky – ANOVA.
Analýza rozptylu (ceny_bytu.sta)
Efekt
Součet
čtverců
sv Průměr
čtverců
F Úroveň p
Regres.
Rezid.
Celk.
30907,90 1 30907,90 130,7888 0,000000
4962,70 21 236,32
35870,61
Vidíme, že SR = 30907,9, ST = 35870,61
Provedeme jednofaktorovou analýzu rozptylu, abychom získali skupinový součet čtverců:
Statistiky – Základní statistiky a tabulky – Rozklad & jednofakt. ANOVA – OK – Proměnné – Závislé – Y, Grupovací - X –
OK – OK – Analýza rozptylu.
Analýza rozptylu (ceny_bytu.sta)
Označ. efekty jsou význ. na hlad. p < ,05000
Proměnná
SČ
efekt
SV
efekt
PČ
efekt
SČ
chyba
SV
chyba
PČ
chyba
F p
Y 32474,11 4 8118,527 3396,500 18 188,6944 43,02473 0,000000
Zde najdeme SA = 32474,11.
Vypočteme testovou statistiku
( ) ( )
( ) ( )
( ) ( )
( ) ( )
768,2
523/1087,324746087,35870
25/9041,309071087,32474
rn/SS
1pr/SS
F
AT
RA
=
−−
−−
=
−−
−−−
=
a najdeme kritický obor W = <3,161, ∞). Jelikož F∉W, nezamítáme na hladině významnosti 0,05 hypotézu, že přímka je
vhodným regresním modelem.
Test adekvátnosti modelu pomocí Obecných regresních modelů
Zadáme data a použijeme cestu:
Statistiky – Pokročilé lineární/nelineární modely – Obecné regresní modely – Jednorozměrná regrese - OK – na záložce
Možnosti zaškrtneme Kvalita proložení – OK – Závislá Y, Spoj. nezáv. prom. X – OK – Více výsledků – Celkové R – ve
stromové struktuře vlevo vybereme Test kvality modelu.
Test kvality modelu (ceny_bytu.sta)
Závislá
Proměnná
SČ
Rezidua
sv
Rezidua
PČ
Rezidua
SČ
Chyba
sv
Chyba
PČ
Chyba
SČ Kvali
proložen
SV Kvali
proložen
PČ Kvali
proložen
ta
F
p
Y 4962,705 21 236,3193 3396,500 18 188,6944 1566,205 3 522,0682 2,766739 0,071737
Čitatel testové statistiky F je roven 1566,205 a je uveden ve sloupci Kvalita proložení.
Jmenovatel testové statistiky F je roven 3396,5 a je uveden ve sloupci SČ Chyba.
Hodnota testové statistiky je 2,767 a odpovídající p-hodnota je 0,0717. Na hladině významnosti 0,05 tedy nemůžeme
zamítnout hypotézu, že přímka je vhodným modelem k popisu závislosti ceny domu na počtu pokojů.
Problém autokorelovaných reziduí a jeho odstranění
Předpokládejme, že náhodná odchylka iε je lineárně závislá na předešlé náhodné odchylce 1i−ε , tj. jde o autokorelaci
1. řádu (v praxi nejčastější případ):
i1ii u+ρε=ε − , i = 2, …, n (ui je náhodná odchylka od modelu lineární závislosti a ρ je koeficient korelace dvou
sousedních náhodných odchylek iε , 1i−ε ).
Předpoklad o existenci autokorelace 1. řádu můžeme ověřit pomocí Durbinova – Watsonova testu, který je založen na
Durbinově – Watsonově statistice:
( )
∑
∑
=
−
=
−
−
= n
2i
2
1i
n
2i
2
1ii
e
ee
D .
Tato statistika nabývá hodnot z intervalu 4,0 a má střední hodnotu 2. Nízké hodnoty statistiky D znamenají, že sousední
rezidua jsou spíše podobná, což svědčí ve prospech kladné autokorelace. Naopak, vysoké hodnoty statistiky D jsou
způsobeny negativní autokorelací, avšak s tou se v praxi příliš často nesetkáváme.
Pro dané α, daný počet pozorování n a daný počet p regresních parametrů – bez konstanty (v případě regresní přímky
p = 1) jsou tabelovány kritické hodnoty ( ) ( )αα UL d,d .
Testujeme-li na hladině významnosti α existenci pozitivní autokorelace, pak při ( )( )2,dD U
α∈ se nezamítá H0 a při
( )( )α∈ L
d,0D se přijímá H1.
Je-li ( ) ( )α≤≤α UL
dDd , pak nelze přijmout žádné rozhodnutí (říkáme, že test mlčí).
Testujeme-li na hladině významnosti α existenci negativní autokorelace, pak při ( )( )α−∈ U
d4,2D se nezamítá H0 a při
( )( )4,d4D L
α−∈ se přijímá H1.
Je-li ( ) ( )α−≤≤α− LU
d4Dd4 , pak nelze učinit žádné rozhodnutí.
Prokážeme-li na dané hladině významnosti α existenci autokorelace 1. řádu, měli bychom ji eliminovat.
Nejprve odhadneme koeficient korelace ρ:
∑
∑
=
−
=
−
=ρ n
2i
2
1i
n
2i
1ii
e
ee
ˆ .
Pak už můžeme vypočítat odhady náhodných odchylek (tj. rezidua) v autokorelaci: 1iii eˆeuˆ −ρ−= , i = 2, …, n.
Získané odhady iuˆ přičteme k predikovaným hodnotám iyˆ získaným z regresního modelu a znovu provedeme regresní
analýzu, kde roli závisle proměnné veličiny bude hrát součet ii uˆyˆ + .
Postup v systému STATISTICA
(Použijeme data z příkladu o závislosti tržeb na počtu zákazníků.)
Rezidua z modelu ε+β+β+β= 2
210
xxY jsou uložena v proměnné Rezidua. Pro tato rezidua je hodnota D-W
statistiky D = 0,702506 a kritické hodnoty pro α = 0,05, n = 20, p = 2 jsou: dL = 1,1, dU = 1,54. Protože D < dL, zamítáme na
hladině významnosti 0,05 hypotézu o nekorelovanosti reziduí ve prospěch alternativy o pozitivní autokorelaci 1. řádu.
Získání odhadů reziduí v autokorelaci: 1iii eˆeuˆ −ρ−= , i = 2, …, n:
Statistiky – Pokročilé lineární/nelineární modely – Časové řady/predikce – Proměnné Rezidua – ARIMA & autokorelační
funkce – v Parametrech modelu ARIMA zvolíme p-Autoregresní 1 – OK (Zahájit odhady parametrů) – Souhrn: Odhady
parametrů.
Vstup: REZIDUA (Tabulka39)
Transformace: žádná
Model:(1,0,0) PČ Rezid. = ,64920
Paramet.
Param. Asympt.
SmCh
Asympt.
t( 19)
p Dolní
95% spol
Horní
95% spol
p(1) 0,599248 0,189523 3,161883 0,005134 0,202573 0,995924
Uložíme rezidua z autokoreace: Přehled & rezidua – Přehled reziduí. Vzniklou proměnnou okopírujeme do původního
datového souboru a k tomuto datovému souboru přidáme ještě proměnnou s predikovanými hodnotami z parabolického
modelu. Do nové proměnné nazvané nove y uložíme součet reziduí a predikovaných hodnot. Pak znovu provedeme regresní
analýzu:
Výsledky regrese se závislou proměnnou : nove y (prodejna_software.sta)
R= ,96958525 R2= ,94009556 Upravené R2= ,93304798
F(2,17)=133,39 p<,00000 Směrod. chyba odhadu : ,84933
N=20
b* Sm.chyba
z b*
b Sm.chyba
z b
t(17) p-hodn.
Abs.člen
x
xkv
-20,1238 2,696857 -7,46194 0,000001
4,58359 0,453331 1,5323 0,151549 10,11091 0,000000
-3,78264 0,453331 -0,0169 0,002027 -8,34410 0,000000
Nová regresní parabola má tvar: y = -20,1238 + 1,5323x - 0,0169x2
.
Porovnáme výslednou tabulku regrese s původní tabulkou:
Výsledky regrese se závislou proměnnou : y (prodejna_software.sta)
R= ,95519276 R2= ,91239322 Upravené R2= ,90208653
F(2,17)=88,524 p<,00000 Směrod. chyba odhadu : 1,0623
N=20
b* Sm.chyba
z b*
b Sm.chyba
z b
t(17) p-hodn.
Abs.člen
x
xkv
-20,7723 3,373256 -6,15792 0,000011
4,52641 0,548220 1,5651 0,189559 8,25655 0,000000
-3,73838 0,548220 -0,0173 0,002535 -6,81912 0,000003
Získali jsme vyšší hodnotu testové statistiky F (a tedy i vyšší adjustovaný index determinace) a menší směrodatné chyby
odhadů regresních parametrů (tudíž také vyšší hodnoty testových statistik pro dílčí t-testy).
Nyní prozkoumáme chování reziduí v novém regresním modelu pomocí Durbinovy – Watsonovy statistiky:
Durbin-
Watson.d
Sériové
korelace
Odhad 1,356630 0,256281
Hodnota D-W statistiky D = 1,35663 a kritické hodnoty pro α = 0,05, n = 20, p = 2 jsou: dL = 1,1, dU = 1,54.
Protože dL ≤ D ≤ dU, nelze přijmout žádné rozhodnutí.
Pokud celý postup zopakujeme ještě jednou, dostaneme hodnotu D-W statistiky 1,6885. Nyní je D > dU, tudíž nelze
zamítnout hypotézu, že rezidua nejsou kladně korelovaná.
Parametry výsledného modelu jsou:
Výsledky regrese se závislou proměnnou : nove y2 (Tabulka12)
R= ,97136268 R2= ,94354546 Upravené R2= ,93690375
F(2,17)=142,06 p<,00000 Směrod. chyba odhadu : ,82061
N=20
b* Sm.chyba
z b*
b Sm.chyba
z b
t(17) p-hodn.
Abs.člen
x
xkv
-19,7523 2,605683 -7,58046 0,000001
4,53932 0,440084 1,5103 0,146425 10,31467 0,000000
-3,73197 0,440084 -0,0166 0,001958 -8,48013 0,000000
Regresní parabola má tedy rovnici: y = -19,7523 + 1,5103x - 0,0166x2
.
Linearizující transformace
Odhad parametrů regresních funkcí, které nejsou lineární z hlediska parametrů, se neprovádí metodou nejmenších čtverců
přímo, protože její použití vede k soustavě nelineárních rovnic. V některých speciálních případech však nelineární regresní
funkci můžeme vhodnou transformací převést na lineární.
Např. máme exponenciální regresní funkci
x
10y ββ= . Provedeme logaritmickou transformaci ln y = ln β0 + x ln β1 ,
čímž získáme regresní funkci lineární v parametrech. Parametry ln β0 a ln β1 odhadneme metodou nejmenších čtverců a
odlogaritmováním získáme odhady původních regresních koeficientů β0, β1.
Přehled linearizujících transformací
Funkce Linearizující transformace
x
10y ββ= ln y = ln β0 + x ln β1
1
xy 0
β
β= ln y = ln β0 + β1 ln x
1
x
y 0
β
β
= ln y = ln β0 - β1 ln x
x
1
y
10 β+β
= x
y
1
10 β+β=
Příklad: Hotelová společnost vlastnící 12 hotelů analyzuje vztah mezi celkovými měsíčními tržbami (veličina Y) a
tržbami vyprodukovanými stravovacími úseky (veličina X).
č. h. 1 2 3 4 5 6 7 8 9 10 11 12
x 2,0 1,2 14,8 8,3 8,4 3,0 4,8 15,6 16,1 11,5 14,2 14,0
y 12,0 8,0 76,4 17,0 21,3 10,0 12,5 97,3 88,0 25,0 38,6 47,3
Popište tuto závislost exponenciální regresní funkcí
x
10y ββ= . Najděte odhady parametrů β0, β1 a vypočtěte
predikovanou hodnotu celkových měsíčních tržeb pro x = 10.
Řešení: Provedeme logaritmickou transformaci ln y = ln β0 + x ln β1. Metodou nejmenších čtverců získáme odhady
ln b0 = 1,8559, ln b1 = 0,1504.
Odlogaritmováním dostaneme b0 = 6,3973, b1 = 1,1623. Predikovaná hodnota y pro x = 10 je 6,3973.1,162310
= 28,7859.
Řešení v systému STATISTICA:
Vytvoříme datový soubor se dvěma proměnnými a 12 případy:
1
Y
2
X
1
2
3
4
5
6
7
8
9
10
11
12
12 2
8 1,2
76,4 14,8
17 8,3
21,3 8,4
10 3
12,5 4,8
97,3 15,6
88 16,1
25 11,5
38,6 14,2
47,3 14
Přidáme novou proměnnou ln y. Do jejího Dlouhého jména napíšeme =log(y).
Pak provedeme regresní analýzu se závisle proměnnou ln y a nezávisle proměnnou X:
Výsledky regrese se závislou proměnnou : ln y (hotely.sta)
R= ,95851605 R2= ,91875303 Upravené R2= ,91062833
F(1,10)=113,08 p<,00000 Směrod. chyba odhadu : ,26364
N=12
Beta Sm.chyba
beta
B Sm.chyba
B
t(10) Úroveň p
Abs.člen
X
1,855881 0,154338 12,02480 0,000000
0,958516 0,090137 0,150428 0,014146 10,63398 0,000001
K výsledné tabulce přidáme novou proměnnou b, do jejíhož Dlouhého jména napíšeme =exp(B).
Výsledky regrese se závislou proměnnou : ln y (hotely.sta)
R= ,95851605 R2= ,91875303 Upravené R2= ,91062833
F(1,10)=113,08 p<,00000 Směrod. chyba odhadu : ,26364
N=12
Beta Sm.chyba
beta
B Sm.chyba
B
t(10) Úroveň p b
=exp(B)
Abs.člen
X
1,855881 0,154338 12,02480 0,000000 6,397333
0,958516 0,090137 0,150428 0,014146 10,63398 0,000001 1,162332
Model má tedy tvar: y = 6,397333.1,162332x
.
Získání predikované hodnoty pro x = 10:
Vrátíme se do Výsledky – vícenásobná regrese – na záložce Rezidua/předpoklady/předpovědi vybereme Předpověď závisle
proměnné – X = 10 – OK. K výsledné tabulce přidáme proměnnou predikce a do jejího Dlouhého jména napíšeme =exp(v3).
Předpovězené hodnoty (hotely.sta)
proměnné: ln y
Proměnná
b-váha Hodnota b-váha
* Hodnot
predikce
=exp(v3)
X
Abs. člen
Předpověď
-95,0%LS
+95,0%LS
0,150428 10,00000 1,504281 4,500918
1,855881 6,397333
3,360163 28,79387
3,189835 24,28441
3,530490 34,14071
Vidíme, že predikovaná hodnota je 28,79.
Vytvoříme ještě dvourozměrný tečkový diagram s proloženou exponenciálou. Na záložce Rezidua/předpoklady/předpovědi
vybereme reziduální analýza – Uložit – Uložit rezidua & předpovědi – vybereme X, Y – OK.
Ve vzniklé tabulce odstraníme proměnné č. 5 až 10 a proměnnou rezidua přejmenujeme na Predikce. Do Dlouhého jména
této proměnné napíšeme =exp(v3).
Tento datový soubor uspořádáme podle velikosti hodnot proměnné X: Data - Setřídit – Proměnná X – OK.
hotely.sta
1
Y
2
X
3
Předpovědi
4
Predikce
1
1
3
4
5
6
7
8
9
10
11
12
8 1,2 2,04 7,66
12 2 2,16 8,64
10 3 2,31 10,05
12,5 4,8 2,58 13,17
17 8,3 3,10 22,30
21,3 8,4 3,12 22,63
25 11,5 3,59 36,08
47,3 14 3,96 52,56
38,6 14,2 3,99 54,16
76,4 14,8 4,08 59,28
97,3 15,6 4,20 66,86
88 16,1 4,28 72,08
Vytvoření grafu:
Grafy – Bodové grafy – zaškrtneme Vícenásobný – Proměnné X: X, Y: Y, Predikce – OK. Ve vytvořeném grafu pak
vypneme zobrazování značek pro Predikce a naopak zapneme Spojnici.
Bodový graf z více proměnných proti X
Tabulka4 4v*12c
Y
Predikce
0 2 4 6 8 10 12 14 16 18
X
0
10
20
30
40
50
60
70
80
90
100
110
Provedení regresní analýzy pomocí modulu Jednoduchá nelineární regrese
Pro data z předešlého příkladu najdeme odhady parametrů modelu
x
10y ββ= pomocí modulu Jednoduchá nelineární
regrese.
Statistiky - Pokročilé lineární/nelineární odhady - Jednoduchá nelineární regrese – Proměnné X, Y – OK – OK – zaškrtneme
LN(X) – OK – Proměnné – Závislé LN-V1, Nezávislé X – OK. Dostaneme stejnou tabulku jako předešlým postupem a
výsledné hodnoty odhadů regresních parametrů získáme exponenciální transformací.
Získání odhadů parametrů modelu
x
10y ββ= pomocí Bodových grafů
Grafy – Bodové grafy – Proměnné X, Y – OK – na záložce Detaily zaškrtneme Proložení Exponenciální – OK.
Bodový graf z Y proti X
hotely.sta 3v*12c
Y = 6,3973*exp(0,1504*x)
0 2 4 6 8 10 12 14 16 18
X
0
10
20
30
40
50
60
70
80
90
100
110
Y
V záhlaví grafu je uvedena regresní rovnice y = 6,3973*exp(0,1504*x), tedy
b0 = 6,3973, b1 = e0,1504
= 1,1623.
Kritické hodnoty Durbinova-Watsonova testu pro autokorelaci 1. řádu pro α = 0,05, rozsah výběru n a počet regresorů p
(bez konstant)
p=1 p=2 p=3 p=4 p=5
n dL dU dL dU dL dU dL dU dL dU
15 1,08 1,36 0,95 1,54 0,82 1,75 0,69 1,97 0,56 2,21
20 1,20 1,41 1,10 1,54 1,00 1,68 0,90 1,83 0,79 1,99
30 1,35 1,49 1,28 1,57 1,21 1,65 1,14 1,74 1,07 1,83
40 1,44 1,54 1,39 1,60 1,34 1,66 1,29 1,72 1,23 1,79
60 1,55 1,62 1,51 1,65 1,48 1,69 1,44 1,73 1,41 1,77
80 1,61 1,66 1,59 1,69 1,56 1,72 1,53 1,74 1,51 1,77
100 1,65 1,69 1,63 1,72 1,61 1,74 1,59 1,76 1,57 1,78