Osnova přednášky Jednoduchá lineární regrese
1. Motivace
2. Specifikace klasického modelu lineární regrese
2.1. Základní pojmy
2.2. Označení
2.3. Význam jednotlivých typů součtů čtverců
2.4. Maticový zápis klasického modelu lineární regrese
2.5. Odhad regresních parametrů metodou nejmenších čtverců
3. Statistická inference v klasickém modelu lineární regrese
3.1. Intervaly spolehlivosti pro regresní parametry
3.2. Celkový F-test
3.3. Dílčí t-testy
3.4. Interval spolehlivosti pro teoretickou regresní funkci
3.5. Predikční interval spolehlivosti
4. Kritéria pro posouzení vhodnosti zvolené regresní funkce
4.1. Index determinace
4.2. Testové kritérium celkového F-testu
4.3. Reziduální součet čtverců a reziduální rozptyl
4.4. Střední absolutní procentuální chyba predikce
5. Analýza reziduí
5.1. Požadavky kladené na rezidua
5.2. Ověřování požadavků kladených na rezidua
1. Motivace
Cíl regresní analýzy - popsat závislost hodnot veličiny Y na hodnotách veličiny X.
Nutnost vyřešení dvou problémů:
a) jaký typ funkce se použije k popisu dané závislosti;
b) jak se stanoví konkrétní parametry daného typu funkce?
Základy regresní analýzy položil kolem roku 1880 Francis Galon, anglický vědec, činný ve velmi mnoha
různých oborech: psychologii a antropologii, statistice, geografii a dalších. Byl to bratranec Charlese Darwi-
na.
ad a) Při určení typu funkce je třeba provést teoretický rozbor zkoumané závislosti. Ten může upozornit například na to, že
- s růstem hodnot veličiny X budou mít hodnoty veličiny Y tendenci monotónně růst či klesat,
- jde o závislost, kdy s růstem hodnot veličiny X dochází zpočátku k růstu hodnot veličiny Y, který je po dosažení určitého
maxima vystřídán poklesem,
- apod.
Vždy se snažíme o to aby regresní model byl jednoduchý, tj. aby neobsahoval příliš mnoho parametrů. Připadá-li v úvahu
více funkcí, posuzujeme jejich vhodnost pomocí různých kritérií – viz dále.
Není-li dostatek informací k provedení teoretického rozboru, snažíme se odhadnout typ funkce pomocí tečkových diagramů.
Zde se omezíme na funkce, které závisejí lineárně na parametrech p10 ,,, βββ K .
ad b) Odhady p10 b,,b,b K neznámých parametrů p10 ,,, βββ K získáme na základě dvourozměrného datového souboru










nn
11
yx
yx
KK
metodou nejmenších čtverců, tj. z podmínky, aby součet čtverců odchylek zjištěných a odhadnutých hodnot byl minimální.
Ilustrace metody nejmenších čtverců pro model přímky
2. Specifikace klasického modelu lineární regrese
2.1. Základní pojmy
Model má tvar ( ) ε+βββ= p10
,,,;xmY K , kde
( )p10
,,,;xm βββ K - teoretická regresní funkce
- lineárně závisí na neznámých regresních parametrech p10
,,, βββ K ,
- lineárně závisí na známých funkcích ( ) ( )xf,,xf p1 K , které již neobsahují neznámé parametry,
tj. ( ) ( )∑
=
β=βββ
p
0j
jjp10
xf,,,;xm K , přičemž ( ) 1xf0 ≡ . Jde o deterministickou složku modelu.
Složka ε - náhodná složka modelu:
- je to náhodná odchylka od deterministické závislosti Y na X,
- popisuje závislost vysvětlované proměnné na neznámých nebo nepozorovaných proměnných a popisuje i
vliv náhody,
- nelze ji funkčně vyjádřit.
Veličina Y - závisle proměnná (též vysvětlovaná) veličina.
Veličina X - nezávisle proměnná (též vysvětlující) veličina.
Pořídíme n dvojic pozorování ( ) ( )nn11 y,x,,y,x K , tj. dvourozměrný datový soubor










nn
11
yx
yx
KK .
Pro i = 1, ..., n platí: ( ) ip10ii
,,,;xmy ε+βββ= K .
O náhodných odchylkách n1 ,, εε K předpokládáme, že
a) ( ) 0E i =ε (odchylky nejsou systematické)
b) ( ) 0D 2
i >σ=ε (všechna pozorování jsou prováděna s touž přesností)
c) ( ) 0,C ji
=εε pro ji ≠ (mezi náhodnými odchylkami neexistuje žádný lineární vztah)
d) iε ~ ( )2
,0N σ .
V tomto případě hovoříme o klasickém modelu lineární regrese.
2.2. Označení
p10 b,,b,b K - odhady regresních parametrů p10 ,,, βββ K (nejčastěji je získáme metodou nejmenších
čtverců, tj. z podmínky, že výraz ( )
2
n
1i
p
0j
ijji
xfy∑ ∑
= =





 β− nabývá svého minima pro βj = bj, j = 0, 1, …, p)
( )p0 b,,b;xmˆ K - empirická regresní funkce
( ) ( )∑
=
==
p
0j
ijjp0ii xfbb,,b;xmˆyˆ K - regresní odhad i-té hodnoty veličiny Y (i-tá predikovaná hodnota
veličiny Y)
iii
yˆye −= - i-té reziduum
( )∑
=
−=
n
1i
2
iiE yˆyS - reziduální součet čtverců
1pn
S
s E2
−−
= - odhad rozptylu σ2
(reziduální rozptyl)
( )∑
=
−=
n
1i
2
2iR
myˆS - regresní součet čtverců ( ∑
=
=
n
1i
i2
y
n
1
m )
( )∑
=
−=
n
1i
2
2iT myS - celkový součet čtverců ( ERT
SSS += )
2.3 Význam jednotlivých typů součtů čtverců
Předpokládejme, že máme dvourozměrný datový soubor, v němž průměr hodnot závisle proměnné veličiny Y je 9 a závislost
veličiny Y na veličině X je popsána regresní přímkou y = 2x + 3. Dvourozměrný tečkový diagram obsahuje bod o souřadnicích
(5, 19), který pochází z datového souboru. Na regresní přímce leží bod o souřadnicích (5, 13).
Odchylka zjištěné hodnoty 19 od průměru 9 je v obrázku označena „Total deviation“ a po umocnění je to jedna ze složek
celkového součtu čtverců ST, tj. složka 2i my − .
Odchylka zjištěné hodnoty 19 od hodnoty 13 na regresní přímce je v obrázku označena „Unexplained deviation“ a po umocnění
je to jedna ze složek reziduálního součtu čtverců SE, tj. složka ii yˆy − .
Odchylka hodnoty 13 na regresní přímce od průměru 9 je v obrázku označena „Explained deviation“ a po umocnění je to
jedna ze složek regresního součtu čtverců SR, tj. složka 2i myˆ − .
2.4. Maticový zápis klasického modelu lineární regrese
( ) ( )
( ) ( ) 









ε
ε
+










β
β










=










n
1
p
0
npn1
1p11
n
1
xfxf1
xfxf1
y
y
KK
K
KKKK
K
K
, tj εXβy += , kde
( )'
n1 y,,y K=y - vektor pozorování závisle proměnné veličiny Y,
( ) ( )
( ) ( )









=
npn1
1p11
xfxf1
xfxf1
K
KKKK
K
X - regresní matice
(předpokládáme, že h(X) = p+1 < n)
β ( )'
p10
,,, βββ= K - vektor regresních parametrů,
ε ( )'
n1 ,, εε= K - vektor náhodných odchylek.
Podmínky (a) až (d) lze zkráceně zapsat ve tvaru ε ~ Nn(0, σ2
I).
Příklad
Sestrojte regresní matici X pro lineární regresní model
a) ii10i xy ε+β+β= , provedeme-li 4 měření,
b) i2i3
2
1i21i10i xlnxxy ε+β+β+β+β= , provedeme-li 5 měření.
Řešení:
ad a)












=
4
3
2
1
x1
x1
x1
x1
X , ad b)
















=
52
2
5151
42
2
4141
32
2
3131
22
2
2121
12
2
1111
xlnxx1
xlnxx1
xlnxx1
xlnxx1
xlnxx1
X
2.5. Odhad regresních parametrů metodou nejmenších čtverců
Maticově zapsaná metoda nejmenších čtverců ( )( ) min' →−− XβyXβy vede na rovnice
X’Xβ = X’y - systém normálních rovnic
b = (X’X)-1
X’ y – odhad vektoru β získaný metodou nejmenších čtverců
yˆ = Xb – vektor regresních odhadů (vektor predikce)
e = y - yˆ - vektor reziduí
Vlastnosti odhadu b = (X’X)-1
X’ y:
- odhad b je lineární, je to lineární kombinace pozorování y1, …, yn s maticí vah ( ) '1'
XXX
−
;
- odhad b je nestranný, neboť E(b) = β;
- odhad b má varianční matici var b = σ2
(X'X)
-1
;
- odhad b ~ Np+1(β, σ2
(X'X)-1) vzhledem k platnosti podmínky (d), tj i
ε ~ ( )2
,0N σ ;
- b = (X'X)
-1
X'y je nejlepší nestranný lineární odhad vektoru β.
3. Statistická inference v klasickém modelu lineární regrese
3.1. Intervaly spolehlivosti pro regresní parametry
jjb
vss j
= - směrodatná chyba odhadu bj, kde vjj je j-tý diagonální prvek matice (X'X)-1
.
Pro j = 0, 1, ..., p statistika
jb
jj
j
s
b
T
β−
= ~ ( )1pnt −− , tedy 100(1- α)% interval spolehlivosti
pro βj má meze: ( ) jb2/1j
s1pntb −−± α−
.
Pokud interval spolehlivosti neobsahuje nulu (tj. dolní i horní mez jsou současně záporné nebo
současně kladné), pak regresní parametr je s rizikem omylu 100α % významný.
Příklad:
V tabulce jsou výnosy technické cukrovky v tunách na ha od roku 2000 do roku 2015.
i rok výnos
1 2000 45,83
2 2001 45,41
3 2002 49,45
4 2003 45,20
5 2004 50,34
6 2005 53,31
7 2006 51,48
8 2007 53,25
9 2008 57,26
10 2009 57,91
11 2010 54,36
12 2011 66,84
13 2012 63,26
14 2013 60,00
15 2014 70,28
16 2015 59,38
Předpokládejte, že závislost výnosu cukrovky na roku lze vyjádřit regresní přímkou ε+β+β= xy 10 .
a) MNČ najděte odhady neznámých regresních parametrů β0, β1.
b) Sestrojte 95% intervaly spolehlivosti pro regresní parametry β0, β1.
Řešení:
Vytvoříme datový soubor se dvěma proměnnými rok, Y a 16 případy.
Bodový graf:
Bodový graf z Y proti rok
cukrovka_technicka.sta 2v*16c
Y = -2747,0113+1,3959*x
1998 2000 2002 2004 2006 2008 2010 2012 2014 2016
rok
44
46
48
50
52
54
56
58
60
62
64
66
68
70
72
Y
Získání odhadů b0, b1:
Statistiky – Vícerozměrná regrese – Závisle proměnná rok, nezávisle proměnné Y - OK – OK –
Výpočet: Výsledky regrese.
Výsledky regrese se závislou proměnnou : Y (cukrovka_technicka.sta)
R= ,88691578 R2= ,78661961 Upravené R2= ,77137815
F(1,14)=51,611 p<,00000 Směrod. chyba odhadu : 3,5828
N=16
b* Sm.chyba
z b*
b Sm.chyba
z b
t(14) p-hodn.
Abs.člen
rok
-2747,01 390,0644 -7,04246 0,000006
0,886916 0,123456 1,40 0,1943 7,18405 0,000005
Rovnice regresní přímky: y = -2747,01 + 1,4*rok
Výpočet mezí intervalu spolehlivosti:
K výstupní tabulce přidáme dvě nové proměnné DM, HM.
Do Dlouhého jméne proměnné DM napíšeme
=v3-v4*VStudent(0,975;14)
Do Dlouhého jméne proměnné HM napíšeme
=v3+v4*VStudent(0,975;14)
Výsledky regrese se závislou proměnnou : Y (cukrovka_technicka.sta)
R= ,88691578 R2= ,78661961 Upravené R2= ,77137815
F(1,14)=51,611 p<,00000 Směrod. chyba odhadu : 3,5828
N=16
b* Sm.chyba
z b*
b Sm.chyba
z b
t(14) p-hodn. DM
=v3-v4*V
HM
=v3+v4*V
Abs.člen
rok
-2747,01 390,0644 -7,04246 0,000006 -3583,6164 -1910,4063
0,886916 0,123456 1,40 0,1943 7,18405 0,000005 0,97914371 1,812621
S pravděpodobností 95 % se bude úsek β0 regresní přímky nacházet v intervalu
(-3583,62; -1910,41).
S pravděpodobností 95 % se bude směrnice β1 regresní přímky nacházet v intervalu
(0,9791; 1,8126).
3.2. Testování významnosti modelu jako celku (celkový F-test)
Na hladině významnosti α testujeme
H0: ( ) ( )′
=
′
ββ 0,,0,, p1
KK proti H1: ( ) ( )′
≠
′
ββ 0,,0,, p1
KK .
(Nulová hypotéza říká, že dostačující je model konstanty.)
Testová statistika:
( )1pnS
pS
F
E
R
−−
= má rozložení F(p, n-p-1), pokud H0 platí.
Kritický obor: ( ) )∞−−= α− ,1pn,pFW 1
.
⇒∈WF H0 zamítáme na hladině významnosti α.
Výsledky F-testu zapisujeme do tabulky analýzy rozptylu:
zdroj variability součet čtverců stupně volnosti podíl statistika F
model SR p SR/p
( )1pnS
pS
E
R
−−
reziduální SE n-p-1 SE/(n-p-1) celkový
ST n-1 - -
Příklad:
Majitelé prodejny počítačových her nechali své prodavače absolvovat kurz prodejních dovedností. Poté zjišťovali po dobu
20 dnů, kolik osob navštíví během otevírací doby prodejnu (proměnná X) a jaká je v tento den tržba (proměnná Y, udává se
v tisících Kč a je zaokrouhlená).
i 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
xi 20 21 26 27 28 29 30 31 32 34 35 37 38 39 42 44 48 49 51 54
yi 5 6 7 7 8 9 10 11 12 13 13 14 14 15 16 15 15 14 13 13
Dvourozměrný tečkový diagram
15 20 25 30 35 40 45 50 55 60
x
4
6
8
10
12
14
16
18
y
Z grafu závislosti Y na X vyplývá, že s rostoucím počtem zákazníků se tržby zvyšují, avšak při denním počtu zákazníků asi
42 dosahují svého maxima a pak už zase klesají (vyšší počet zákazníků obsluha prodejny nezvládá a zákazníci odcházejí,
aniž by nakoupili). Zdá se tedy, že vhodným modelem závislosti tržeb na počtu zákazníků bude regresní parabola
ε+β+β+β= 2
210 xxy .
Odhadněte parametry regresního modelu a proveďte celkový F-test.
Řešení:
Vytvoříme nový datový soubor se třemi proměnnými X, Xkv, Y a o 20 případech. Do proměnných X a Y napíšeme zjištěné
hodnoty a do Dlouhého jména proměnné Xkv napíšeme = X^2.
Získání odhadů b0, b1, b2:
Statistiky – Vícerozměrná regrese – Závisle proměnná rok, nezávisle proměnné Y - OK – OK – Výpočet: Výsledky regrese.
Výsledky regrese se závislou proměnnou : y (prodejna_software.sta)
R= ,95519276 R2= ,91239322 Upravené R2= ,90208653
F(2,17)=88,524 p<,00000 Směrod. chyba odhadu : 1,0623
N=20
b* Sm.chyba
z b*
b Sm.chyba
z b
t(17) p-hodn.
Abs.člen
x
xkv
-20,7723 3,373256 -6,15792 0,000011
4,52641 0,548220 1,5651 0,189559 8,25655 0,000000
-3,73838 0,548220 -0,0173 0,002535 -6,81912 0,000003
Regresní parabola má tedy tvar: y = -20,7723 + 1,5651x - 0,0173x2
.
Výsledky celkového F-testu jsou uvedeny v záhlaví výstupní tabulky. Testová statistika F nabývá hodnoty 88,524, odpovídající
p-hodnota je blízká 0, tedy na hladině významnosti 0,05 zamítáme hypotézu, že dostačující je model konstanty.
Podrobnější výsledky získáme v tabulce analýzy rozptylu:
Aktivujeme Výsledky–vícenásobná regrese – Detailní výsledky – ANOVA
Analýza rozptylu (prodejna_software.sta)
Efekt
Součet
čtverců
sv Průměr
čtverců
F p-hodn.
Regres.
Rezid.
Celk.
199,8141 2 99,90706 88,52445 0,000000
19,1859 17 1,12858
219,0000
Odhad rozptylu náhodných odchylek (reziduální rozptyl) je uveden na řádku Rezid., ve sloupci Průměr čtverců,
tedy s2
= 1,1286.
3.3. Testování významnosti regresních parametrů (dílčí t-testy)
Na hladině významnosti α pro j = 0,1, ..., p testujeme hypotézu
H0: βj = 0 proti H1: βj ≠ 0.
Testová statistika:
jb
j
j
s
b
T = má rozložení t(n-p-1), pokud H0 platí.
Kritický obor: ( ) ( ) )( ∞−−∪−−−∞−= α−α−
,1pnt1pnt,W 2/12/1
.
⇒∈WTj
H0 zamítáme na hladině významnosti α.
Příklad:
V předešlém příkladě, kde byla modelována závislost tržby na počtu zákazníků regresní parabolou, proveďte
dílčí t-testy o nevýznamnosti jednotlivých regresních parametrů
Řešení:
Stačí interpretovat výstupní tabulku vícenásobné regrese:
Výsledky regrese se závislou proměnnou : y (prodejna_software.sta)
R= ,95519276 R2= ,91239322 Upravené R2= ,90208653
F(2,17)=88,524 p<,00000 Směrod. chyba odhadu : 1,0623
N=20
b* Sm.chyba
z b*
b Sm.chyba
z b
t(17) p-hodn.
Abs.člen
x
xkv
-20,7723 3,373256 -6,15792 0,000011
4,52641 0,548220 1,5651 0,189559 8,25655 0,000000
-3,73838 0,548220 -0,0173 0,002535 -6,81912 0,000003
Sloupec označený t(17) obsahuje realizace testových statistik a sloupec p-hodn. pak odpovídající p-hodnoty.
Ve všech třech případech jsou p-hodnoty menší než 0,05, tedy na hladině významnosti 0,05 zamítáme hypotézy
o nevýznamnosti regresních parametrů β0, β1, β2.
Interpretace výsledků F-testu a t-testů
Mohou nastat tyto situace:
a) F-test je významný, všechny t-testy jsou významné => vhodný model
b) F-test je nevýznamný, všechny t-testy jsou nevýznamné => nevhodný model
c) F-test je významný, ale některé t-testy jsou nevýznamné => vypustíme odpovídající
vysvětlující proměnné
d) F-test je významný, ale všechny t-testy jsou nevýznamné => model formálně vyhovuje jako
celek, ale žádná vysvětlující proměnná není významná. Je to důsledek silného lineárního vztahu
mezi proměnnými (tzv. multikolinearita). Je nutné upravit nebo zcela změnit model.
3.4. Interval spolehlivosti pro teoretickou regresní funkci
V uvažovaném lineárním modelu ( ) ε+βββ= p100 ,,,;xmY K neboli ( )∑
=
ε+β=
p
0j
0jj xfY můžeme na základě
n dvojic pozorování (xi, yi), i = 1, …, n získat jak bodové, tak intervalové odhady neznámých regresních
parametrů β0, β1, …, βp.
Lze však spočítat též meze 100(1-α) % intervalu spolehlivosti pro teoretickou regresní funkci při zadané
hodnotě x0, tj. pro hodnotou ( ) ( )∑
=
β=βββ
p
0j
0jjp100 xf,,,;xm K .
100(1- α)% interval spolehlivosti pro ( )p100 ,,,;xm βββ K má meze
( ) ( ) 0
1
02/10 ''s1pnt' xXXxbx
−
α− −−± .
Při spojité změně argumentu x0 mezní hodnoty tohoto 100(1-α)% empirického intervalu spolehlivosti pro
teoretickou regresní funkci vytvoří 100(1-α)% pás spolehlivosti kolem regresní funkce.
Pás spolehlivosti je nejužší v bodě ∑=
=
n
1i
i1 x
n
1
m , směrem od tohoto bodu se na obě strany rozšiřuje.
Příklad: U automobilu Škoda 120 byla změřena spotřeba benzínu (v l/100 km) v závislosti na rychlosti (v km/h).
rychlost X 40 50 60 70 80 90 100 110
spotřeba Y 5,7 5,4 5,2 5,2 5,8 6,0 7,5 8,1
Vhodným modelem je regresní parabola
2
210
xxy β+β+β= . Odhadněte její parametry a najděte 95% pás spolehlivosti
kolem regresní funkce.
Řešení:
Výsledky regrese se závislou proměnnou : Y (spotreba.sta)
R= ,98403165 R2= ,96831829 Upravené R2= ,95564561
F(2,5)=76,410 p<,00018 Směrod. chyba odhadu : ,22973
N=8
b* Sm.chyba
z b*
b Sm.chyba
z b
t(5) p-hodn.
Abs.člen
X
Xkv
9,751786 0,945689 10,31183 0,000148
-3,38045 0,602292 -0,150536 0,026821 -5,61264 0,002483
4,22756 0,602292 0,001244 0,000177 7,01912 0,000905
Spotřeba = 9,751786 – 0,150536*rychlost + 0,001244*rychlost2
Získání 95% pásu spolehlivosti kolem regresní funkce: Grafy – Bodové grafy – Proměnné X, Y – OK – na záložce Detaily
zvolíme Proložení Polynomiální (implicitně je nastaveno na polynom 2. stupně, lze měnit na záložce Možnosti 2) –
zapneme Regresní pásy Spolehl. – OK.
Bodový graf z Y proti X
spotreba.sta 3v*8c
Y = 9,7518-0,1505*x+0,0012*x^2; 0,95 Int.spol.
30 40 50 60 70 80 90 100 110 120
X
4,0
4,5
5,0
5,5
6,0
6,5
7,0
7,5
8,0
8,5
Y
3.5. Predikční interval spolehlivosti
V případě, kdy chceme zkonstruovat 100(1- α)% interval spolehlivosti nikoli pro hodnotu regresní funkce, ale pro jednu
novou pozorovanou hodnotu závisle proměnné veličiny Y (tzv. predikční interval), dostaneme meze
( ) ( ) 0
1
02/10 ''1s1pnt' xXXxbx
−
α− +−−± .
Vidíme, že tento predikční interval je širší než předešlý interval spolehlivosti.
Je to interval, který nás informuje o tom, v jakém rozsahu můžeme očekávat jedno další pozorování s pravděpodobností
aspoň 1- α.
Při spojitě se měnícím x0 vytvoří meze tohoto predikčního intervalu spolehlivosti tzv. predikční pás spolehlivosti kolem
regresní funkce.
Příklad: Pro regresní parabolu z předešlého příkladu sestrojte 95% predikční pás spolehlivosti kolem regresní funkce.
Řešení: Grafy – Bodové grafy – Proměnné X, Y – OK – na záložce Detaily zvolíme Proložení Polynomiální (implicitně je
nastaveno na polynom 2. stupně) – zapneme Regresní pásy Predikce – OK.
Bodový graf z Y proti X
spotreba.sta 3v*8c
Y = 9,7518-0,1505*x+0,0012*x^2; 0,95 Int.před.
30 40 50 60 70 80 90 100 110 120
X
4,0
4,5
5,0
5,5
6,0
6,5
7,0
7,5
8,0
8,5
Y
Chceme-li mít v jednom obrázku zakresleny oba typy pásů, postupujeme takto: ve vytvořeném grafu 2x klikneme na pozadí
– vybereme Regresní pásy – Přidat nový pár pásů – OK.
4. Kritéria pro posouzení vhodnosti zvolené regresní funkce
4.1. Index determinace
T
E
T
R2
S
S
1
S
S
ID −== - index determinace ( 1ID0 2
≤≤ )
• udává, jakou část variability závisle proměnné veličiny Y lze vysvětlit zvolenou regresní
funkcí (často se udává v %);
• je zároveň mírou těsnosti závislosti proměnné Y na proměnné X;
• je to obecná míra, nezávislá na typu regresní funkce (lze použít i pro měření nelineární zá-
vislosti);
• je to míra, která nebere v úvahu počet parametrů regresní funkce. U regresních funkcí s více
parametry vychází tedy obvykle vyšší než u regresních funkcí s méně parametry;
• tato míra není symetrická.
Za vhodnější se považuje ta regresní funkce, pro niž je index determinace vyšší. V případě, že
porovnáváme několik modelů s rozdílným počtem parametrů, používáme adjustovaný index de-
terminace:
( )
1pn
pID1
IDID
2
22
adj
−−
−
−= - adjustovaný index determinace
V příkladu s prodejem software najdeme index determinace ve výstupní tabulce regrese:
Výsledky regrese se závislou proměnnou : y (prodejna_software.sta)
R= ,95519276 R2= ,91239322 Upravené R2= ,90208653
F(2,17)=88,524 p<,00000 Směrod. chyba odhadu : 1,0623
N=20
b* Sm.chyba
z b*
b Sm.chyba
z b
t(17) p-hodn.
Abs.člen
x
xkv
-20,7723 3,373256 -6,15792 0,000011
4,52641 0,548220 1,5651 0,189559 8,25655 0,000000
-3,73838 0,548220 -0,0173 0,002535 -6,81912 0,000003
Index determinace je zde označen jako R2, nabývá hodnoty 0,9124 a říká nám, že 91,24%
variability tržeb je vysvětleno regresní parabolou. Adjustovaný index determinace je označen
Upravené R2.
4.2. Testové kritérium celkového F-testu
Za vhodnější je považována ta regresní funkce, u níž je hodnota testové statistiky
( )1pnS
pS
F
E
R
−−
= pro test významnosti modelu jako celku vyšší.
Ve výstupní tabulce regrese je testová statistika F uvedena v záhlaví:
Výsledky regrese se závislou proměnnou : y (prodejna_software.sta)
R= ,95519276 R2= ,91239322 Upravené R2= ,90208653
F(2,17)=88,524 p<,00000 Směrod. chyba odhadu : 1,0623
N=20
b* Sm.chyba
z b*
b Sm.chyba
z b
t(17) p-hodn.
Abs.člen
x
xkv
-20,7723 3,373256 -6,15792 0,000011
4,52641 0,548220 1,5651 0,189559 8,25655 0,000000
-3,73838 0,548220 -0,0173 0,002535 -6,81912 0,000003
V našem příkladě je označena F(2,17) a nabývá hodnoty 88,524.
4.3. Reziduální součet čtverců a reziduální rozptyl
Reziduální součet čtverců: ( )∑
=
−=
n
1i
2
iiE
yˆyS
Za vhodnější považujeme funkci, která má reziduální součet čtverců nižší. Reziduální součet
čtverců lze použít pouze tehdy, když srovnáváme funkce se stejným počtem parametrů.
Reziduální rozptyl:
1pn
S
s E2
−−
=
Za vhodnější považujeme tu funkci, která má reziduální rozptyl nižší. Reziduální rozptyl můžeme
použít vždy, bez ohledu na to, kolik parametrů mají srovnávané regresní funkce.
Obě charakteristiky najdeme v tabulce ANOVA:
Analýza rozptylu (prodejna_software.sta)
Efekt
Součet
čtverců
sv Průměr
čtverců
F p-hodn.
Regres.
Rezid.
Celk.
199,8141 2 99,90706 88,52445 0,000000
19,1859 17 1,12858
219,0000
Reziduální součet čtverců je 19,1859 a reziduální rozptyl je 1,12858.
4.4. Střední absolutní procentuální chyba predikce (MAPE)
∑
=
−
=
n
1i
i
ii
y
yˆy
n
1
MAPE
Za vhodnější považujeme tu funkci, která má MAPE nižší.
Systém STATISTICA MAPE neposkytuje, tuto chybu musíme vypočítat. Postup ukážeme na
příkladě s prodejem software.
Statistiky – Vícerozměrná regrese – Závisle proměnná y, nezávisle proměnné x, xkv - OK – OK
– zvolíme Rezidua/předpoklady/předpovědi – Reziduální analýza – Uložit – Uložit rezidua &
předpovědi – vybereme proměnnou y - OK. K vzniklému datovému souboru přidáme jednu novou
proměnnou, nazveme ji chyba a do jejího Dlouhého jména napíšeme =100*abs((v1-v2)/v1)
Pomocí Statistiky – Základní statistiky/tabulky – Popisné statistiky zjistíme průměr proměnné
chyba. V našem případě je MAPE 9,31%.
5. Analýza reziduí
5.1. Požadavky kladené na rezidua
Rezidua považujeme za odhady náhodných odchylek a klademe na ně stejné požadavky jako na
náhodné odchylky, tj.
- mají být nezávislá,
- mají být normálně rozložená,
- mají mít nulovou střední hodnotu,
- mají mít konstantní rozptyl (tj. jsou homoskedastická).
5.2. Ověřování požadavků kladených na rezidua
Nezávislost reziduí (autokorelaci) posuzujeme např. pomocí Durbinovy – Watsonovy statistiky,
která by se měla nacházet v intervalu 6,2;4,1 (to je ovšem pouze orientační vodítko, korektní
postup spočívá v porovnání této statistiky s tabelovanou kritickou hodnotou).
Normalitu reziduí ověřujeme pomocí testů normality (např. Lilieforsovou variantou
Kolmogorovova – Smirnovova testu nebo Shapirovým – Wilkovým testem) či graficky pomocí
N-P plotu.
Testování nulovosti střední hodnoty reziduí provádíme pomocí jednovýběrového t-testu.
Homoskedasticitu reziduí posuzujeme pomocí grafu závislosti reziduí na predikovaných
hodnotách. V tomto grafu by rezidua měla být rovnoměrně rozptýlena.
Příklad: Proveďte analýzu reziduí pro příklad s modelováním závislosti tržby na počtu zákazníků.
Posouzení nezávislosti reziduí pomocí Durbinovy – Watsonovy statistiky:
Statistiky – Vícenásobná regrese – proměnná Závislá: y, nezávislá x, xkv – OK – na záložce Residua/předpoklady/předpovědi
vybereme Reziduální analýza - Detaily – Durbin-Watsonova statistika:
Durbin-
Watson.d
Sériové
korelace
Odhad 0,702506 0,599248
Hodnota této statistiky je nízká, svědčí o tom, že rezidua jsou kladně korelovaná.
Posouzení homoskedasticity reziduí
Reziduální analýza – Bodové grafy – Předpovědi vs. rezidua
Předpovězené hodnoty vs. rezidua
Závislá proměnná : y
2 4 6 8 10 12 14 16
Předpov. hodnoty
-2,5
-2,0
-1,5
-1,0
-0,5
0,0
0,5
1,0
1,5
2,0
Rezidua
0,95 Int.spol.
Je vidět, že rezidua nejsou kolem 0 rozmístěna náhodně. Model s regresní parabolou tedy není úplně vhodný.
Testování nulovosti střední hodnoty reziduí:
Pro proměnnou Rezidua z tabulky uložené pomocí Reziduální analýzy provedeme jednovýběrový t-test: Statistiky - Základní
statistiky/tabulky – t-test, samost. vzorek – OK – proměnné Rezidua – OK.
Proměnná
Průměr Sm.odch. N Sm.chyba Referenční
konstanta
t SV p
Rezidua -0,000000 1,004880 20 0,224698 0,00 -0,000000 19 1,000000
Na hladině významnosti 0,05 nezamítáme hypotézu, že střední hodnota reziduí je 0.
Posouzení normality reziduí:
Na záložce Pravděpodobnostní grafy zvolíme Normální pravděpodobnostní graf reziduí:
Normální p-graf z Rezidua
Tabulka1 9v*20c
-2,5 -2,0 -1,5 -1,0 -0,5 0,0 0,5 1,0 1,5 2,0
Pozorovaný kvantil
-2,0
-1,5
-1,0
-0,5
0,0
0,5
1,0
1,5
2,0
Oček.normál.hodnoty
Rezidua : SW-W = 0,9601; p = 0,5453
Rezidua se řadí kolem ideální přímky, lze tedy soudit, že se řídí normálním rozložením.
Závěr: V neprospěch regresní paraboly hovoří hodnota Durbinovy – Watsonovy statistiky a graf závislosti reziduí na predikovaných
hodnotách.