Bodové a intervalové odhady parametrů a parametrických funkcí
Motivace
Vycházíme z náhodného výběru X1, ..., Xn z rozložení L(ϑ ), které závisí na parametru ϑ .
Množinu všech přípustných hodnot tohoto parametru označíme Ξ. Parametr ϑ neznáme a
chceme ho odhadnout pomocí daného náhodného výběru (případně chceme odhadnout nějakou
parametrickou funkci h(ϑ )).
Bodovým odhadem parametrické funkce h(ϑ) je statistika Tn = T(X1, ..., Xn), která nabývá
hodnot blízkých h(ϑ), ať je hodnota parametru ϑ jakákoliv. Existují různé metody, jak
konstruovat bodové odhady (např. metoda momentů či metoda maximální věrohodnosti) a také
různé typy bodových odhadů. Omezíme se na odhady nestranné, asymptoticky nestranné a
konzistentní.
Intervalovým odhadem parametrické funkce h(ϑ ) rozumíme interval (D, H), jehož meze jsou
statistiky D = D(X1, ..., Xn), H = H(X1, ..., Xn) a který s dostatečně velkou pravděpodobností
pokrývá h(ϑ ), ať je hodnota parametru ϑ jakákoliv.
Typy bodových odhadů
Nechť X1, ..., Xn je náhodný výběr z rozložení L(ϑ ), h(ϑ ) je parametrická funkce,
T, T1, T2, ... jsou statistiky.
a) Řekneme, že statistika T je nestranným odhadem parametrické funkce h(ϑ ), jestliže
:Ξ∈ϑ∀ E(T) = h(ϑ ).
(Význam nestrannosti spočívá v tom, že odhad T nesmí parametrickou funkci h(ϑ ) systematicky
nadhodnocovat ani podhodnocovat. Není-li tato podmínka splněna, jde o vychýlený odhad.)
b) Jsou-li T1, T2 nestranné odhady téže parametrické funkce h(ϑ ), pak řekneme, že T1 je lepší
odhad než T2, jestliže
:Ξ∈ϑ∀ D(T1) < D(T2).
c) Posloupnost { }∞
=1nnT se nazývá posloupnost asymptoticky nestranných odhadů parametrické
funkce h(ϑ ), jestliže
).(h)T(Elim: n
n
ϑ=Ξ∈ϑ∀
∞→
(Význam asymptotické nestrannosti spočívá v tom, že s rostoucím rozsahem výběru klesá
vychýlení odhadu.)
d) Posloupnost { }∞
=1nnT se nazývá posloupnost konzistentních odhadů parametrické funkce h(ϑ ),
jestliže
( ) .0)(hTPlim:0 n
n
=ε>ϑ−>ε∀Ξ∈ϑ∀
∞→
(Význam konzistence spočívá v tom, že s rostoucím rozsahem výběru klesá pravděpodobnost, že
odhad se bude realizovat daleko od parametrické funkce h(ϑ ).)
Lze dokázat, že z nestrannosti odhadu vyplývá jeho asymptotická nestrannost a z asymptotické
nestrannosti vyplývá konzistence, pokud posloupnost rozptylů odhadu konverguje k nule.
Věta o vlastnostech bodových odhadů odvozených z jednoho náhodného výběru
Nechť X1, ..., Xn je náhodný výběr z rozložení se střední hodnotou µ, rozptylem σ2
a distribuční
funkcí Φ(x), přičemž n ≥ 2. Označme Mn výběrový průměr, Sn
2
výběrový rozptyl a pro libovolné,
ale pevně dané Rx ∈ Fn(x) hodnotu výběrové distribuční funkce. Pak platí:
Mn je nestranným odhadem µ (tj. E(Mn) = µ) s rozptylem ( )
n
MD
2
n
σ
= ,
Sn
2
je nestranným odhadem σ2
(tj. E(Sn
2
) = σ2
), ať jsou hodnoty parametrů µ, σ2
jakékoli,
pro libovolné, ale pevně dané Rx ∈ je výběrová distribuční funkce Fn(x) nestranným odhadem
Φ(x) (tj. E(Fn(x)) = Φ(x)) s rozptylem D(Fn(x)) = Φ(x)(1- Φ(x))/n, ať je hodnota distribuční
funkce Φ(x) jakákoliv.
Posloupnost { }∞
=1nnM je posloupnost konzistentních odhadů µ.
{ }∞
=1n
2
nS je posloupnost konzistentních odhadů σ2
.
Pro libovolné, ale pevně dané Rx ∈ je { }∞
=1nn )x(F posloupnost konzistentních odhadů Φ(x).
Věta o vlastnostech bodových odhadů odvozených z r ≥2 nezávislých náhodných
výběrů
Nechť 1n111 X,,X K , ..., rrn1r X,,X K je r ≥ 2 stochasticky nezávislých náhodných výběrů
o rozsazích n1 ≥ 2, ..., np ≥ 2 z rozložení se středními hodnotami µ1, ..., µr a rozptylem σ2
.
Celkový rozsah je ∑=
=
r
1j
jnn . Nechť c1, ..., cr jsou reálné konstanty, aspoň jedna nenulová. Pak
lineární kombinace výběrových průměrů ∑=
r
1j
jjMc je nestranným odhadem lineární kombinace
středních hodnot ∑=
µ
r
1j
jjc , ať jsou střední hodnoty µ1, ..., µr jakékoli a vážený průměr výběrových
rozptylů
( )
rn
S1n
S
r
1j
2
jj
2
*
−
−
=
∑=
je nestranným odhadem rozptylu σ2
, ať je rozptyl σ2
jakýkoliv.
Věta o vlastnostech bodových odhadů odvozených z jednoho dvourozměrného
náhodného výběru
Nechť (X1,Y1), ..., (Xn,Yn) je náhodný výběr z dvourozměrného rozložení s kovariancí σ12 a
koeficientem korelace ρ. Pak pro libovolné hodnoty parametrů σ12 a ρ platí:
E(S12) = σ12,
E(R12) ≈ ρ (shoda je vyhovující pro n ≥ 30).
Znamená to, že výběrová kovariance S12 je nestranným odhadem kovariance σ12, avšak výběrový
koeficient korelace R12 je vychýleným odhadem koeficientu korelace ρ.
Pojem intervalu spolehlivosti
Nechť X1, ..., Xn je náhodný výběr z rozložení L(ϑ ),
h(ϑ ) je parametrická funkce,
α∈(0,1),
D = D(X1, ..., Xn), H = H(X1, ..., Xn) jsou statistiky.
a) Interval (D, H) se nazývá 100(1-α)% (oboustranný) interval spolehlivosti pro parametrickou
funkci h(ϑ ), jestliže: :Ξ∈ϑ∀ P(D < h(ϑ ) < H) ≥ 1-α.
b) Interval (D, ∞) se nazývá 100(1-α)% levostranný interval spolehlivosti pro parametrickou
funkci h(ϑ ), jestliže: :Ξ∈ϑ∀ P(D < h(ϑ )) ≥ 1-α.
c) Interval (-∞, H) se nazývá 100(1-α)% pravostranný interval spolehlivosti pro parametrickou
funkci h(ϑ ), jestliže: :Ξ∈ϑ∀ P(h( ϑ ) < H) ≥ 1-α.
Číslo α se nazývá riziko (zpravidla α = 0,05, méně často 0,1 či 0,01), číslo 1 – α se nazývá spo-
lehlivost.
Postup při konstrukci intervalu spolehlivosti
a) Vyjdeme ze statistiky V, která je nestranným bodovým odhadem parametrické funkce h(ϑ ).
b) Najdeme tzv. pivotovou statistiku W, která vznikne transformací statistiky V, je monotónní
funkcí h(ϑ ) a přitom její rozložení je známé a na h(ϑ ) nezávisí. Pomocí známého rozložení
pivotové statistiky W najdeme kvantily wα/2, w1-α/2, takže platí:
Ξ∈ϑ∀ : P(wα/2 < W < w1-α/2) ≥ 1 – α.
c) Nerovnost wα/2 < W < w1-α/2 převedeme ekvivalentními úpravami na nerovnost D < h(ϑ) < H.
d) Statistiky D, H nahradíme jejich číselnými realizacemi d, h a získáme tak 100(1-α)%
empirický interval spolehlivosti, o němž prohlásíme, že pokrývá h(ϑ ) s pravděpodobností aspoň
1 – α.
Tvrzení, že (d,h) pokrývá h(ϑ ) s pravděpodobností aspoň 1 – α je třeba chápat takto: jestliže
mnohonásobně nezávisle získáme realizace x1, ..., xn náhodného výběru X1, ..., Xn z rozložení
L(ϑ ) a pomocí každé této realizace sestrojíme 100(1-α)% empirický interval spolehlivosti pro
h(ϑ ), pak podíl počtu těch intervalů, které pokrývají h(ϑ ) k počtu všech sestrojených intervalů
bude přibližně 1 – α.
Ilustrace: Jestliže 100x nezávisle na sobě uskutečníme náhodný výběr z rozložení se střední
hodnotou µ a pokaždé sestrojíme 95% empirický interval spolehlivosti pro µ, pak přibližně
v 95-ti případech bude ležet parametr µ v intervalech spolehlivosti a asi v 5-ti případech interval
spolehlivosti µ nepokryje.
Volba oboustranného, levostranného, nebo pravostranného intervalu: závisí na konkrétní situaci.
Např. oboustranný interval spolehlivosti použije konstruktér, kterého zajímá dolní i horní hranice
pro skutečnou délku µ nějaké součástky.
Levostranný interval spolehlivosti použije výkupčí drahých kovů, který potřebuje znát dolní mez
pro skutečný obsah zlata µ v kupovaném slitku.
Pravostranný interval spolehlivosti použije chemik, který potřebuje znát horní mez pro obsah
nečistot µ v analyzovaném vzorku.
Příklad: Nechť X1, ..., Xn je náhodný výběr z N(µ,σ2
), kde n ≥ 2 a rozptyl σ2
známe. Sestrojte
100(1-α)% interval spolehlivosti pro neznámou střední hodnotu µ.
Řešení:
V tomto případě parametrická funkce h(ϑ) = µ. Nestranným odhadem střední hodnoty je
výběrový průměr ∑=
=
n
1i
iX
n
1
M . Protože M je lineární kombinací normálně rozložených
náhodných veličin, bude mít také normální rozložení se střední hodnotou E(M) = µ a rozptylem
( )
n
MD
2
σ
= .
Pivotovou statistikou W bude standardizovaná náhodná veličina
n
M
U
σ
µ−
=
~ N(0,1).
Kvantil wα/2 = uα/2 = -u1-α/2, w1-α/2 = u1-α/2.
Ξ∈ϑ∀ :
( ) 




 σ
+<µ<
σ
−=












<
σ
µ−
<−=<<−≤α− α−α−α−α−α−α− 2/12/12/12/12/12/1 u
n
Mu
n
MPu
n
M
uPuUuP1
Meze 100(1-α)% intervalu spolehlivosti pro střední hodnotu µ při známém rozptylu σ2
tedy jsou:
2/1u
n
MD α−
σ
−= , 2/1u
n
MH α−
σ
+= .
Při konstrukci jednostranných intervalů spolehlivosti se riziko nepůlí, tedy 100(1-α)%
levostranný interval spolehlivosti pro µ je






∞
σ
− α− ,u
n
M 1
a pravostranný je





 σ
+∞− α−1u
n
M, .
Dosadíme-li do vzorců pro dolní a horní mez číselnou realizaci m výběrového průměru M,
dostaneme 100(1-α)% empirický interval spolehlivosti.
Příklad: 10 krát nezávisle na sobě byla změřena jistá konstanta µ. Výsledky měření byly:
2 1,8 2,1 2,4 1,9 2,1 2 1,8 2,3 2,2.
Výsledky považujeme za číselné realizace náhodného výběru X1, ..., X10 z rozložení N(µ, σ2
),
kde µ neznáme a σ2
= 0,04. Najděte 95% empirický interval spolehlivosti pro µ, a to
a) oboustranný,
b) levostranný,
c) pravostranný.
Řešení:
Vypočteme realizaci výběrového průměru: m = 2,06. Riziko α je 0,05. V tabulkách najdeme
kvantil u0,975 = 1,96 pro oboustranný interval spolehlivosti a kvantil u0,95 = 1,64 pro jednostranné
intervaly spolehlivosti.
ad a) d = m -
n
σ
u1-α/2 = 2,06 -
10
2,0
1,96 = 1,94
h = m +
n
σ
u1-α/2 = 2,06 +
10
2,0
1,96 = 2,18
1,94 < µ < 2,18 s pravděpodobností aspoň 0,95.
ad b) d = m -
n
σ
u1-α = 2,06 -
10
2,0
1,64 = 1,96
1,96 < µ s pravděpodobností aspoň 0,95.
ad c) h = m +
n
σ
u1-α = 2,06 +
10
2,0
1,64 = 2,16
µ < 2,16 s pravděpodobností aspoň 0,95.
Šířka intervalu spolehlivosti
Nechť (d, h) je 100(1-α)% empirický interval spolehlivosti pro h(ϑ ) zkonstruovaný pomocí
číselných realizací x1, ..., xn náhodného výběru X1, ..., Xn z rozložení L(ϑ ).
a) Při konstantním riziku klesá šířka h-d s rostoucím rozsahem náhodného výběru.
b) Při konstantním rozsahu náhodného výběru klesá šířka h-d s rostoucím rizikem.
Ilustrace:
0 10 20 30 40 50 60 70 80 90
Prom1
-1,0
-0,8
-0,6
-0,4
-0,2
0,0
0,2
0,4
0,6
0,8
1,0
Závislost dolní a horní meze
na rozsahu výběru
(při konstantním riziku)
0,00 0,02 0,04 0,06 0,08 0,10 0,12 0,14 0,16 0,18 0,20 0,22
Prom1
-0,6
-0,4
-0,2
0,0
0,2
0,4
0,6
Závislost dolní a horní meze
na riziku
(při konstantním rozsahu výběru)
Příklad: (stanovení minimálního rozsahu výběru z normálního rozložení)
Nechť X1, ..., Xn je náhodný výběr z N(µ, σ2
), kde σ2
známe. Jaký musí být minimální rozsah
výběru n, aby šířka 100(1-α)% empirického intervalu spolehlivosti pro střední hodnotu µ
nepřesáhla číslo ∆?
Řešení: Požadujeme, aby ∆ ≥ h – d = 2/12/12/1 u
n
2
)u
n
m(u
n
m α−α−α−
σ
=
σ
−−
σ
+ . Z této
podmínky dostaneme, že 2
2
2/1
2
u4
n
∆
σ
≥ α−
. Za rozsah výběru zvolíme nejmenší přirozené číslo
vyhovující této podmínce.
Příklad: Hloubka moře se měří přístrojem, jehož systematická chyba je nulová a náhodné chyby
měření mají normální rozložení se směrodatnou odchylkou σ = 1 m. Kolik měření je nutno
provést, aby se hloubka stanovila s chybou nejvýše ± 0,25 m při spolehlivosti 0,95?
Řešení: Hledáme rozsah výběru tak, aby šířka 95% intervalu spolehlivosti pro střední hodnotu µ
nepřesáhla 0,5 m. Přitom σ známe. Z předešlého příkladu vyplývá, že
4656,61
5,0
96,14u4
n 2
2
2
2
2/1
2
=
⋅
=
∆
σ
≥ α−
. Nejmenší počet měření je tedy 62.
Metody hledání bodových odhadů parametrů
Motivace
Nechť X1, ..., Xn je náhodný výběr z rozložení L(ϑ ), které závisí na parametru ϑ . Parametr ϑ
může být obecně vektorový. Úkolem je najít statistiku T = T(X1, ..., Xn), která nabývá hodnot
blízkých parametru ϑ resp. parametrické funkci h(ϑ ), ať je hodnota parametru ϑ jakákoliv.
Seznámíme se se dvěma metodami hledání bodových odhadů, a to metodou maximální
věrohodnosti a metodou momentů.
Definice maximálně věrohodného odhadu
Nechť X1, ..., Xn je náhodný výběr z diskrétního rozložení (je popsáno pravděpodobnostní funkcí
π(x; ϑ ) resp. ze spojitého rozložení (je popsáno hustotou φ(x; ϑ )).
Simultánní pravděpodobnostní funkce resp. simultánní hustota náhodného vektoru (X1, ..., Xn) je
π(x1; ϑ )… π(xn; ϑ ) resp. φ(x1; ϑ )… φ(xn; ϑ ). Pro pevně dané x = (x1, ..., xn) zavedeme
věrohodnostní funkci ( ) ( )∏=
ϑπ=ϑ
n
1i
in1 ;xx,,x;L K v diskrétním případě resp.
( ) ( )∏=
ϑϕ=ϑ
n
1i
in1 ;xx,,x;L K ve spojitém případě.
Statistika ( )Xϑˆ , která má tu vlastnost, že pro ( ) ( )n1n1 x,,x;Lx,,x;ˆL: KK ϑ≥ϑΞ∈ϑ∀ , se
nazývá maximálně věrohodný odhad parametru ϑ .
(Kvůli pohodlnějšímu počítání místo věrohodnostní funkce ( )n1 x,,x;L Kϑ používáme
logaritmickou funkci věrohodnosti ( )n1 x,,x;Lln Kϑ . Často se také používá zkrácený zápis L(ϑ )
nebo lnL(ϑ ). Pozor – neplést s označením rozložení!)
Definice věrohodnostních rovnic
Nechť X1, ..., Xn je náhodný výběr z rozložení, které závisí na vektorovém parametru
( )k1 ,, ϑϑ=ϑ K . Logaritmickou funkci věrohodnosti ( )k1 ,,Lln ϑϑ K parciálně derivujeme podle
k1 ,, ϑϑ K a derivace položíme rovny 0:
( ) k,,1r,0
,,Lln
r
k1
K
K
==
ϑ∂
ϑϑ∂
Dostaneme systém věrohodnostních rovnic. Jeho řešením je maximálně věrohodný odhad
parametru ( )k1 ,, ϑϑ=ϑ K : ( ) ( ) ( )( )XXX k1
ˆ,,ˆˆ ϑϑ=ϑ K
Příklad: (Maximálně věrohodný odhad v diskrétním skalárním případě)
Nechť X1, ..., Xn je náhodný výběr z alternativního rozložení ( )ϑA . Metodou maximální
věrohodnosti najděte odhad parametru ϑ .
Řešení: X ~ ( )ϑA => π(x) =


 =ϑ−ϑ −
jinak0
10,xpro)1( x1x
Věrohodnostní funkce: ( ) ( ) ( ) ∑ϑ−
∑
ϑ=ϑ−ϑ=ϑ =
=
−−
=
Π
n
1i
i
n
1i
i
ii
xn
x
x1x
n
1i
11L pro xi = 0, 1, = 0 jinak.
Logaritmická funkce věrohodnosti: ( ) ( )ϑ−





−+⋅ϑ=ϑ ∑∑ ==
1lnxnxlnLln
n
1i
i
n
1i
i
Věrohodnostní rovnice:
( ) ( )
∑∑∑∑
∑∑
∑∑
====
==
==
=ϑ⇒=ϑ+ϑ−ϑ−⇒
⇒=





−ϑ−ϑ−⇒=
ϑ−
−
−
ϑ
=
ϑ
ϑ
n
1i
i
n
1i
i
n
1i
i
n
1i
i
n
1i
i
n
1i
i
n
1i
i
n
1i
i
x
n
1ˆ0xnxx
0xnx10
1
xnx
d
Llnd
Maximálně věrohodným odhadem parametru ϑ alternativního rozložení ( )ϑA je tedy statistika
( ) Mˆ =ϑ X , tj. výběrový průměr.
Příklad: (Maximálně věrohodný odhad ve spojitém vektorovém případě)
Nechť X1, ..., Xn je náhodný výběr z normálního rozložení N(µ, σ2
). Metodou maximální
věrohodnosti najděte odhad vektorového parametru ϑϑϑϑ= (µ, σ2
).
Řešení: X ~ N(µ, σ2
) => φ(x) =
2
2
2
)-x(
e
2
1 σ
µ
−
πσ .
Věrohodnostní funkce:
( ) ( )
( )
( )
( )
∑
πσ
=
πσ
=σµϕ=ϑ = σ
µ−
−
σ
µ−
−
==
ΠΠ
n
1i
2
2
i
2
n
2
i
2
x
2
xn
1i
i
n
1i
e
2
1
e
2
1
,;xL
.
Logaritmická funkce věrohodnosti: ( ) ( ) ( )
∑= σ
µ−
−πσ−=ϑ
n
1i
2
2
i2
2
x
2ln
2
n
Lln .
Věrohodnostní rovnice:
( ) ( )
( ) ( ) 0x
2
1
2
nLln
0x
1Lln
n
1i
2
i42
n
1i
i2
=µ−
σ
+
σ
−=
σ∂
ϑ∂
=µ−
σ
=
µ∂
ϑ∂
∑
∑
=
=
Z první rovnice
( ) ( ) 0x
1Lln n
1i
i2
=µ−
σ
=
µ∂
ϑ∂
∑=
plyne ∑∑ ==
=µ⇒=µ−
n
1i
i
n
1i
i x
n
1
ˆ0nx .
Maximálně věrohodným odhadem parametru µ je tedy statistika ( ) MX
n
1
ˆ
n
1i
i ==µ ∑=
X ,
tj. výběrový průměr.
Z druhé rovnice
( ) ( ) 0x
2
1
2
nLln n
1i
2
i42
=µ−
σ
+
σ
−=
σ∂
ϑ∂
∑=
plyne ( ) 0xn
n
1i
2
i
2
=µ−+σ− ∑=
.
Za µ dosadíme odhad mx
n
1
ˆ
n
1i
i ==µ ∑=
a získáme ( )∑=
−=σ
n
1i
2
i
2
mx
n
1
ˆ .
Maximálně věrohodným odhadem parametru σ2
je tedy statistika ( ) ( )∑=
−=σ
n
1i
2
i
2
MX
n
1
ˆ X .
Definice momentového odhadu
Nechť X1, ..., Xn je náhodný výběr z rozložení, které závisí na vektorovém parametru
( )k1 ,, ϑϑ=ϑ K , Ξ∈ϑ∀ . Předpokládáme, že existuje prvních k počátečních momentů
( )r
r XE'=µ , r = 1, …, k daného rozložení.
Označme ∑=
=
n
1i
r
ir X
n
1
'M výběrové počáteční momenty, r = 1, …, k.
Statistika ( ) ( ) ( )( )XXX k1
ˆ,,ˆˆ ϑϑ=ϑ K , která je řešením systému momentových rovnic 'M' rr =µ ,
r = 1, …, k, se nazývá momentový odhad parametru ( )k1 ,, ϑϑ=ϑ K .
Příklad: Nechť X1, ..., Xn je náhodný výběr z geometrického rozložení Ge(ϑ ). Metodou
momentů najděte odhad parametru ϑ .
Řešení: X ~ Ge(ϑ ) => π(x) =


 =ϑϑ−
jinak0
1,0,xpro)1( x
K
.
Lze odvodit, že ( )
ϑ
ϑ−
=
1
XE .
Momentová rovnice:
'
1
'
1 M=µ , tj. ( )
M1
1ˆM1M
1
+
=ϑ⇒ϑ=ϑ−⇒=
ϑ
ϑ−
X .