Přednášky
předmětu M5444 Markovské řetězce
Marie Budíková
2013
Poděkování
Tento učební text vznikl za přispění
Evropského sociálního fondu a státního rozpočtu ČR
prostřednictvím Operačního programu Vzdělávání pro konkurenceschopnost
v rámci projektu Univerzitní výuka matematiky v měnícím se světě
(CZ.1.07/2.2.00/15.0203).
1. Úvod do studia stochastických procesů
1.1. Motivace: V této kapitole
zavedeme pojem stochastického procesu,
naučíme se rozlišovat stochastický proces
s diskrétním časem a spojitým časem
a stochastický proces
s diskrétními stavy a spojitými stavy,
budeme definovat pravděpodobnostní rozložení stochastického procesu,
poznáme vlastnosti pravděpodobnostního rozložení stochastického procesu,
naučíme se klasifikovat stochastické procesy podle různých kritérií.
1.2. Definice: Definice stochastického procesu (SP)
Nechť ( )ΑΩ, je měřitelný prostor, R množina reálných čísel, ≠Τ ∅ neprázdná množina (nejčastěji jí přisuzujeme význam
času). Nechť zobrazení RT:X →×Ω má tyto dvě vlastnosti:
a) Tt ∈∀ je X(.,t) náhodná veličina vzhledem k jevovému poli A. Značí se Xt.
b) Ω∈ω∀ je X(ω,.) prvkem množiny všech reálných funkcí definovaných na T.
Zobrazení X s těmito dvěma vlastnostmi se nazývá stochastický proces definovaný na T. Značí se { }Tt;Xt ∈ .
1.3. Definice: Definice složky SP, realizace SP a realizace složky SP příslušné možnému výsledku
Nechť { }Tt;Xt ∈ je stochastický proces.
a) Pro libovolné, ale pevně dané Tt ∈ se náhodná veličina X(.,t) = Xt nazývá t-tá složka stochastického procesu.
b) Pro libovolné, ale pevně dané Ω∈ω se reálná funkce X(ω,.) nazývá realizace stochastického procesu příslušná
k možnému výsledku ω.
c) Pro libovolná, ale pevně daná Tt ∈ a Ω∈ω se číslo X(ω,t) nazývá realizace t-té složky stochastického procesu
příslušná k možnému výsledku ω.
1.4. Příklad: Vývoj hmotnosti novorozených dětí
Nechť Ω je množina novorozenců, ω novorozenec, )∞= ,0T časový interval počítaný od narození novorozence, t je časový
okamžik. Zavedeme stochastický proces { }Tt;Xt ∈ , který popisuje průběh hmotnosti kteréhokoliv náhodně vybraného
novorozence.
a) Xt = X(.,t) je náhodná veličina udávající hmotnost kteréhokoliv náhodně vybraného novorozence v okamžiku t (fixovaný
okamžik, libovolný novorozenec).
b) X(ω,.) je reálná funkce popisující průběh hmotnosti daného novorozence ω (libovolný okamžik, fixovaný novorozenec).
c) X(ω,t) je číselná realizace náhodné veličiny Xt příslušná k možnému výsledku ω, tj. konkrétní hmotnost daného
novorozence v daný časový okamžik (fixovaný okamžik, fixovaný novorozenec).
1.5. Definice: Definice časové řady a náhodné funkce
Nechť { }Tt;Xt ∈ je stochastický proces.
a) Je-li množina T spočetná a lineárně uspořádaná, tj. t0 < t1 < ..., jde o stochastický proces s diskrétním časem
(tj. o časovou řadu).
b) Je-li množina T interval, jde o stochastický proces se spojitým časem (tj. o náhodnou funkci).
1.6. Definice: Definice SP s diskrétními stavy a spojitými stavy
Nechť { }Tt;Xt ∈ je stochastický proces.
a) Jestliže pro Tt ∈∀ je náhodná veličina Xt diskrétní, jde o stochastický proces s diskrétními stavy.
b) Jestliže pro Tt ∈∀ je náhodná veličina Xt spojitá, jde o stochastický proces se spojitými stavy.
Množina všech hodnot, jichž může náhodná veličina Xt nabývat, se nazývá množina stavů a značí se J.
1.7. Příklad: Příklad stochastického procesu s diskrétním časem a diskrétními stavy:
Dva hráči, označme je A a B, dali do hry dohromady vklad 5 Kč, z toho hráč A 3 Kč a hráč B 2 Kč. Hráč A hází mincí.
Když padne líc, vyhraje 1 Kč, když rub, prohraje 1 Kč. Hra trvá tak dlouho, až je jeden z hráčů ruinován. Zavedeme
stochastický proces { }Tt;Xt ∈ , kde t = 1, 2, ... je pořadové číslo hodu mincí a Xt = j, když hráč A má po t-tém hodu j Kč,
tedy J = {0, 1, 2, 3, 4, 5}.
Např. pro posloupnost hodů {L, R, R, L, R , R, R} je odpovídající realizace stochastického procesu
x(t) = {4, 3, 2, 3, 2, 1, 0}.
Grafické znázornění:
-1 0 1 2 3 4 5 6 7 8
t
-1
0
1
2
3
4
5
x(t)
1.8. Příklad: Příklad stochastického procesu s diskrétním časem a spojitými stavy:
Po určité výrobní operaci měříme velikost opotřebení obráběcího nože. Nůž se po N výrobních operacích vymění.
Stochastický proces nabývá hodnot, které odpovídají opotřebení nože. Máme tedy stochastický proces { }Tt;Xt ∈ ,
kde T = {1, 2, ..., N} (t je pořadové číslo výrobní operace), JXt ∈ , kde { }ax0;RxJ ≤≤∈= , přičemž a je maximální
opotřebení obráběcího nože.
Grafické znázornění:
1.9. Příklad: Příklad stochastického procesu se spojitým časem a diskrétními stavy:
Sledujeme určité zařízení, které může být v každém okamžiku buď v provozu (stav 1) nebo v opravě (stav 0).
Zavedeme stochastický proces { }Tt;Xt ∈ , kde { }0t;tT ≥= , JXt ∈ , J = {0, 1}.
Grafické znázornění: Označme t1, t2, … okamžiky poruch, t1
’
, t2
‘
, … okamžiky oprav.
1.10. Příklad: Příklad stochastického procesu se spojitým časem a spojitými stavy:
Sledujeme šumové napětí na výstupu nějakého elektrického přístroje. Stochastický proces nabývá hodnot, které odpovídají
tomuto šumovému napětí. Zavedeme stochastický proces { }Tt;Xt ∈ , kde { }0t;tT ≥= , JXt ∈ , kde { }∞<<−∞= x;xJ .
Grafické znázornění:
1.11. Definice: Definice pravděpodobnostního rozložení SP
Nechť { }Tt;Xt ∈ je stochastický proces. Pro Tt ∈∀ lze pravděpodobnostní rozložení náhodné veličiny Xt popsat
distribuční funkcí: ).xX(P)x(:Rx tt ≤=Φ∈∀
(Tato distribuční funkce je obecně funkcí dvou proměnných t a x a popisuje jednorozměrné rozložení stochastického
procesu. Nepodává však úplný popis pravděpodobnostního chování stochastického procesu, protože neobsahuje informace o
závislostech náhodných veličin Xt při různých hodnotách t. Úplný popis pravděpodobnostního chování stochastického
procesu podává teprve systém distribučních funkcí.)
Nechť ( ) Tt,,t n1 ∈… je uspořádaná n-tice indexů, ( )n1 tt X,,X … je marginální vektor daného stochastického
procesu. Pro ( ) n
n1 Rx,,x ∈∀ … označme ( ) ( )nt1tn1tt xXxXPx,,x n1n1
≤∧∧≤=Φ ……… marginální
distribuční funkci náhodného vektoru ( )n1 tt X,,X … .
Systém ( ){ }Tt,,t,,2,1n;x,,xF n1n1ttT n1
∈=Φ= ………… se nazývá pravděpodobnostní rozložení
stochastického procesu { }Tt;Xt
∈ .
1.12. Věta: Věta o vlastnostech pravděpodobnostního rozložení SP
Nechť FT je pravděpodobnostní rozložení stochastického procesu { }Tt;Xt ∈ . Pak systém FT má tyto vlastnosti:
a) FT je symetrický systém distribučních funkcí, tj.
( ) ( ) ( )n1ni1in1 iittn1tt
n
n1n1 x,,xx,,x:Rx,,xTt,,tNn ………… …… Φ=Φ∈∀∈∀∈∀ , kde { }n1 i,,i …
je libovolná permutace množiny indexů { }n,,1 … .
b) FT je konzistentní systém distribučních funkcí, tj. je-li { } { } { }n,,1l,,kj,,i ……… =∪ disjunktní rozklad množiny
indexů { }n,,1 … , pak
( ) ( )n1tt
x
x
jitt x,,xlimx,,x n1
l
k
ji
…… …
⋮
… Φ=Φ
∞→
∞→ .
Důkaz: plyne z vlastností distribuční funkce.
1.13. Věta: Kolmogorovova věta
Každý systém distribučních funkcí, který je symetrický a konzistentní, je pravděpodobnostním rozložením nějakého
stochastického procesu.
1.14. Definice: Definice stochasticky ekvivalentních SP
Řekneme, že dva stochastické procesy jsou stochasticky ekvivalentní, mají-li stejné pravděpodobnostní rozložení.
1.15. Příklad: Odvození pravděpodobnostního rozložení SP
Nechť X je náhodná veličina s distribuční funkcí Ψ(x) a f(t) je reálná funkce taková, že
a) f(t) > 0 pro Tt ∈∀
b) f(t) < 0 pro Tt ∈∀ .
Pro Tt ∈∀ položme Xt = f(t)X. Odvoďte pravděpodobnostní rozložení stochastického procesu { }Tt;Xt ∈ .
Řešení:
ad a)
( ) ( ) ( )
.
)t(f
x
min
)t(f
x
minXP
)t(f
x
X
)t(f
x
XP
xX)t(fxX)t(fPxXxXPx,,x
i
i
ni1
i
i
ni1
n
n
1
1
nn11nt1tn1tt n1n1






Ψ=





≤=





≤∧∧≤=
=≤∧∧≤=≤∧∧≤=Φ
≤≤≤≤
…
…………
ad b)
( ) ( ) ( )
.
)t(f
x
maxXP
)t(f
x
max1
)t(f
x
maxXP
)t(f
x
maxXP1
)t(f
x
maxXP
)t(f
x
X
)t(f
x
XP
xX)t(fxX)t(fPxXxXPx,,x
i
i
ni1
i
i
ni1
i
i
ni1
i
i
ni1
i
i
ni1
n
n
1
1
nn11nt1tn1tt n1n1






=+





Ψ−=
=





=+





≤−=





≥=





≥∧∧≥=
=≤∧∧≤=≤∧∧≤=Φ
≤≤≤≤
≤≤≤≤≤≤
…
…………
Je-li X spojitá náhodná veličina, pak 





=
≤≤
)t(f
x
maxXP
i
i
ni1
= 0.
1.16. Poznámka: Dělení SP podle různých kritérií
a) Rozdělení stochastických procesů podle závislosti jejich pravděpodobnostního rozložení na čase
– striktně stacionární procesy (je pro ně charakteristická určitá stálost v čase): ( ) ( )n1hthtn1tt x,,xx,,x n1n1
…… …… ++Φ=Φ , kde h > 0
– evoluční procesy (mají výrazný časový trend)
b) Rozdělení stochastických procesů podle toho, zda k určení jejich pravděpodobnostního rozložení stačí znát pouze
dvourozměrné distribuční funkce či nikoliv:
– definitní procesy
– hereditní procesy
c) Rozdělení definitních procesů podle toho, zda jejich pravděpodobnostní rozložení závisí pouze na rozdílu časových
okamžiků, nikoliv na jejich umístění na časové ose
– homogenní procesy
– nehomogenní procesy.
2. Funkcionální charakteristiky stochastických procesů
2.1. Motivace: V této kapitole
zavedeme trend, rozptyl a směrodatnou odchylku stochastického procesu,
autokovarianční a autokorelační funkci stochastického procesu,
poznáme vlastnosti těchto funkcionálních charakteristik,
budeme definovat centrovaný a standardizovaný stochastický proces
slabě stacionární stochastický proces.
2.2. Definice: Definice střední hodnoty a rozptylu SP, definice centrovaného a standardizovaného SP
Nechť { }Tt;Xt ∈ je stochastický proces.
a) Jestliže pro Tt ∈∀ existuje střední hodnota ( )tXE , pak zavedeme reálnou funkci ( )tµ vztahem:
( ) ( )tXEt:Tt =µ∈∀ .
Tato funkce se nazývá střední hodnota (trend) SP. ( ( )tµ charakterizuje polohu realizací SP na časové ose.)
b) Jestliže pro Tt ∈∀ existuje rozptyl ( )tXD , pak zavedeme reálnou funkci ( )t2
σ vztahem:
( ) ( )t
2
XDt:Tt =σ∈∀ .
Tato funkce se nazývá rozptyl SP. Funkce ( ) ( )tt 2
σ=σ se nazývá směrodatná odchylka SP.
( ( )t2
σ charakterizuje variabilitu realizací stochastického procesu kolem trendu.)
c) Nechť stochastický proces má střední hodnotu ( )tµ a rozptyl ( )t2
σ , který je konečný a nenulový.
Transformovaný stochastický proces { }Tt;Yt ∈ , kde ( )tXY tt µ−= , se nazývá centrovaný SP.
Transformovaný stochastický proces { }Tt;Zt ∈ , kde
( )
( )t
tX
Z t
t
σ
µ−
= , se nazývá standardizovaný SP.
(Lze snadno ukázat, že centrovaný SP má nulovou střední hodnotu a rozptyl stejný jako původní SP. Standardizovaný SP
má nulovou střední hodnotu a jednotkový rozptyl.)
2.3. Příklad:
Nechť náhodná veličina X má střední hodnotu E(X) = 2 a rozptyl D(X) = 9.
Zavedeme SP { }Tt;Xt ∈ , kde Xt = X.cos ωt, ω > 0 je konstanta. Najděte střední hodnotu a rozptyl tohoto SP.
Řešení:
( ) ( ) ( ) ( ) tcos2XEtcostcosXEXEt t ω=⋅ω=ω⋅==µ
( ) ( ) ( ) ( ) tcos9XDtcostcosXDXDt 22
t
2
ω=⋅ω=ω⋅==σ
Např. pro ω = 1 dostaneme:
-2 0 2 4 6 8 10 12 14
t
-3
-2
-1
0
1
2
3
4
5
6
7
8
9
10
trend
-2 0 2 4 6 8 10 12 14
t
-3
-2
-1
0
1
2
3
4
5
6
7
8
9
10rozptyl
2.4. Poznámka: Další funkcionální charakteristiky stochastického procesu
Podobně jako u náhodných veličin lze pro stochastický proces zavést další momentové charakteristiky, např. šikmost a
špičatost. Všechny tyto charakteristiky, které vycházejí ze znalosti jednorozměrného rozložení stochastického procesu, však
nepostačují k popisu pravděpodobnostního chování stochastického procesu, protože neobsahují informace o závislostech
mezi složkami stochastického procesu.
2.5. Definice: Definice autokovarianční a autokorelační funkce SP
Nechť { }Tt;Xt ∈ je stochastický proces. Předpokládáme, že pro Tt ∈∀ existuje střední hodnota ( )tXE a ( ) ∞<
2
tXE .
a) Reálnou funkci ( )21 t,tγ dvou proměnných danou vztahem
( ) ( ) ( )[ ] ( )[ ]( )2t1ttt2121 tXtXEX,XCt,t:Tt,t 2121
µ−µ−==γ∈∀ nazveme autokovarianční funkcí
stochastického procesu.
b) Reálnou funkci ( )21 t,tρ dvou proměnných danou vztahem
( ) ( ) ( )
( ) ( )21
21
tt2121
tt
t,t
X,XRt,t:Tt,t 21
σσ
γ
==ρ∈∀ nazveme autokorelační funkcí stochastického procesu.
(Autokovarianční funkce je zobecněním varianční matice náhodného vektoru a autokorelační funkce je zobecněním
korelační matice náhodného vektoru. Tyto funkce obsahují informace o lineárních závislostech mezi složkami SP.)
2.6. Věta: Věta o vlastnostech autokovarianční funkce SP
Pro autokovarianční funkci stochastického procesu platí:
a) ( ) ( )tt,t:Tt 2
σ=γ∈∀
b) ( ) ( )122121 t,tt,t:Tt,t γ=γ∈∀
c) ( ) ( ) ( )212121 ttt,t:Tt,t σσ≤γ∈∀ (zobecněná Cauchyho – Schwarzova – Buňakovského nerovnost)
Důkaz: Plyne z vlastností kovariance.
2.7. Příklad:
Najděte autokovarianční a autokorelační funkci SP z příkladu 2.3. V tomto příkladu byl SP zaveden vztahem Xt = X.cos ωt,
přičemž E(X) = 2, D(X) = 9
Řešení:
( ) ( ) ( ) ( )
( ) 2121
2121tt21
tcostcos9XDtcostcos
X,XCtcostcostcosX,tcosXCX,XCt,t 21
ω⋅ω=⋅ω⋅ω=
=⋅ω⋅ω=ω⋅ω⋅==γ
( ) ( )
( ) ( )
1
tcos9tcos9
tcostcos9
tt
t,t
t,t
2
2
1
2
21
21
21
21 =
ωω
ω⋅ω
=
σσ
γ
=ρ
2.8. Věta: Věta o střední hodnotě a autokovarianční funkci transformovaného SP
Nechť { }Tt;Xt ∈ je stochastický proces se střední hodnotou ( )tXµ a autokovarianční funkcí ( )21X t,tγ . Nechť f(t) je
reálná funkce definovaná na T.
a) Zavedeme stochastický proces { }Tt;Yt ∈ , kde Yt = Xt + f(t). Pak platí:
( ) ( ) ( )tftt:Tt XY +µ=µ∈∀
( ) ( )21X21Y21 t,tt,t:Tt,t γ=γ∈∀
b) Zavedeme stochastický proces { }Tt;Yt ∈ , kde Yt = f(t) Xt. Pak platí:
( ) ( ) ( )ttft:Tt XY µ=µ∈∀
( ) ( ) ( ) ( )21X2121Y21 t,ttftft,t:Tt,t γ=γ∈∀
Důkaz: Plyne z vlastností střední hodnoty a kovariance.
2.9. Definice: Definice slabě stacionárního SP
Stochastický proces { }Tt;Xt ∈ se nazývá slabě stacionární, jestliže platí:
a) ( ) ct:Tt =µ∈∀ (trend je konstantní)
b) ( ) ∞<σ∈∀ t:Tt 2
(rozptyl je konečný)
c) ( ) ( )212121 t,tht,ht:0h,Tt,t γ=++γ>∀∈∀ (kovariance libovolných dvou složek SP závisí pouze na jejich vzdálenosti
na časové ose a nikoliv na jejich umístění na časové ose)
2.10. Poznámka: Vztah mezi striktní a slabou stacionaritou SP, zavedení autokovarianční funkce slabě
stacionárního SP
a) Je-li stochastický proces striktně stacionární, je i slabě stacionární.
b) Je-li stochastický proces slabě stacionární, pak pro ( ) ( )122121 tt,0t,t:Tt,t −γ=γ∈∀ . Znamená to, že
autokovarianční funkce závisí pouze na rozdílu argumentů t2 – t1 =: h. V tomto případě zavádíme funkci jedné proměnné,
kterou značíme rovněž symbolem γ , vztahem ( ) ( )h,0h:Th γ=γ∈∀ . Je to autokovarianční funkce slabě
stacionárního SP.
2.11. Věta: Věta o vlastnostech autokovarianční funkce slabě stacionárního SP
Autokovarianční funkce slabě stacionárního stochastického procesu má tyto vlastnosti:
a) ( ) ( ) 22
0t:Tt σ=γ=σ∈∀ (všechny složky SP mají týž rozptyl)
b) ( ) ( )hh:0h −γ=γ>∀ (autokovarianční funkce je sudá)
c) ( ) ( )0h:0h γ≤γ>∀
Důkaz: Důkaz vlastností a) , b) je triviální.
Ad c) Uvažme centrovaný slabě stacionární SP { }Tt;Xt ∈ (tj. pro ( ) 0t:Tt =µ∈∀ ). Pak
( ) ( ) ( ) ( )[ ] ( )2
t
2
t
2
tt
2
XEXEXEXDt =−==σ .
Dále ( ) ( ) ( ) ( )htthtt XXEX,XCht,th ++ ⋅==+γ=γ .
Počítáme
[ ]( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )[ ]h02hth2tXEXXE2XEXXE 222
hthtt
2
t
2
htt γ±γ=+σ+γ±σ=+±=± +++ .
Protože [ ]( ) 0XXE
2
htt ≥± + , plyne odtud, že ( ) ( )0h:0h γ≤γ>∀ .
2.12. Příklad:
Nechť Y, Z jsou standardizované náhodné veličiny (tj. E(Y) = 0, E(Z) = 0, D(Y) = 1, D(Z) = 1), které jsou stochasticky
nezávislé. Zavedeme SP { }Tt;Xt ∈ , kde Xt = Y.cos ωt + Z.sin ωt, ω > 0 je konstanta. Najděte střední hodnotu a rozptyl
tohoto SP a ukažte, že je slabě stacionární.
Řešení:
( ) ( ) ( ) ( ) ( ) 0ZEtsinYEtcostsinZtcosYEXEt t =⋅ω+⋅ω=ω⋅+ω⋅==µ
( ) ( ) ( ) ( ) ( ) 1tsintcosZDtsinYDtcostsinZtcosYDXDt 2222
t
2
=ω+ω=⋅ω+⋅ω=ω⋅+ω⋅==σ .
Aby byl SP slabě stacionární, musí mít konstantní střední hodnotu, konečný rozptyl a pro jeho autokovarianční funkci musí
platit γ(h) = γ(t, t+h). První dvě podmínky jsou splněny, ověříme třetí:
( ) ( ) ( ) ( )( )
( ) ( ) ( ) ( ) ( ) ( )
( ) ( )
( ) ( ) ( ) ( ) ( ) ( )
( )( ) ( ) ( ) ( )hhcoshcoshttcos
htsintsinhtcostcosZDhtsintsinYDhtcostcos
Z,ZChtsintsin
Z,YChtsintcosY,ZChtcostsinY,YChtcostcos
htsinZhtcosY,tsinZtcosYCX,XCht,t htt
γ==−=+−=
=+⋅++⋅=⋅+⋅+⋅+⋅=
=⋅+⋅+
+⋅+⋅+⋅+⋅+⋅+⋅=
=+⋅++⋅⋅+⋅==+γ +
2.13. Věta: Věta o vlastnostech autokorelační funkce slabě stacionárního SP
Pro autokorelační funkci slabě stacionárního SP platí:
( ) ( )
( )0
h
h:Th
γ
γ
=ρ∈∀ .
Důkaz:
( ) ( )
( ) ( )21
21
2121
tt
t,t
t,t:Tt,t
σσ
γ
=ρ∈∀ . Je-li SP slabě stacionární, pak ( ) ( ) ( ) ( ) ( )0tt,ht,t 2
2
1
2
21 γ=σ=σγ=γ , tedy ( ) ( )
( )0
h
h
γ
γ
=ρ .
2.14. Příklad:
Nechť je dán SP { }Tt;Xt ∈ , kde náhodné veličiny …,X,X 21 tt jsou stochasticky nezávislé a mají všechny stejnou distribuční
funkci Φ(x). Určete střední hodnotu, rozptyl a autokorelační funkci tohoto SP.
Řešení: Protože náhodné veličiny Xt, t∈T mají všechny stejnou distribuční funkci Φ(x), mají i stejnou střední hodnotu
( ) µ=tXE a stejný rozptyl ( ) 2
tXD σ= . Dále počítáme autokovarianční funkci ( ) ( )



≠
=σ
==γ
21
21
2
tt21
ttpro0
ttpro
X,XCt,t 21
. Jedná
se tedy o slabě stacionární SP. Nyní spočteme autokorelační funkci ( )
( )
( ) ( ) 


≠
=
=
σσ
γ
=ρ
ttpro0
ttpro1
tt
t,t
t,t
21
21
21
21
21
. Znamená to, že
neexistuje žádná závislost mezi realizacemi SP ve dvou různých okamžicích.
3. Markovské řetězce s diskrétním časem
3.1. Definice: Definice markovského řetězce s diskrétním časem
Nechť ( )P,,ΑΩ je pravděpodobnostní prostor, N0 = {0, 1, 2, ...} je indexová množina, jejíž prvky nazveme okamžiky a J =
{..., -2, -1, 0, 1, 2, ...} je nejvýše spočetná množina stavů (bez újmy na obecnosti lze předpokládat, že J = {0, 1, 2, ...} nebo
J = {0,1, ..., n}). Stochastický proces { }0n Nn;X ∈ definovaný na měřitelném prostoru ( )ΑΩ, , jehož složky nabývají hodnot
z množiny stavů J, se nazývá markovský řetězec (s diskrétním časem), jsou-li splněny následující podmínky:
a) ( ) 0jXP:NnJj n0
>=∈∃∈∀ (vyloučení nepotřebných stavů)
b) ( ) ( )1n1nnn002n2n1n1nnnn100
jX/jXPjXjXjX/jXP:Jj,,j,jNn −−−−−−
====∧∧=∧==∈∀∈∀ …… za předpokladu, že
( ) 0jXjXjXP 002n2n1n1n >=∧∧=∧= −−−− … .
(markovská vlastnost – budoucí chování markovského řetězce závisí pouze na přítomném stavu a nikoliv na stavech
minulých)
Vysvětlení: Nejčastější interpretací markovských řetězců je nějaká soustava, která se může nacházet ve stavech a0, a1, …
V průběhu času soustava mění svoje stavy. Tyto stavy pozorujeme v diskrétních časových okamžicích n = 0, 1, … Náhodná
veličina Xn nabývá hodnoty j, když v okamžiku n je soustava ve stavu aj. Markovská vlastnost znamená, že všechny
dosavadní stavy soustavy mají vliv na budoucí stav pouze prostřednictvím stavu přítomného.
Příklady situací, které lze popsat markovským řetězcem
Nákupy pracích prášků
Zákazník má tři oblíbené druhy pracích prášků, označme je A, B, C. Pro jednoduchost předpokládáme, že
změnu pracího prášku provádí pouze na konci měsíce.
Dynamiku nákupů pracích prášků můžeme popsat markovským řetězcem { }0n Nn;X ∈ s množinou stavů J =
{1,2,3}, kde Xn = 1 (resp. 2 resp. 3), když n-tý měsíc zákazník kupuje prášek A (resp. B resp. C).
Studium na střední škole
Student čtyřleté střední školy může:
- úspěšně ukončit ročník a postoupit do dalšího ročníku
- opakovat ročník
- zanechat studia.
Průběh studia lze popsat markovským řetězcem { }0n Nn;X ∈ s množinou stavů J = {1,2,3,4,5,6}, kde
Xn = 1, když v roce n student studuje 1. ročník,
Xn = 2, když v roce n student studuje 2. ročník,
Xn = 3, když v roce n student studuje 3. ročník,
Xn = 4, když v roce n student studuje 4. ročník,
Xn = 5, když v roce n student úspěšně ukončil studium,
Xn = 6, když v roce n student zanechal studia.
Soustruh ve výrobní dílně
Ve výrobní dílně se nachází soustruh, který sledujeme s časovým krokem 1 týden. Soustruh může být
- v provozu
- v opravě
- určen k prodeji
- určen do šrotu.
Činnost soustruhu popíšeme markovským řetězcem { }0n Nn;X ∈ s množinou stavů J = {1,2,3,4}, kde
Xn = 1, když v n-tém týdnu je soustruh v provozu,
Xn = 2, když v n-tém týdnu je soustruh v opravě,
Xn = 3, když v n-tém týdnu je soustruh určen k prodeji,
Xn = 4, když v n-tém týdnu je soustruh určen do šrotu.
Křížení jedince s hybridem
Máme populaci diploidních cizosprašných rostlin, v níž sledujeme gen se dvěma alelami a, A.
Má-li rostlina dvojici alel A, A, nazývá se dominantní.
Má-li rostlina dvojici alel a, a, nazývá se recesivní.
Má-li rostlina dvojici alel A, a (resp. a, A) nazývá se hybridní.
Z populace náhodně vybereme rostlinu, zkřížíme ji s hybridem a počkáme na potomstvo. V dalším kroku
náhodně vybereme jedince z těchto potomků, opět ho zkřížíme s hybridem atd.
Takto popsaný proces množení rostlin lze popsat řetězcem { }0n Nn;X ∈ s množinou stavů J = {1,2,3}, kde
Xn = 1, když po n-tém křížení vybereme dominantní rostlinu (tj. s dvojicí alel A, A),
Xn = 2, když po n-tém křížení vybereme recesivní rostlinu (tj. s dvojicí alel a, a),
Xn = 3, když po n-tém křížení vybereme hybridní rostlinu (tj. s dvojicí alel A, a resp. a, A).
3.2. Věta: Věta o simultánní pravděpodobnostní funkci markovského řetězce s diskrétním časem
Je-li { }0n Nn;X ∈ markovský řetězec, pak platí:
( ) ( ) ( ) ( )1n1nnn001100nn1100 jX/jXPjX/jXPjXPjXjXjXP −− ==⋅⋅=====∧∧=∧= ……
pokud ( ) 0jXjXjXP 1n1n1100 >=∧∧=∧= −−… , = 0 jinak.
Důkaz:
Podle věty o násobení pravděpodobností a podle markovské vlastnosti dostáváme:
( )
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )1n1nnn1122001100
002n2n1n1nnn001122001100
nn1100
jX/jXPjX/jXPjX/jXPjXP
jXjXjX/jXPjXjX/jXPjX/jXPjXP
jXjXjXP
−−
−−−−
==⋅⋅==⋅==⋅==
==∧∧=∧==⋅⋅=∧==⋅==⋅==
==∧∧=∧=
…
……
…
Věta o násobení pravděpodobností:
Nechť ( , A, P) je pravděpodobnostní prostor, A1, A2, ..., An takové jevy, že P(A1∩ ... ∩ An-1) ≠0.
Pak P(A1 ∩ A2 ∩ ... ∩ An) = P(A1) P(A2/A1) P(A3/A1∩ A2) ... P(An/A1∩ ... ∩ An-1).
Markovská vlastnost:
( ) ( )1n1nnn002n2n1n1nnn jX/jXPjXjXjX/jXP −−−−−− ====∧∧=∧== …
3.3. Příklad: Nechť Y1, Y2, ... jsou stochasticky nezávislé náhodné veličiny, které nabývají hodnot z množiny
{..., -2, -1, 0, 1, 2, ...} (jde o tzv. celočíselné náhodné veličiny). Položme 1n,YX,0X
n
1i
in0
≥== ∑=
. Dokažte, že stochastický
proces { }0n
Nn;X ∈ je markovský řetězec.
Řešení: Dokážeme, že levá strana v markovské vlastnosti se rovná pravé straně.
Levá strana: ( ) ( ) ( )
( )
( )
( )0XjXjXP
0XjXjXP
BP
BAP
B/AP0XjX/jXP
02n2n1n1n
01n1nnn
01n1nnn
=∧∧=∧=
=∧∧=∧=
=
∩
===∧∧==
−−−−
−−
−−
…
…
… .
Jevy zapsané pomocí náhodných veličin X0, X1, ..., Xn se budeme snažit zapsat pomocí náhodných veličin Y1, Y2, ..., Yn,
které jsou stochasticky nezávislé.
X0 = 0, X1 = X0 + Y1 ⇒ Y1 = X1 - X0, X2 = X1 + Y2 ⇒ Y2 = X2 – X1, ..., Xn = Xn-1 + Yn ⇒ Yn = Xn – Xn-1, tedy
{ } { }112n1n1n1nnn0111n1nnn
jYjjYjjY0XjXjXjX =∧∧−=∧−===∧=∧∧=∧= −−−−−−
……
Dále { } { }112n1n1n0111n1n
jYjjY0XjXjX =∧∧−===∧=∧∧= −−−−−
…… .
Po dosazení do levé strany:
( )
( )
( ) ( ) ( )
( ) ( )
( )1nnn
112n1n1n
112n1n1n1nnn
02n2n1n1n
01n1nnn
jjYP
jYPjjYP
jYPjjYPjjYP
0XjXjXP
0XjXjXP
−
−−−
−−−−
−−−−
−−
−==
=⋅⋅−=
=⋅⋅−=−=
=
=∧∧=∧=
=∧∧=∧=
…
…
…
…
Pravá strana: ( ) ( )
( )
( ) ( )
( )
( )1nnn
2n1n1n
2n1n1n1nnn
1n1n
1n1nnn
1n1nnn
jjYP
jjYP
jjYPjjYP
jXP
jXjXP
jX/jXP −
−−−
−−−−
−−
−−
−−
−==
−=
−=−=
=
=
=∧=
===
Protože levá strana se rovná pravé straně, je daný stochastický proces { }0n Nn;X ∈ markovský řetězec.
3.4. Příklad: Nechť Y1, Y2, … jsou stochasticky nezávislé náhodné veličiny, které mají rovnoměrné diskrétní rozložení na
množině G = {-1, 1} (tj. nabývají hodnot ±1 s pravděpodobností 1/2). Položme X0 = 0 a zavedeme náhodnou veličinu
∑=
=
n
1i
in YX . Tato náhodná veličina udává polohu částice na přímce, kterou částice zaujme po n krocích, když na počátku je
v bodě 0 a pohybuje se v obou možných směrech se stejnou pravděpodobností. Markovský řetězec { }0n Nn;X ∈ se nazývá
symetrická náhodná procházka na přímce.
Náhodnou procházku lze simulovat v MATLABu pomocí funkce np:
function [poloha]=np(N)
%funkce na simulaci symetricke nahodne prochazky po primce
%syntaxe: poloha=np(N)
%vstupni parametry: N ... delka nahodne prochazky
%vystupni parametr: poloha ... vektor souradnic bodu, v nichz se castice nachazi v jednotlivych krocich
%funkce nakresli trajektorii nahodne prochazky
%funkce poskytne tabulku rozlozeni cetnosti souradnic castice na primce, v nichz se nahodna prochazka
nachazi
NC=unidrnd(2,N,1);poloha(1)=0;
for i=2:N
if NC(i)==1 poloha(i)=poloha(i-1)-1;
else poloha(i)=poloha(i-1)+1;
end
end
t=[0:N-1];
plot(t,poloha)
tabulate(poloha)
0 2 4 6 8 10 12 14 16 18 20
-1
-0.5
0
0.5
1
1.5
2
2.5
3
3.5. Označení
Jev {Xn = j} – markovský řetězec je v okamžiku n ve stavu j.
P(Xn = j) = pj(n) – absolutní pravděpodobnost stavu j v okamžiku n.
p(n) = (...., pj(n), ...) – vektor absolutních pravděpodobností.
P(Xn+1 = j / Xn = i) = pij(n,n+1) – pravděpodobnost přechodu ze stavu i v okamžiku n do stavu j v okamžiku n+1
(pravděpodobnost přechodu 1. řádu).










+=+
⋮
⋯⋯
⋮
)1n,n(p)1n,n( ijP - matice pravděpodobností přechodu 1. řádu.
P(Xn+m = j / Xn = i) = pij(n,n+m) – pravděpodobnost přechodu ze stavu i v okamžiku n do stavu j v okamžiku n+m
(pravděpodobnost přechodu m-tého řádu).










+=+
⋮
⋯⋯
⋮
)mn,n(p)mn,n( ijP - matice pravděpodobností přechodu m-tého řádu.
P(X0 = j) = pj(0) – počáteční pravděpodobnost stavu j.
p(0) = (...., pj(0), ...) – vektor počátečních pravděpodobností.
3.6. Věta: Věta o vlastnostech markovského řetězce s diskrétním časem
Nechť { }0n Nn;X ∈ je markovský řetězec. Pokud dále uvedené podmíněné pravděpodobnosti existují, platí pro
Jj,iNm,m,m,n 021 ∈∀∈∀ :
a) P(Xn+m = j / Xn = i) ≥ 0, tj. pij(n,n+m) ≥ 0
( )



≠
=
===
jipro0
jipro1
iX/jXP nn
, tj.



≠
=
=
jproi0
jipro1
)n,n(pij .
b) ( )∑∈
+ ===
Jj
nmn 1iX/jXP , tj. ∑∈
=+
Jj
ij 1)mn,n(p .
(Přechod ze stavu i v okamžiku n do nějakého stavu j v okamžiku n+m je jev s pravděpodobností 1.)
c) ( ) ( ) ( )kX/jXPiX/kXPiX/jXP 121121 mnmmn
Jk
nmnnmmn
======= +++
∈
+++ ∑ , tj.
∑∈
++++=++
Jk
211kj1ik21ij
)mmn,mn(p)mn,n(p)mmn,n(p
(Chapmanovy – Kolmogorovovy rovnice)
d) ( ) ( ) ( )kX/jXPkXPjXP nmn
Jk
nmn
===== +
∈
+ ∑ , tj. ∑∈
+=+
Jk
kjkj
)mn,n(p)n(p)mn(p
(Zákon evoluce)
Důkaz:
ad a) ( )
( )
( )
0
iXP
iXjXP
iX/jXP
n
nn
nn
≥
=
=∧=
=== , protože ( ) 0iXjXP nn ≥=∧= a ( ) 0iXP n >= podle (a) z definice 3.1.
( ) ( )
( ) 


≠
=
=
=
=∧=
===
jipro0
jipro1
iXP
iXjXP
iX/jXP
n
nn
nn
ad b) ( ) { } { }( )
( )
1
iXP
iXP
iX/jXPiX/jXP
n
n
n
Jj
mn
Jj
nmn =
=
=∩Ω
=





=====
∈
+
∈
+∑ ∪
ad c)
( ) ( )
( )
( )
( )
( )
( )
( )
( ) ( ) ( )
( )
( ) ( ) ( )
( )
( ) ( )kX/jXPiX/kXP
iXP
kX/jXPiX/kXPiXP
iXP
iXkX/jXPiX/kXPiXP
iXP
jXkXiXP
iXP
}iX{}kX{}jX{P
iXP
}iX{}jX{P
iXP
iXjXP
iX/jXP
1211
12111211
211121
2121
21
mnmmn
Jk
nmn
n
mnmmn
Jk
nmnn
n
nmnmmn
Jk
nmnn
n
Jk
mmnmnn
n
n
Jk
mnmmn
n
nmmn
n
nmmn
nmmn
=====
=
=====
=
=
=∧=====
=
=
=
=∧=∧=
=
=





 =∩=∩=
=
=
=
=∩Ω∩=
=
=
=∧=
===
+++
∈
+
+++
∈
++++
∈
+
∈
+++
∈
+++
++++
++
∑
∑∑
∑∪
ad d)
( ) ( ) ( ) ( ) ( )kX/jXPkXPjXkXP}jX{}kX{P}jX{PjXP nmn
Jk
n
Jk
mnn
Jk
mnnmnmn =====∧==




 =∩===∩Ω== +
∈∈
+
∈
+++ ∑∑∪
3.7. Poznámka: Zápis vlastností markovského řetězce s diskrétním časem v maticovém tvaru
a) P(n,n+m) ≥ 0, kde 0 je nulová matice, P(n,n) = I, kde I je jednotková matice.
b) P(n,n+m)e = e, kde e je sloupcový vektor ze samých jedniček.
c) P(n,n+m1+m2) = P(n,n+m1) P(n+m1,n+ m1+m2).
d) p(n+m) = p(n) P(n,n+m).
3.8. Příklad:
Nechť je dán markovský řetězec { }0n Nn;X ∈ s množinou stavů J = {0,1}. Pravděpodobnosti přechodu 1. řádu jsou dány
maticí










=+
3
1
3
2
4
3
4
1
)1n,n(P . Vektor absolutních pravděpodobností v okamžiku n je p(n) = 





2
1
,
2
1
. Jaká je pravděpodobnost,
že po jednom kroku bude řetězec ve stavu 0 (resp. 1)?
Řešení: Podle zákona evoluce máme: p(n+1) = p(n) P(n,n+1) =
( )5417,0;4583,0
24
13
,
24
11
6
1
8
3
,
3
1
8
1
3
1
2
1
4
3
2
1
,
3
2
2
1
4
1
2
1
3
1
3
2
4
3
4
1
2
1
,
2
1
=





=





++=





⋅+⋅⋅+⋅=
















=
Po jednom kroku tedy bude řetězec ve stavu 0 s pravděpodobností 0,4583 a ve stavu 1 s pravděpodobností 0,5417.
3.9. Definice: Definice stochastického vektoru a stochastické matice
a) Řádkový vektor s nejvýše spočetným počtem nezáporných složek, jejichž součet je roven 1, se nazývá stochastický
vektor.
b) Čtvercová matice, jejímž každým řádkem je stochastický vektor, se nazývá stochastická matice.
c) Řekneme, že markovský řetězec, stochastický vektor a stochastická matice jsou odpovídající dimenze, když počet stavů
markovského řetězce, počet složek stochastického vektoru a řád stochastické matice jsou stejné.
4. Homogenní markovské řetězce s diskrétním časem
4.1. Definice: Definice homogenního markovského řetězce (s diskrétním časem)
Řekneme, že markovský řetězec { }0n Nn;X ∈ s množinou stavů J je homogenní, jestliže jeho pravděpodobnosti přechodu 1.
řádu pij(n,n+1) nezávisí na okamžiku n, tj. pro ( ) ijn1n0
piX/jXP:JjNn ===∈∀∈∀ +
. Matice pravděpodobností přechodu
1. řádu je pak rovna P(1) a značí se P. Matice P se nazývá matice přechodu homogenního markovského řetězce.
Vysvětlení homogenity: Pravděpodobnostní chování HMŘ se sice může s časem měnit, ale náhodný mechanismus, který
tyto změny způsobuje – matice přechodu P – je sám časově neproměnný.
4.2. Příklad:
Na okružní trase je umístěno 2m bodů. Mezi nimi převáží auto náklady. Náklad se z každého bodu převáží do následujícího
s pravděpodobností p nebo do předchozího s pravděpodobností q = 1 – p. Zavedeme stochastický proces { }0n Nn;X ∈ , kde Xn
= j, když v okamžiku n je auto v bodě j, j = 0, 1, ..., 2m. Ukažte, že tento stochastický proces je homogenní markovský
řetězec a najděte jeho matici přechodu.
Řešení:
Daný stochastický proces je markovský řetězec, protože jeho budoucí stav závisí pouze na stavu přítomném a nikoliv na
stavech minulých. Je to homogenní markovský řetězec, protože pravděpodobnosti přechodu 1. řádu nezávisí na okamžiku n.
Grafické znázornění situace: Matice přechodu:
















=
0q000p
p0q000
000p0q
q000p0
…
…
…………………
…
…
P .
4.3. Věta:
Nechť { }0n Nn;X ∈ je stochastický proces s množinou stavů J, p je stochastický vektor odpovídající dimenze a P
stochastická matice odpovídající dimenze. Pak { }0n Nn;X ∈ je homogenní markovský řetězec s vektorem počátečních
pravděpodobností p(0) = p a maticí přechodu P, právě když všechny marginální pravděpodobnostní funkce tohoto procesu
jsou tvaru:
( ) ( ) n1n100 jjjjjnn1100n100
pp0pjXjXjXP:Jj,,j,jNn −
⋅⋅==∧∧=∧=∈∀∈∀ ……… .
Důkaz: Plyne z věty 3.2. a markovské vlastnosti.
4.4. Věta: Vlastnosti homogenního markovského řetězce v maticovém tvaru
Nechť { }0n Nn;X ∈ je markovský řetězec s vektorem počátečních pravděpodobností p(0) a maticí přechodu P. Pak pro
1n,Nm,n 0 ≥∈∀ platí:
a) P(n,n+m) = P(m) = Pm
.
b) p(n,n+m) = p(m) = p(0)Pm
.
Důkaz:
ad a) Z Ch – K rovnice plyne: P(m) = P(m-1+1) = P(m-1)P = P(m-2+1)P = P(m-2)P2
= ... = P(0)Pm
= Pm
.
ad b) Ze zákona evoluce plyne: p(m) = p(m-1+1) = p(m-1)P = p(m-2+1)P = p(m-2)P2
= ... = p(0)Pm
.
4.5. Poznámka: Z věty 4.4. plyne, že k určení pravděpodobnostního chování homogenního markovského řetězce stačí
znát vektor počátečních pravděpodobností p(0) a matici přechodu P.
4.6. Příklad: Je dán homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů J = {0,1,2}, vektorem počátečních
pravděpodobností p(0) = (1/2, 1/6, 1/3) a maticí přechodu














=
0
2
1
2
1
100
0
2
1
2
1
P . Určete vektor absolutních pravděpodobností po
čtyřech krocích.
Řešení: 





=




















==
96
34
96
31
96
31
0
2
1
2
1
100
0
2
1
2
1
3
1
6
1
2
1
)0()4(
4
4
,,,,Ppp
4.7. Poznámka: Přechodový diagram v rozvinutém a nerozvinutém tvaru.
Homogenní markovský řetězec lze graficky znázornit pomocí přechodového diagramu, a to buď v rozvinutém nebo
nerozvinutém tvaru. Je to ohodnocený orientovaný graf, kde vrcholy jsou stavy, orientované hrany se zakreslují pro kladné
pravděpodobnosti přechodu za jeden krok a ohodnocení hran (váhy) jsou dána kladnými pravděpodobnostmi přechodu.
4.8. Příklad: Nechť { }0n
Nn;X ∈ je homogenní markovský řetězec s množinou stavů J = {0,1,2} a maticí přechodu
















=
3
2
0
3
1
2
1
2
1
0
010
P . Nakreslete přechodový diagram.
Řešení:
4.9. Poznámka: Pomocí přechodového diagramu v rozvinutém tvaru lze získat vektor absolutních pravděpodobností
v okamžiku n. Postupuje se tak, že se pro každý možný stav v okamžiku n sečtou součiny vah těch hran, které v okamžiku n
v daném stavu končí.
0 1
1/3
1
2
2/3
1/2
1/2
4.10. Příklad: Pro HMŘ z př. 4.8. vypočtěte pomocí přechodového diagramu v rozvinuté podobě vektor absolutních
pravděpodobností pro n = 3.
Řešení:
Přechodový diagram v rozvinutém tvaru pro první tři kroky:
( )
6
1
3
1
2
1
13p0
=⋅⋅= ,
( )
4
1
2
1
2
1
13p1 =⋅⋅= ,
( )
12
7
3
1
4
1
3
2
2
1
1
2
1
2
1
13p2
=+=⋅⋅+⋅⋅=
( ) 





=
12
7
,
4
1
,
6
1
0p
4.11. Příklad: Model havarijního pojištění
Počet výskytů pojistné události v n-tém pojistném období je náhodná veličina Yn, n = 1, 2, …. Předpokládáme, že náhodné
veličiny Yn jsou stochasticky nezávislé a všechny se řídí rozložením Po(λ). Existují tři kategorie pojistného: 0 … základní
pojistné, 1 … pojistné s bonusem 30%, 2 … pojistné s bonusem 50%. V prvním pojistném období platí klient základní
pojistné. Jestliže pojistné období má bezeškodní průběh, je klient v dalším pojistném období zařazen o kategorii výše. Pokud
uplatní jeden pojistný nárok, je v příštím období zařazen o kategorii níže. Při uplatnění dvou a více pojistných událostí je
zařazen o dvě kategorie níže. Nechť náhodná veličina Xn značí kategorii pojistného v n-tém pojistném období. Lze snadno
odvodit, že platí
{ }
{ }





≥
=−
=+
=+
2Ypro0
1Ypro0,1Xmax
0Ypro2,1Xmin
X
n
nn
nn
1n
Stochastický proces { }0n Nn;X ∈ s množinou stavů J = {0, 1, 2} je markovský řetězec, protože jeho budoucí stav závisí
pouze na stavu přítomném a nikoliv na stavech minulých. Protože pravděpodobnosti přechodu 1. řádu nezávisí na okamžiku
n, jde o homogenní markovský řetězec.
a) Najděte vektor počátečních pravděpodobností a matici přechodu. (Návod: využijte toho, že matice přechodu je
stochastická matice.
b) Nakreslete přechodový diagram.
Řešení:
Ad a) Vektor počátečních pravděpodobností: p(0) = (1, 0, 0).
Stanovíme jednotlivé prvky matice přechodu.
( ) ( ) ( ) λ−λ−
+ −=
λ
−==−=≥==== e1e
!0
10YP11YP0X/0XPp
0
nnn1n00
( ) ( ) λ−λ−
+
=
λ
====== ee
!0
0YP0X/1XPp
0
nn1n01
( ) 0pp1p 010002 =+−=
( ) ( ) ( ) λ−λ−
+
−=
λ
−==−=≥==== e1e
!0
10YP11YP1X/0XPp
0
nnn1n10
( ) 01X/1XPp n1n11 ==== +
( ) ( ) λ−λ−
+
=
λ
====== ee
!0
0YP1X/2XPp
0
nn1n12
( ) ( ) ( ) ( ) λ−λ−λ−λ−
+
λ−−=
λ
−
λ
−==−=−=≥==== ee1e
!1
e
!0
11YP0YP12YP2X/0XPp
10
nnnn1n20
( ) ( ) λ−
+ λ====== e1YP2X/1XPp nn1n21
( ) ( ) λ−
+ ====== e0YP2X/2XPp nn1n22










λλ−−
−
−
=
λ−λ−λ−λ−
λ−λ−
λ−λ−
eeee1
e0e1
0ee1
P
Přechodový diagram:
4.12. Příklad: Je dán je homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů J = {0,1} a maticí přechodu






=
6,04,0
3,07,0
P . Jaký je tvar této matice po n krocích?
Řešení: V teorii matice se dokazuje Perronův vzorec: ∑=
λ=
s
1i
ii
n
i
n
vwP , kde λ1, ..., λs jsou vlastní čísla matice P (protože P je
stochastická matice, je aspoň jedno vlastní číslo rovno 1), wi je sloupcový vlastní vektor příslušný vlastnímu číslu λi
(P wi = λi wi) a vi je řádkový vlastní vektor příslušný vlastnímu číslu λi (viP = λivi
’
). Přitom vektory wi a vi jsou ortogonální.
Nejdříve vypočítáme vlastní čísla matice P:
3,0
1
3,03,1
6,04,0
3,07,0
0 1,2
2
=λ⇒+λ−λ=
λ−
λ−
=λ−= IP
Stanovíme sloupcové vlastní vektory: P wi = λi wi
i = 1: ⇒





⋅=





⋅





12
11
12
11
w
w
1
w
w
6,04,0
3,07,0
w1 = 





1
1
, i = 2: ⇒





⋅=





⋅





22
21
22
21
w
w
3,0
w
w
6,04,0
3,07,0
w2 = 





− 7/4
4/3
Stanovíme řádkové vlastní vektory:
viP = λivi
’
i = 1: ( ) ⇒





⋅=





12
11
1211
v
v
1
6,04,0
3,07,0
v,v v1 = ( )7/3,7/4 , i = 2: ( ) ⇒





⋅=





22
21
2221
v
v
3,0
6,04,0
3,07,0
v,v v2 = ( )1,1 −
Celkem: ( ) ( ) 





−
−
⋅+





==−⋅





−
⋅+⋅





⋅=
7/47/4
7/37/3
3,0
7/37/4
7/37/4
1,1
7/4
7/3
3,07/3,7/4
1
1
1 nnnn
…P
4.13. Poznámka: Uvažme homogenní markovský řetězec, který má množinu stavů J = {0, 1, 2}, vektor počátečních
pravděpodobností p(0) = (1/2, 1/3, 1/6) a matici přechodu
















=
4
1
4
3
0
4
1
4
1
2
1
0
3
2
3
1
P . Ukážeme si, jak lze simulovat realizace tohoto
řetězce pomocí MATLABu.
Nejprve získáme počáteční stav řetězce:
Vygenerujeme náhodné číslo u z intervalu (0,1). Interval (0,1) rozdělíme na tři podintervaly podle kumulativních součtů
vektoru počátečních pravděpodobností.
Je-li 





∈
2
1
,0u , pak X(0)=0. Je-li 


∈
6
5
,
2
1
u , pak X(0)=1. Je-li )1,
6
5
u ∈ , pak X(0)=2.
Při simulaci dalších realizací i = 1, 2, …, n postupujeme podle kumulativních součtů v jednotlivých řádcích matice P:
Vždy vygenerujeme náhodné číslo u z intervalu (0,1).
Je-li X(i-1)=0 ∧ 





∈
3
1
,0u , pak X(i)=0. Je-li X(i-1)=0 ∧ )1,
3
1
u ∈ , pak X(i)=1.
Je-li X(i-1)=1 ∧ 





∈
2
1
,0u , pak X(i)=0. Je-li X(i-1)=1 a ∧ 


∈
4
3
,
2
1
u , pak X(i)=1. Je-li X(i-1)=1 a ∧ )1,
4
3
u ∈ , pak X(i)=2.
Je-li X(i-1)=2 ∧ 





∈
4
3
,0u , pak X(i)=1. Je-li X(i-1)=0 ∧ )1,
4
3
u ∈ , pak X(i)=2.
function realizace = simulovani_MR(P,p0,n)
% funkce generuje prvnich n realizaci MR
% syntaxe: [realizace]=simulace_MR(P,p0,n)
% vstupni parametry:
% P ... matice prechodu
% p0 ... vektor pocatecnich pravdepodobnosti (radkovy)
% n ... pocet kroku simulace
% vystupni parametr: realizace ... vektor realizaci MR
realizace = zeros(n, 1);
realizace(1) = randomQ(p0);
for i=2:n
realizace(i) = randomQ(P(realizace(i-1), :));
end
plot(realizace, 'o');
axis([-1 n+2 0.8 size(p0,2)+0.2]);
end
function q = randomQ(prob)
% funkce vygeneruje nahodny stav q dle vektoru pravdepobnosti
% syntaxe: q=randomQ(prob)
% vstupni parametr:
% prob ... radkovy vektor pravdepodobnosti (napr. [0.5 0.4 0.1])
% vystupni parametr:
% q: nahodny index vstupniho vektoru
%napr. 1 s pravd. 0.5, 2 s pravd. 0.4, 3 s pravd. 0.1
r = random('unif', 0, 1);
leng = size(prob, 2);
sum = 0;
for q = 1:leng
sum = sum+prob(q);
if(r <= sum)
break;
end
end
end
5. Stacionární a limitní rozložení homogenních markovských řetězců
5.1. Definice: Definice stacionárního vektoru
Nechť a je stochastický vektor a P stochastická matice odpovídající dimenze. Jestliže platí a = aP, pak vektor a se nazývá
stacionární vektor matice P.
5.2. Příklad: Najděte stacionární vektor stochastické matice
















=
3
2
3
1
0
2
1
6
1
3
1
0
2
1
2
1
P .
Řešení: a = aP, a1 + a2 + a3 = 1, tj. (a1, a2, a3) = (a1, a2, a3)
















3
2
3
1
0
2
1
6
1
3
1
0
2
1
2
1
3
a
2
a
a 21
1 +=
3
a
6
a
2
a
a 321
2 ++=
3
a2
2
a
a 32
3 +=
a1 + a2 + a3 = 1
211 a2a3a6 +=
3212 a2aa3a6 ++=
323 a4a3a6 +=
a1 + a2 + a3 = 1
a = =





19
9
,
19
6
,
19
4
(0,211; 0,316; 0,474)
5.3. Poznámka: Stacionární vektor lze v MATLABu získat pomocí funkce sv.m:
function [a]=sv(P)
%funkce pro vypocet stacionarniho vektoru
%syntaxe: a=sv(P)
%vstupni parametr ... stochasticka matice P
%vystupni parametr ... stacionarni vektor a
%zjistime rad matice P:
n=size(P,1);
%vytvorime pomocnou jednotkovou matici:
I=eye(n);
%sestavime matici soustavy:
A=[[I-P]';ones(1,n)];
%vytvorime vektor pravých stran:
f=[zeros(n,1);1];
%vypocteme stacionární vektor
a=(A\f)';
5.4. Definice: Definice stacionárního rozložení homogenního markovského řetězce
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s maticí přechodu P. Stochastický vektor a, který je stacionárním
vektorem matice P, se nazývá stacionární rozložení daného řetězce.
Vysvětlení: Stacionární rozložení popisuje chování HMŘ po dostatečně dlouhé době sledování, kdy již odezněl vliv
počátečních podmínek. Složka aj stacionárního rozložení udává podíl celkové doby, kterou řetězec stráví ve stavu j.
5.5. Věta: Věta o existenci limity vektoru absolutních pravděpodobností
Nechť { }0n
Nn;X ∈ je homogenní markovský řetězec s maticí přechodu P. Jestliže pro Jj,i ∈∀ existuje jijn
a)n(plim =∞→
, pak
existuje též jj
n
a)n(plim =
∞→
.
Důkaz: Ze zákona evoluce plyne: j
Ji
ijj
Ji
i
Ji
ijni
Ji
ijinjn
a)0(paa)0(p)n(plim)0(p)n(p)0(plim)n(plim ∑∑∑∑ ∈∈∈
∞→
∈
∞→∞→
===== .
5.6. Příklad:
Máme černou a bílou urnu a pět koulí. Na počátku pokusu jsou všechny koule v černé urně. V každém kroku pokusu
náhodně vybereme jednu kouli, přičemž výběr každé koule je stejně pravděpodobný a přemístíme ji do druhé urny.
Zavedeme homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů J = {0,1, ..., 5}, kde Xn = j, když po n-tém kroku
bude v černé urně právě j koulí.
a) Najděte matici přechodu a nakreslete přechodový diagram.
b) Najděte stacionární rozložení tohoto řetězce.
c) Vypočtěte střední hodnotu počtu koulí v černé urně po stabilizaci pokusu.
Řešení:
ad a)
























=
010000
5
1
0
5
4
000
0
5
2
0
5
3
00
00
5
3
0
5
2
0
000
5
4
0
5
1
000010
P
0 1
1/5
1
2
2/5
4/5
3
3/5
3/5
4
4/5
2/5
5
1
1/5
ad b) (a0, a1, a2, a3, a4, a5) = (a0, a1, a2, a3, a4, a5)
























010000
5
1
0
5
4
000
0
5
2
0
5
3
00
00
5
3
0
5
2
0
000
5
4
0
5
1
000010
10
a
5
1
a = , 201
a
5
2
aa += , 312
a
5
3
a
5
4
a += , 423
a
5
4
a
5
3
a += , 534
aa
5
2
a += , 45 a
5
1
a =
a1 = 5a0, a2 = 10a0, a3 = 10a0, a4 = 5a0, a5 = a0
Protože a0 + a1 + a2 + a3 + a4 + a5 = 1, dostáváme a0 + 5a0 + 10a0 + 10a0 + 5a0 + a0 = 1 ⇒
32
1
a0
=
Stacionární rozložení: a = 





32
1
,
32
5
,
32
10
,
32
10
,
32
5
,
32
1
ad c) 5,2
32
80
32
1
5
32
5
4
32
10
3
32
10
2
32
5
1
32
1
0)X(E ==⋅+⋅+⋅+⋅+⋅+⋅=
Výsledek je ve shodě s očekáváním, že po dostatečně velkém počtu pokusů bude v obou urnách v průměru stejný počet
koulí.
5.7. Poznámka: Pro daný homogenní markovský řetězec příslušné stacionární rozložení nemusí existovat.
5.8. Definice: Definice limitního rozložení a ergodického řetězce
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s vektorem počátečních pravděpodobností p(0). Jestliže existuje
pp =
∞→
)n(lim
n
, pak vektor p se nazývá limitní rozložení daného řetězce. Jestliže vektor p nezávisí na vektoru počátečních
pravděpodobností p(0), pak řekneme, že daný řetězec je ergodický (regulární).
5.9. Poznámka: Interpretace ergodického řetězce
Ergodický řetězec lze interpretovat takto: podíl případů, kdy je řetězec ve stavu j, se blíží číslu aj bez ohledu na to, jak
proces začal.
5.10. Věta: Věta o vztahu mezi limitním a stacionárním rozložením u ergodického řetězce
Jestliže { }0n Nn;X ∈ je ergodický homogenní markovský řetězec a existuje jeho stacionární rozložení a, pak limitní rozložení
p je rovno stacionárnímu rozložení a.
Důkaz: PpPppp =−==
∞→∞→
)1n(lim)n(lim
nn
, tedy p je stacionární vektor matice P a ten značíme a.
5.11. Věta: Markovova věta
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s maticí přechodu P. Jestliže existuje takové číslo 0Nn ∈ , že matice Pn
má všechny prvky kladné (říkáme, že je regulární) , pak
a) existuje stacionární rozložení daného řetězce a je jediné
b) řetězec { }0n Nn;X ∈ je ergodický
c) matice Pn
konverguje k limitní matici A, jejíž řádky jsou stejné a jsou rovny stacionárnímu vektoru a.
Důkaz: Nebudeme provádět.
5.12. Poznámka:
Matice P je regulární, jestliže není rozložitelná na tvar






=
2
1
P0
0P
P , 





=
SR
0Q
P nebo 





=
0P
P0
P
2
1
.
5.13. Příklad: Uvažme provoz výrobní linky, která se může nacházet ve dvou stavech: v provozu (stav 1) nebo v opravě
(stav 2). Dlouhodobým sledováním provozu výrobní linky se dospělo k následujícím závěrům: pokud se výrobní linka
v jednom období nacházela v provozu, tak v následujícím období v 50% případů zůstala v provozu a v 50% případů se
nacházela v opravě. Pokud se výrobní linka nacházela v jednom období v opravě, pak v dalším období zůstala v 75%
případů v opravě a v 25% případů se vrátila do provozu.
a) Modelujte tuto situaci pomocí homogenního markovského řetězce.
b) Najděte matici přechodu P a nakreslete přechodový diagram.
c) Najděte limitní rozložení daného homogenního řetězce a interpretujte ho.
Řešení:
ad a) { }0n Nn;X ∈ , Xn = j, když v n-tém období je linka ve stavu j, j = 1, 2.
ad b) 





=
75,025,0
5,05,0
P
ad c) (a1, a2) = (a1, a2) 





75,025,0
5,05,0
, a1 + a2 = 1
3
1
a,
3
2
a 12
==⇒ , tedy 





=
3
2
,
3
1
a
Znamená to, že po dostatečně dlouhé době bude linka v provozu s pravděpodobností 1/3 a v opravě s pravděpodobností 2/3.
1
0,5
2
0,25
0,5
0,75
5.14. Příklad: Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s maticí přechodu












=
……………
…
…
…
p0q0
0p0q
00pq
P ,
kde p + q = 1. (Tento HMŘ se nazývá náhodná procházka s odrážejícími stěnami.) Určete stacionární rozložení tohoto
HMŘ.
Řešení: ( ) ( ) 1a,
p0q0
0p0q
00pq
,a,a,a,a,a,a
0j
j210210 =












= ∑
∞
=
……………
…
…
…
……
001100 a
q
p
a
q
q1
aqaqaa =
−
=⇒+=
( )
0
2
02
00
2201
a
q
p
a
q
q1p
q
paa
q
p
aqapaa 





=
−
=
−
=⇒+=
Obecně: …,2,1j,a
q
p
a 0
j
j =





=
a) Nechť p < q. Pak
q
p
1a
q
p
1
a
a
q
p
a1 0
0
0j
0
j
0j
j −=⇒
−
=





== ∑∑
∞
=
∞
=
. Stacionární rozložení existuje a má tvar:
…,2,1,0j,
q
p
1
q
p
a
j
j =





−





= Jedná se o geometrické rozložení s parametrem
q
p
1−=ϑ .
(Připomenutí geometrického rozložení:
Náhodná veličina X udává počet neúspěchů v posloupnosti opakovaných nezávislých pokusů předcházejících prvnímu
úspěchu, přičemž pravděpodobnost úspěchu je v každém pokusu ϑ. Píšeme X ~ ( )ϑGe . Pravděpodobnostní funkce:
( )


 =ϑϑ−
=π
jinak0
1,0,xpro)1(
x
x
…
)
b) Nechť p ≥ q. Pak ∞=∑
∞
=0j
ja a stacionární rozložení neexistuje.
5.15. Příklad: Na malém městě jsou dva obchody, označme je A a B. Zajímáme se o nákupy zákazníků v těchto
obchodech. Uvažujeme přitom týdenní období a sledujeme, kde zákazníci v jednotlivých týdnech nakupovali a jak tyto
obchody střídali. Pro jednoduchost předpokládejme, že v průběhu jednoho týdne navštěvovali buď pouze obchod A nebo
obchod B. Jako součást marketingového výzkumu byla shromážděna data od 1000 zákazníku v časovém horizontu 10 týdnů.
Na základě tohoto výzkumu bylo zjištěno, že 90% zákazníků nakupujících v obchodě A tam bude nakupovat i
v následujícím týdnu a 10% přejde do obchodu B. Dále 80% zákazníků nakupujících v obchodě B tam bude nakupovat i
v následujícím týdnu a 20% přejde do obchodu A.
a) Modelujte tuto situaci pomocí HMŘ a najděte matici přechodu.
b) Jestliže na začátku nakupovalo 1000 zákazníků v obchodě A, kolik jich bude po šesti týdnech?
c) Jestliže na začátku nakupovalo 1000 zákazníků v obchodě B, kolik jich bude po šesti týdnech?
d) Jak velký je tržní podíl těchto dvou obchodů za předpokladu dostatečně velkého počtu období?
e) Obchod B provede reklamní kampaň, aby přilákal zákazníky nakupující v obchodě A. Došlo k určitému přesunu zájmu
nakupovat v obchodě B. Dle nového průzkumu byla stanovena matice přechodu 





80,020,0
15,085,0
. Jak se nyní změnil tržní podíl
obchodů A a B za předpokladu dostatečně velkého počtu období?
Řešení:
Ad a) Zavedeme homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů J = {1, 2}, přičemž Xn = 1, když zákazník
v n-tém týdnu nakupuje v obchodě A a Xn = 2, když zákazník v n-tém týdnu nakupuje v obchodě B.
Podle textu úlohy sestavíme matici přechodu: 





=
8,02,0
1,09,0
P .
Ad b) Vektor počátečních pravděpodobností je ( ) )0,1(0 =p , vektor absolutních pravděpodobností po 6 týdnech bude
( ) ( ) ( )2941,0;7059,006 6
== Ppp , tedy v obchodě A bude nakupovat 706 zákazníků.
Ad c) Vektor počátečních pravděpodobností je ( ) )1,0(0 =p , vektor absolutních pravděpodobností po 6 týdnech bude
( ) ( ) ( )4118,0;5882,006 6
== Ppp , tedy v obchodě B bude nakupovat 412 zákazníků.
Ad d) Hledáme stacionární rozložení daného HMŘ. Toto rozložení bude existovat, protože již matice P má všechny prvky
kladné. Řešíme systém rovnic
( ) ( ) 1aa,
8,02,0
1,09,0
a,aa,a 101010 =+





= . Dostaneme složky stacionárního vektoru:
3
1
a,
3
2
a 10 == . Tržní podíl obchodu A tedy činí
66,7%, obchodu B 33,3%.
Ad e) V tomto případě hledáme stacionární rozložení pro HMŘ s maticí přechodu 





80,020,0
15,085,0
.
Získáme vektor a = (0,5714; 0,4286), tedy tržní podíl obchodu A činí 57,1%, obchodu B 42,9%.
5.16. Příklad: Profesor má tři oblíbené otázky, z nichž jedna se objeví v každém testu, který profesor zadá. Studenti znají
jeho zvyklosti dobře. Profesor nikdy nepoužívá téže otázky dvakrát po sobě. Když naposled užil otázky 1, hodí mincí a
v případě, že padne líc, užije otázky 2. Jestliže užil otázky 2, hází dvěma mincemi a přejde k otázce 3, když na obou mincích
padne líc. Jestliže užil otázky 3, hází třemi mincemi a přejde k otázce 1, když na všech třech padl líc.
a) Popište situaci pomocí homogenního markovského řetězce, najděte matici přechodu a nakreslete přechodový diagram.
b) Za předpokladu, že uplynulo již dosti dlouhé období, zjistěte, kterou otázku použil profesor nejčastěji a v kolika
procentech případů ji užil.
Řešení:
Ad a) Zavedeme homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů { }3,2,1J = , přičemž Xn = j, když v okamžiku n
zadá profesor otázku číslo j, j = 1,2,3.
Matice přechodu: P










=
08/78/1
4/104/3
2/12/10
Ad b) Hledáme stacionární vektor daného HMŘ.
(a1, a2, a3) = (a1, a2, a3)










08/18/7
4/104/3
2/12/10
, a1 + a2 + a3 = 1. Řešením získáme stacionární vektor a = (5/15, 6/15, 4/15), tedy
profesor zadává nejčastěji otázku číslo 2 a užil ji ve 40% případů.
5.17. Příklad: V příkladu 4.11. „Model havarijního pojištění“ jsme zjistili, že matice přechodu má tvar










λλ−−
−
−
=
λ−λ−λ−λ−
λ−λ−
λ−λ−
eeee1
e0e1
0ee1
P .
a) Odvoďte stacionární rozložení daného HMŘ.
b) Za předpokladu, že základní výše pojistného je w Kč, vypočtěte střední hodnotu výše pojistného, kterou pojištěnec zaplatí
v dlouhodobém časovém horizontu.
Řešení:
Ad a) Pro zjednodušení zavedeme označení c0 = e-λ
, c1 = λ e-λ
. Matice P má pak tvar:










−−
−
−
=
0110
00
00
cccc1
c0c1
0cc1
P . Stacionární
rozložení existuje, protože již matice P2
má všechny prvky kladné. Řešíme systém rovnic
( ) ( ) 1aaa,
cccc1
c0c1
0cc1
a,a,aa,a,a 210
0110
00
00
210210
=++










−−
−
−
= . Dostaneme složky stacionárního vektoru:
( ) ( )
λ−
λ−
λ−
λ−λ−
λ−
λ−λ−
λ−
=
−
=
λ−
−
=
−
−
=
λ−
λ−−
=
−
−−
= 2
2
10
2
0
22
10
00
12
2
10
100
0
e1
e
cc1
c
a,
e1
e1e
cc1
c1c
a,
e1
ee1
cc1
ccc1
a
Ad b) Připomeneme, že stavy 0, 1, 2 znamenají, že 0 je základní pojistné, 1 je pojistné s bonusem 30%, 2 je pojistné
s bonusem 50%.
Střední hodnota výše pojistného tedy bude ( ) ( )






λ−
+
λ−
−
+
λ−
λ−−
=++ λ−
λ−
λ−
λ−λ−
λ−
λ−λ−
2
2
22
2
210
e1
e
5,0
e1
e1e
7,0
e1
ee1
wa5,0a7,0aw .
6. Odhady absolutních pravděpodobností a pravděpodobností přechodu v HMŘ
6.1. Poznámka: Předpokládejme, že HMŘ { }0n Nn;X ∈ s konečným počtem stavů k má vektor počátečních
pravděpodobností p(0) = (p1(0), p2(0), …, pk(0)) a matici přechodu










=
kk1k
k111
pp
pp
⋯
⋯⋯⋯
⋯
P . Tyto pravděpodobnosti však
neznáme, můžeme je pouze odhadnout na základě dlouhodobého pozorování systému.
Podívejme se nejprve na odhad pravděpodobností přechodu. Pro i,j = 1, …, k označme:
cij … počet pozorování přechodu systému ze stavu i do stavu j
∑=
=
k
1j
iji cc … celkový počet přechodů, které začínaly ve stavu i (je-li i absorpční stav, ci = 0)
Bodové odhady pravděpodobností přechodu získáme takto:





=
≠
=
0proc0
0proc
c
c
pˆ
i
i
i
ij
ij .
Je-li splněna podmínka ( ) 5cpˆ1pˆ iijij
≥− (tzv. podmínka dobré aproximace), můžeme spočítat též 100(1-α)% asymptotický
interval spolehlivosti pro pij. Jeho meze jsou:
( )
21
i
ijij
ij u
c
pˆ1pˆ
pˆ α−
−
± .
Dodatek: Odvození mezí 100(1-α) % asymptotického intervalu spolehlivosti
pro parametr alternativního rozložení
S náhodným výběrem rozsahu n z alternativního rozložení s parametrem ϑse setkáváme v situaci, kdy provádíme n
opakovaných nezávislých pokusů a v každém z těchto pokusů sledujeme nastoupení úspěchu. Pravděpodobnost úspěchu je
pro všechny pokusy stejná a je rovna číslu ϑ. Náhodná veličina Xi nabude hodnoty 1, pokud v i-tém pokusu nastal úspěch a
hodnoty 0, pokud v i-tém pokusu úspěch nenastal, i = 1, 2, …, n. Realizací náhodného výběru X1, …, Xn je tedy posloupnost
0 a 1.
Při výpočtu mezí intervalu spolehlivosti využijeme centrální limitní větu:
Jsou-li náhodné veličiny X1, …, Xn stochasticky nezávislé a všechny mají stejné rozložení se střední hodnotou µ a rozptylem
σ2
, pak pro velká n (n ≥ 30) lze rozložení součtu ∑=
n
1i
i
X aproximovat normálním rozložením N(nµ, nσ2
). Zkráceně píšeme
( )2
n
1i
i
n,nNX σµ≈∑=
. Pokud součet ∑=
n
1i
iX standardizujeme, tj. vytvoříme náhodnou veličinu
n
nX
U
n
1i
i
n
σ
µ−∑
= =
, pak
rozložení této náhodné veličiny lze aproximovat standardizovaným normálním rozložením. Zkráceně píšeme Un ≈ N(0,1).
Asymptotické rozložení statistiky odvozené z výběrového průměru.
Nechť X1, ..., Xn je náhodný výběr z rozložení A(ϑ) a nechť je splněna podmínka ( ) 91n >ϑ−ϑ . Označme M výběrový
průměr tohoto výběru. Pak statistika
( )
n
1
M
U
ϑ−ϑ
ϑ−
= konverguje v distribuci k náhodné veličině se standardizovaným
normálním rozložením. (Říkáme, že U má asymptoticky rozložení N(0,1) a píšeme U ≈ N(0,1).)
Vysvětlení:
Protože X1, ..., Xn je náhodný výběr z rozložení A(ϑ ), bude mít statistika ∑=
=
n
1i
in
XY (výběrový úhrn) rozložení Bi(n, ϑ ).
Yn má střední hodnotu E(Yn) = nϑ a rozptyl D(Yn) = ( )ϑ−ϑ 1n . Podle centrální limitní věty se standardizovaná statistika
( )ϑ−ϑ
ϑ−
=
1n
nY
U n
asymptoticky řídí standardizovaným normálním rozložením N(0,1). Pokud čitatele i jmenovatele
podělíme n, dostaneme vyjádření:
( ) ( ) ( )
( )1,0N
n
1
M
n
1
X
n
1
n
1n
n
Y
U
n
1i
i
2
n
≈
ϑ−ϑ
ϑ−
=
ϑ−ϑ
ϑ−∑
=
ϑ−ϑ
ϑ−
=
=
.
Vzorec pro meze 100(1-α)% asymptotického empirického intervalu spolehlivosti pro parametr ϑ .
Meze 100(1-α)% asymptotického empirického intervalu spolehlivosti pro parametr ϑ jsou:
2/12/1
u
n
)m1(m
mh,u
n
)m1(m
md α−α−
−
+=
−
−= .
Vysvětlení:
Pokud rozptyl ( ) ( )
n
1
MD
ϑ−ϑ
= nahradíme odhadem
( )
n
M1M −
,
konvergence náhodné veličiny U k veličině s rozložením N(0,1) se neporuší. Tedy





 −
+<ϑ<
−
−=
=












<
−
ϑ−
<−≤α−Ξ∈ϑ∀
α−α−
α−α−
2/12/1
2/12/1
u
n
)M1(M
Mu
n
)M1(M
MP
u
n
)M1(M
M
uP1:
V našem případě máme c pozorování, za úspěch považujeme, když se řetězec v okamžiku 0 realizuje ve stavu i. K tomu
dojde s pravděpodobností pi(0). Těchto úspěchů nastává ci. Relativní četnost úspěchu je tedy ( )
c
c
0pˆ i
i
= , což je vlastně
realizace m výběrového průměru M.
Dosadíme do vzorce pro meze 100(1-α)% asymptotického empirického intervalu spolehlivosti pro pravděpodobnost
úspěchu:
2/12/1
u
n
)m1(m
mh,u
n
)m1(m
md α−α−
−
+=
−
−=
a dostaneme
( ) ( ) ( )[ ]
21
ii
i
u
c
0pˆ10pˆ
0pˆd α−
−
−= , ( ) ( ) ( )[ ]
21
ii
i
u
c
0pˆ10pˆ
0pˆh α−
−
+=
Bodové odhady pravděpodobností přechodu získáme opět pomocí relativních četností takto:





=
≠
=
0cpro0
0cpro
c
c
pˆ
i
i
i
ij
ij
.
Je-li splněna podmínka dobré aproximace, ( ) 9cpˆ1pˆ iijij
>− můžeme spočítat též 100(1-α)% asymptotický interval
spolehlivosti pro pij. Jeho meze jsou:
( )
21
i
ijij
ij
u
c
pˆ1pˆ
pˆ α−
−
± .
6.2. Příklad: V jistém regionu bylo náhodně vybráno 2501 domácností. Bylo zjištěno, že k určitému datu 629 domácností
nepředplácelo žádný deník, 750 předplácelo regionální deník a zbytek celostátní deník. Z těch domácností, které neměly
žádné předplatné, hodlá v příštím měsíci 126 předplácet regionální a 63 celostátní deník.Z domácností, které předplácejí
regionální deník, u něj v příštím měsíci zůstane 525 domácností a 75 začne předplácet celostátní deník. A nakonec z těch
domácností, které předplácejí celostátní deník, 673 nezmění předplatné a 112 přejde na předplatné regionálního deníku.
Modelujte situaci pomocí homogenního markovského řetězce a najděte bodové a intervalové odhady (se spolehlivostí 95 %)
počátečních pravděpodobností a pravděpodobností přechodu.
Řešení: Zavedeme homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů J = {1, 2, 3}, kde Xn = 1, když v n-tém
měsíci náhodně vybraná domácnost nemá žádné předplatné, Xn = 2, když má předplatné na regionální deník a Xn = 3, když
má předplatné na celostátní deník. Údaje obsažené v textu úlohy uspořádáme do tabulky:
1 2 3 Σ
1 440 126 63 629
2 150 525 75 750
3 337 112 673 1122
Σ 2501
Nejprve odhadneme počáteční pravděpodobnosti podle vzorce ( ) k,,2,1i,
c
c
0pˆ i
i …== .
V našem případě k = 3, c1 = 629, c2 = 750, c3 = 1122, c = 2501.
( ) ( ) ( ) 4486,0
2501
1122
0pˆ,2999,0
2501
750
0pˆ,2515,0
2501
629
0pˆ 121
======
Odhad vektoru počátečních pravděpodobností: ( ) ( )45,0;3,0;25,00pˆ = .
Znamená to, že na počátku sledování 25 % domácností v daném regionu nemělo žádné předplatné, 30 % předplácelo
regionální deník a 45 % celostátní deník.
Před výpočtem intervalů spolehlivosti ověříme, zda jsou splněny podmínky dobré aproximace ( ) ( )[ ] 9c0pˆ10pˆ ii
>− .
Přitom ( ) ( ) ( ) 2501c,
2501
1122
0pˆ,
2501
750
0pˆ,
2501
629
0pˆ 321
==== . Tedy
i = 1: 4692501
2501
629
1
2501
629
=





− ,
i = 2: 5252501
2501
750
1
2501
750
=





− ,
i = 3: 6192501
2501
1122
1
2501
1122
=





− .
Vidíme, že podmínky jsou splněny. Pro i = 1, 2, 3 a 05,0=α dosadíme do vzorce ( ) ( ) ( )[ ]
21
ii
i
u
c
0pˆ10pˆ
0pˆ α−
−
± .
Dostaneme meze 95% asymptotických intervalů spolehlivosti pro p1(0), p2(0), p3(0).
( ) ( )2685,0;2345,00p1
∈ , ( ) ( )3178,0;2819,00p2
∈ , ( ) ( )4681,0;4291,00p3
∈ vždy s pravděpodobností 95 %.
Interpretujeme např. 1. interval spolehlivosti: Ve sledovaném regionu je k danému datu s pravděpodobností 95 % 23,45 %
až 26,85 % domácností, které nepředplácejí žádný deník.
Nyní se budeme věnovat odhadům pravděpodobností přechodu. Použijeme vzorec k,,1j,i,
c
c
pˆ
i
ij
ij …== .
Znovu uvedeme tabulku se zadanými údaji:
1 2 3 Σ
1 440 126 63 629
2 150 525 75 750
3 337 112 673 1122
Σ 2501
V našem případě k = 3,
c11 = 440, c12 = 126, c13 = 63, c1 = 629,
c21 = 150, c22 = 525, c23 = 75, c2 = 750,
c31 = 337, c32 = 112, c33 = 673, c3 = 1122.
1002,0
629
63
pˆ,2003,0
629
126
pˆ,6995,0
629
440
pˆ 131211
======
1,0
750
75
pˆ,7,0
750
525
pˆ,2,0
750
150
pˆ 132221
======
5998,0
1122
673
pˆ,0998,0
1122
112
pˆ,3004,0
1122
337
pˆ 333231 ======










=
0,60,10,3
0,10,70,2
0,10,20,7
ˆP
Interpretujeme např. 1. řádek odhadnuté matice přechodu: Pokud v jednom měsíci náhodně vybraná domácnost
neodebírala žádný deník, tak v příštím měsíci s pravděpodobností 0,7 opět nebude mít žádné předplatné,
s pravděpodobností 0,2 si předplatí regionální deník a s pravděpodobností 0,1 celostátní deník.
Před výpočtem intervalů spolehlivosti ověříme splnění podmínek dobré aproximace ( ) 9cpˆ1pˆ iijij
>− . Připomínáme, že
c11 = 440, c12 = 126, c13 = 63, c1 = 629,
c21 = 150, c22 = 525, c23 = 75, c2 = 750,
c31 = 337, c32 = 112, c33 = 673, c3 = 1122.
i = 1: 57629
629
63
1
629
63
,101629
629
126
1
629
126
,132629
629
440
1
629
440
=





−=





−=





−
i = 2: 68750
750
75
1
750
75
,158750
750
525
1
750
525
,120750
750
150
1
750
150
=





−=





−=





−
i = 3: 2691122
1122
673
1
1122
673
,1091122
1122
112
1
1122
112
,2361122
1122
337
1
1122
337
=





−=





−=





−
Ve všech devíti případech jsou podmínky dobré aproximace splněny, můžeme tedy spočítat meze 95% asymptotických
intervalů spolehlivosti pro pravděpodobnosti přechodu. Pro i, j = 1, 2, 3 a 05,0=α dosadíme do vzorce
( )
21
i
ijij
ij
u
c
pˆ1pˆ
pˆ α−
−
± .
( ) ( ) ( ),1236,0;0767,0p,2316,0;169,0p,7354,0;6637,0p 131211
∈∈∈
( ) ( ) ( ),1215,0;0785,0p,7328,0;6672,0p,2286,0;1714,0p 232221
∈∈∈
( ) ( ) ( )6285,0;5712,0p,1174,0;0823,0p,3272,0;2735,0p 333231
∈∈∈ .
Interpretujeme např. interval spolehlivosti pro p11: Pokud v jednom měsíci náhodně vybraná domácnost neodebírala žádný
deník, tak v příštím měsíci můžeme se spolehlivostí 95 % zaručit, že s pravděpodobností 66,37 % až 73,54 % opět nebude
odebírat žádný deník.
7. Klasifikace stavů homogenního markovského řetězce
7.1. Označení: Označení prvků matice Pn
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s množinou stavů J a s maticí přechodu P. Prvky matice Pn
budeme
značit pij(n).
7.2. Definice: Definice doby prvního návratu do stavu j
Nechť homogenní markovský řetězec { }0n Nn;X ∈ vychází ze stavu j, tj.
P(X0 = j) = 1. Zavedeme množinu { }jX;1nT nj =≥= , která udává pořadí okamžiků návratů do stavu j. Náhodná veličina
{ }
Tpro
TproTmin
j
jj
j



∅=∞
∅≠
=τ se nazývá doba prvního návratu do stavu j.
7.3. Označení: Označení pravděpodobnostní funkce doby prvního návratu do stavu j
Náhodná veličina τj je diskrétní náhodná veličina, nabývá hodnot 1, 2, 3, ... Její pravděpodobnostní funkci označíme fj(n),
tedy fj(n) = P(τj = n), n = 1, 2, 3, ... (pro n = 0 položíme fj(0) = 0). Pravděpodobnost, že homogenní markovský řetězec
vycházející ze stavu j, se vůbec někdy vrátí do stavu j, je tedy ∑
∞
=
=
1n
jj )n(ff . Pravděpodobnost fj lze vyjádřit jako P(τj < ∞).
7.4. Věta: Souvislost pravděpodobnostní funkce doby 1. návratu s pravděpodobnostmi přechodu
Pravděpodobnostní funkce doby 1. návratu do stavu j souvisí s pravděpodobnostmi přechodu takto:
∑=
−=∈∀
n
1k
jjjjj
),k(f)kn(p)n(p:Jj n = 1, 2, 3, ...
Odtud lze fj(n) vyjádřit pomocí rekurentního vztahu:
∑∑
−
=
−
=
−−=⇒+−=∈∀
1n
1k
jjjjj
1n
1k
jjjjjjj )k(f)kn(p)n(p)n(f)n(f)k(f)kn(p)n(p:Jj .
Důkaz:
Pro k = 1, 2, 3, ... označme jev { }kjXA jnk =τ∧== . Jevy Ak jsou neslučitelné a { }jXA n
n
1k
k
==
=
∪ . Počítáme
( ) ( ) ( )
( ) ( ) ( )
( ) ∑∑
∑∑
∑ ∑
==
=
−
=
= ==
−====
==∧≠∧∧≠∧====τ∧===τ=
===τ∧====




 =====
n
1k
jjj
n
1k
knj
n
1k
k1k10nj
n
1k
j0nj
n
1k
n
1k
0jn0k0
n
1k
k0njj
)kn(p)k(fjX/jXP)k(f
jXjXjXjX/jXP)k(fkjX/jXPkP
jX/kjXPjX/APjX/APjX/jXP)n(p
…
∪
(Při úpravách byla použita rovnost ( ) ( ) ( )CB/APC/BPC/BAP ∩=∩ .)
7.5. Příklad: Nechť { }0n
Nn;X ∈ je homogenní markovský řetězec s maticí přechodu 





β−β
αα−
=
1
1
P . Je-li vektor
počátečních pravděpodobností p(0) = (1, 0), vypočtěte pravděpodobnost, že doba 1. návratu do stavu 0 bude n, n = 1, 2, 3, ...
a vypočtěte pravděpodobnost, že řetězec se vůbec někdy vrátí do stavu 0.
Řešení: Použijeme vzorec ( ) ∑
−
=
−−=
1n
1k
jjjjjj )k(f)kn(p)n(pnf . Počítáme
P2
= 





β−+αββ−β+βα−
αβ−+αα−αβ+α−
=





β−β
αα−






β−β
αα−
2
2
)1()1()1(
)1()1()1(
1
1
1
1
P3
= =





β−β
αα−






β−+αββ−β+βα−
αβ−+αα−αβ+α−
1
1
)1()1()1(
)1()1()1(
2
2






β−+αββ−+αβα−−
−αββ−+αβα−+α−
= 3
11
00
3
)1()1(2)1()3(p1
)3(p1)1()1(2)1(
f0(1) = p00 = 1 – α
f0(2) = p00(2) – p00f0(1) = (1 – α)2
+ αβ – (1 – α)2
= αβ
f0(3) = p00(3) – p00(2)f0(1) – p00f0(2) = (1 – α)3
+ 2(1 – α)αβ + (1 – β)αβ – [(1 – α)2
+ αβ](1 – α) – (1 – α)αβ =
=(1 – α)3
+ 2(1 – α)αβ + (1 – β)αβ – (1 – α)3
– (1 – α)αβ – (1 – α)αβ = (1 –β)αβ
Obecně:



=αββ
=α−
=
2,3,...npro)-(1
1npro1
)n(f 2-n0
7.6. Definice: Definice trvalého a přechodného stavu
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s množinou stavů J.
a) Stav Jj∈ se nazývá trvalý, jestliže fj = 1 (tj. P(τj < ∞). (Znamená to, že řetězec se do stavu j vrátí po konečně mnoha
krocích.)
b) Stav Jj∈ se nazývá přechodný, jestliže fj < 1 (tj. P(τj = ∞). (Znamená to, že řetězec se do stavu j s kladnou
pravděpodobností nikdy nevrátí.)
Množina trvalých stavů se značí JT, množina přechodných stavů JP. Přitom ∅=∩=∪ PTPT JJ,JJJ .
7.7. Věta: Kritérium pro klasifikaci trvalých a přechodných stavů.
a) Stav j je trvalý, právě když ∞=∑
∞
=1n
jj )n(p .
b) Stav j je přechodný, právě když ∞<∑
∞
=1n
jj )n(p .
Důkaz: Nebudeme provádět.
7.8. Příklad: Provádíme posloupnost opakovaných nezávislých hodů kostkou. Nechť náhodná veličina Xn udává
maximální číslo dosažené v prvních n hodech, n = 1, 2, 3, ... Zavedeme homogenní markovský řetězec { }0n Nn;X ∈
s množinou stavů J = {1, 2, ..., 6}, kde Xn = j, když v prvních n hodech bylo nejvyšší dosažené číslo j. Najděte matici
přechodu P a klasifikujte stavy na trvalé a přechodné.
Řešení:




























=
100000
6
1
6
5
0000
6
1
6
1
6
4
000
6
1
6
1
6
1
6
3
00
6
1
6
1
6
1
6
1
6
2
0
6
1
6
1
6
1
6
1
6
1
6
1
P
Zajímají nás jen diagonální prvky matice Pn
, protože zkoumáme řadu ∑
∞
=1n
jj )n(p .
...,
6
1
)3(p,
6
1
)2(p,
6
1
p
3
11
2
1111 





=





==
...,
6
2
)3(p,
6
2
)2(p,
6
2
p
3
22
2
2222 





=





==
Obecně:
n
jj
6
j
)n(p 





= , j = 1, ..., 6
Řada ∑
∞
=






1n
n
6
j
absolutně konverguje pro j = 1, 2, 3, 4, 5 a diverguje pro j = 6. Tedy JT = {6}, JP = {1, 2, 3, 4, 5}.
7.9. Definice: Definice trvalého nenulového stavu a trvalého nulového stavu
Nechť Jj∈ je trvalý stav homogenního markovského řetězce { }0n Nn;X ∈ .
a) Stav j se nazývá trvalý nenulový, jestliže existuje střední hodnota µj náhodné veličiny τj.
b) Stav j se nazývá trvalý nulový, jestliže střední hodnota náhodné veličiny τj neexistuje.
7.10. Důsledek: Kritérium pro klasifikaci trvalých nenulových stavů a trvalých nulových stavů
Stav j je trvalý nenulový, jestliže řada ∑
∞
=1n
j )n(nf absolutně konverguje.
Stav j je trvalý nulový, jestliže řada ∑
∞
=1n
j )n(nf diverguje.
7.11. Poznámka: Lze ukázat, že HMŘ s konečnou množinou stavů nemůže mít trvalé nulové stavy.
7.12. Definice: Definice periodického stavu, neperiodického stavu, ergodického stavu
Nechť dj je největší společný dělitel čísel n ≥ 1, pro něž pjj(n) > 0.
Je-li dj > 1, pak řekneme, že stav j je periodický s periodou dj.
Je-li dj = 1, pak řekneme, že stav j je neperiodický.
Trvalý nenulový neperiodický stav se nazývá ergodický stav.
7.13. Příklad: Na úsečce délky 5 jsou vyznačeny body 0, 1, ..., 5. V bodě 3 se nachází kulička. Kulička koná náhodnou
procházku po úsečce tak, že s pravděpodobností p se posune o jednotku napravo a s pravděpodobností q = 1 – p se posune o
jednotku nalevo. Dosáhne-li bodu 0 nebo bodu 5, setrvá tam. Popište proces pomocí homogenního markovského řetězce a
klasifikujte stavy na periodické a neperiodické.
Řešení: Zavedeme homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů J = {0, 1, 2, 3, 4, 5}, kde Xn = j, když
v okamžiku n je kulička v bodě j.




















=
100000
p0q000
0p0q00
00p0q0
000p0q
000001
P
p00(n) = 1 pro ⇒∈∀ Nn stav 0 je neperiodický.
p55(n) = 1 pro ⇒∈∀ Nn stav 5 je neperiodický.
p11(1) = 0, p11(2) = pq, p11(3) = 0, p11(4) = pqp, ... Největší společný dělitel čísel 2, 4, 6, ... je 2,
tedy stav 1 je periodický s periodou 2. Stejně to dopadne se stavy 2, 3, 4.
7.14. Věta: Výpočet střední hodnoty doby 1. návratu do ergodického stavu a trvalého nenulového
periodického stavu
a) Nechť Jj∈ je trvalý nenulový neperiodický stav (tj. ergodický stav). Pak
)n(plim
1
jjn
j
∞→
=µ .
b) Nechť Jj∈ je trvalý nenulový periodický stav s periodou dj. Pak
)nd(plim
d
jjj
n
j
j
∞→
=µ .
7.15. Příklad: Nechť je dán homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů J = {0, 1, 2} a maticí
přechodu
















=
2
1
3
1
6
1
4
1
2
1
4
1
3
1
3
1
3
1
P . Vypočtěte střední hodnoty dob 1. návratů do stavů 0, 1, 2.
Řešení: Jelikož matice P je regulární matice, bude matice Pn
konvergovat k limitní matici, jejíž všechny řádky jsou stejné a
jsou rovny stacionárnímu vektoru a matice P.
( ) ( )
















=
2
1
3
1
6
1
4
1
2
1
4
1
3
1
3
1
3
1
a,a,aa,a,a 210210
25
9
a
25
10
a
25
6
a
1aaa
2
a
4
a
3
a
a
3
a
2
a
3
a
a
6
a
4
a
3
a
a
2
1
0
210
210
2
210
1
210
0
=
=
=
⇒
















=++
++=
++=
++=






=
25
9
,
25
10
,
25
6
p , 





=
9
25
,
10
25
,
6
25
µ
Vychází-li řetězec např. ze stavu 1, tak v průměru po 2,5 krocích se tam vrátí.
7.16. Systém bonus – malus v pojišťovnictví
Tento systém se používá v havarijním pojištění. Má určitý počet tříd výše pojistného
(tzv. bonusových tříd), do nichž je klient zařazován podle počtu uplatnění pojistných
událostí v pojistném období.
Bunusová třída (a tím i výše pojistného) pro následující období se určí
- podle bonusové třídy klienta v daném období
- podle počtu uplatnění pojistných událostí v daném období.
Předpokládáme, že existuje k bonusových tříd, přičemž na počátku smluvního vztahu
s pojišťovnou je klient zařazen do třídy 0 a platí základní pojistné, tj. 100 %. V j-té
bonusové třídě platí klient pojistné cj, přičemž cj < 1, j = 1, 2, …, k.
Tedy vektor c = (1, c1, …, ck) udává výši pojistného (jako část základu) pro všechny
bonusové třídy.
Zavedeme náhodnou veličinu Xn, která značí bonusovou třídu klienta v n-tém
pojistném období. Pak stochastický proces { }0n
Nn;X ∈ s množinou stavů { }k,,1,0J …=
je markovský řetězec, protože jeho budoucí stav závisí na pouze na stavu přítomném a
nikoliv na stavech minulých a je to homogenní řetězec, protože pravděpodobnosti
přechodu 1. řádu nezávisí na časovém okamžiku n.
Počet výskytů pojistné události v n-tém pojistném období je náhodná veličina
Yn, n = 1, 2, ….
Předpokládáme, že náhodné veličiny Yn jsou stochasticky nezávislé a všechny se řídí
rozložením Po(λ), tedy ( ) λ−λ
== e
!y
yYP
y
n
, y = 0, 1, 2, …
Model I
V tomto modelu existují 4 bonusové třídy, tj. { }4,,1,0J …= a vektor výše pojistného je
c = (1 0,9 0,8 0,7 0,6).
Jestliže v pojistném období klient neuplatní žádnou pojistnou událost, je v dalším
období zařazen do 4. bonusové třídy, kde platí pojistné 60 % základu.
Pokud však klient uplatní aspoň jednu pojistnou událost, je v dalším období zařazen o
třídu níže, je-li to možné. Označíme-li Yn počet pojistných událostí v n-tém pojistném
období, pak
{ }


≥−
=
=+
1proY0,1Xmax
0proY4
X
nn
n
1n
Vektor počátečních pravděpodobností je p(0) = (1, 0, 0 ,0, 0).
Stanovíme jednotlivé prvky matice přechodu.
( ) ( ) λ−
−==−=≥= e10YP11YPp nn00
, 0ppp 030201
=== , ( ) λ−
=== e0YPp n04
,
( ) ( ) λ−
−==−=≥= e10YP11YPp nn10
, 0ppp 131211
=== , ( ) λ−
=== e0YPp n14
,
0p20
= , ( ) ( ) λ−
−==−=≥= e10YP11YPp nn21
, 0pp 2322
== , ( ) λ−
=== e0YPp n24
,
0pp 3130
== , ( ) ( ) λ−
−==−=≥= e10YP11YPp nn32
, 0p33
= , ( ) λ−
=== e0YPp n34
,
0ppp 424140
=== , ( ) ( ) λ−
−==−=≥= e10YP11YPp nn43
, ( ) λ−
=== e0YPp n44
.
Dostáváme matici přechodu P ve tvaru:
















−
−
−
−
−
=
λ−λ−
λ−λ−
λ−λ−
λ−λ−
λ−λ−
ee1000
e0e100
e00e10
e000e1
e000e1
P .
V modelu I odvodíme stacionární rozložení. Stacionární rozložení existuje, protože již
matice P4
má všechny prvky kladné. Pro jednoduchost označme λ−λ−
−== e1b,eb 10
.
Řešíme systém rovnic
( ) ( )
















=
01
01
01
01
01
4321043210
bb000
b0b00
b00b0
b000b
b000b
aaaaaaaaaa , ∑ =
=
4
0j
j
1a .
Řešením tohoto systému dostaneme:
( )44
10
e1ba λ−
−== ,
( ) ( ) λ−λ−
−=−= ee1b1ba
3
1
3
11
,
( ) ( ) λ−λ−
−=−= ee1b1ba
2
1
2
12
,
( ) ( ) λ−λ−
−=−= ee1b1ba 113
,
λ−
=−= eb1a 14
.
Je-li základní výše pojistného w, pak střední hodnota výše pojistného, kterou klient
zaplatí v dlouhodobém časovém horizontu, je ( )43210
a6,0a7,0a8,0a9,0aw ++++ .
Model II
V tomto modelu existují 2 bonusové třídy, tj. { }2,1,0J = a vektor výše pojistného je
c = (1 0,7 0,5).
Má-li pojistné období bezeškodní průběh, je klient v dalším období zařazen o třídu výš,
je-li to možné.
Pokud klient uplatní jeden pojistný nárok, je v dalším období zařazen o třídu níž, je-li
to možné.
Při uplatnění dvou a více pojistných nároků je zařazen o dvě třídy níže, je-li to možné.
Znamená to, že
{ }
{ }





≥
=−
=+
=+
2Ypro0
1Ypro0,1Xmax
0Ypro2,1Xmin
X
n
nn
nn
1n
.
Vektor počátečních pravděpodobností je p(0) = (1, 0, 0 ).
Stanovíme jednotlivé prvky matice přechodu.
( ) ( ) λ−
−==−=≥= e10YP11YPp nn00
, ( ) λ−
=== e0YPp n01
, 0p02
= ,
( ) ( ) λ−
−==−=≥= e10YP11YPp nn10
, 0p11
= , ( ) λ−
=== e0YPp n12
,
λ−λ−
−λ−= ee1p20
, ( ) λ−
λ=== e1YPp n21
, ( ) λ−
=== e0YPp n22
.










λ−λ−
−
−
=
λ−λ−λ−λ−
λ−λ−
λ−λ
eeee1
e0e1
0ee1
P .
V modelu II odvodíme stacionární rozložení(viz př. 5.17.):
Pro zjednodušení zavedeme označení b0 = e-λ
, b1 = λ e-λ
. Matice P má pak tvar:










−−
−
−
=
0110
00
00
bbbb1
b0b1
0bb1
P . Stacionární rozložení existuje, protože již matice P2
má
všechny prvky kladné. Řešíme systém rovnic
( ) ( ) 1aaa,
bbbb1
b0b1
0bb1
a,a,aa,a,a 210
0110
00
00
210210
=++










−−
−
−
= .
Dostaneme složky stacionárního vektoru:
λ−
λ−λ−
λ−
λ−−
=
−
−−
= 2
2
10
100
0
e1
ee1
bb1
bbb1
a ,
( ) ( )
λ−
λ−λ−
λ−
−
=
−
−
= 2
10
00
1
e1
e1e
bb1
b1b
a , λ−
λ−
λ−
=
−
= 2
2
10
2
0
2
e1
e
bb1
b
a .
Je-li základní výše pojistného w, pak střední hodnota výše pojistného, kterou klient
zaplatí v dlouhodobém časovém horizontu, je ( )210
a5,0a7,0aw ++ .
Výpočet pravděpodobnosti uplatnění pojistné události
Předpokládáme, že klient uplatní pojistnou událost pouze za předpokladu, že škoda, jejíž výši udává náhodná
veličina Z, je větší než odpovídající navýšení r pojistného v následujícím pojistném období.
Označme A jev, že klient uplatní pojistnou událost a H jev, že nastala pojistná událost. Protože platí, že
HA ⊆ , ( ) ( )rZPH/AP >= a ( ) λ−
−= e1HP , dostaneme z definice podmíněné pravděpodobnosti
( ) ( ) ( )( )λ−
−>==∩ e1rZPAPHAP
Budeme-li předpokládat, že výše škody se řídí logaritmicko-normálním rozložením s parametry
2
,σµ ,
můžeme vypočítat
P(A/H) = ( ) ( ) 





σ
µ−
Φ−=





σ
µ−
>
σ
µ−
=>=>
rln
1
rlnZln
PrlnZlnPrZP .
Výsledná pravděpodobnost uplatnění pak je
( ) ( )λ−
−











σ
µ−
Φ−= e1
rln
1AP .
Příklad na výpočet pravděpodobnosti uplatnění pojistné události
Uvažme model II, v němž je vektor výše pojistného c = (1 0,7 0,5). Předpokládáme,
že základní výše pojistného činí 1200 Kč, počet pojistných událostí v pojistném období
má Poissonovo rozložení parametrem 1,0=λ a velikost škod má logaritmicko –
normální rozložení s parametry 2,8 2
=σ=µ (znamená to, že střední hodnota škody je
asi 8100 Kč, protože střední hodnota logaritmicko – normálního rozložení je 2
2
e
σ
+µ
).
Nechť klient je zařazen v 1. bonusové třídě, tj. platí pojistné 1200.0,7 = 840 Kč. Pokud
dojde k uplatnění pojistné události, bude klient v následujícím období zařazen do třídy
0 a bude platit pojistné 1200 Kč, tj. o 360 Kč víc. Vypočtěte pravděpodobnost, že
klient uplatní pojistnou událost.
Řešení:
1,0,2,8,360r 2
=λ=σ=µ= .
P(A) = ( ) ( ) 0887,0e1
2
8360ln
1e1
rln
1 1,0
=−










 −
Φ−=−











σ
µ−
Φ− −λ−
.
Za daných podmínek klient uplatní pojistnou událost s pravděpodobností 8,9 %.
8. Rozložitelné a nerozložitelné homogenní markovské řetězce
8.1. Definice: Definice dosažitelných a sousledných stavů
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s množinou stavů J.
a) Řekneme, že stav j je dosažitelný ze stavu i, když existuje n ≥ 1 tak, že pij(n) > 0.
Pokud pij(n) = 0 pro všechna n ≥ 1, pak řekneme, že stav j není dosažitelný ze stavu i.
b) Řekneme, že stav j je sousledný se stavem i, jestliže j je dosažitelný z i a i je dosažitelný z j.
(Symbolicky se dosažitelnost stavu j ze stavu i označuje takto: i →j a souslednost stavů i, j se označuje takto: i ↔ j.)
8.2. Příklad: Je dán homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů
J = {1, 2, ..., 5} a maticí přechodu
















=
10000
4/104/300
4/14/102/10
00001
0002/12/1
P .
Nakreslete přechodový diagram a sestavte tabulku dosažitelných stavů a tabulku sousledných stavů.
Řešení:
Přechodový diagram Tabulka dosažitelných stavů
dosažitelný stavstav
1 2 3 4 5
1 + + - - -
2 + + - - -
3 + + + + +
4 + + + + +
5 - - - - +
Tabulka sousledných stavů
sousledný stavstav
1 2 3 4 5
1 + + - - -
2 + + - - -
3 - - + + -
4 - - + + -
5 - - - - +
8.3. Definice: Definice třídy trvalých stavů a třídy přechodných stavů
Neprázdná množina stavů JC ⊆ se nazývá třída trvalých stavů, jestliže žádný stav vně C není dosažitelný ze žádného stavu
uvnitř C. Množina stavů, která není třídou trvalých stavů, se nazývá třída přechodných stavů.
8.4. Příklad: Pro homogenní markovský řetězec z příkladu 8.2. najděte třídy trvalých a přechodných stavů.
Řešení:
Nejprve uvedeme matici přechodu.
















=
10000
4/104/300
4/14/102/10
00001
0002/12/1
P
Nakreslíme přechodový diagram.
Z diagramu je zřejmé, že když řetězec vstoupí do třídy stavů {1, 2} nebo {5}, není odtud dosažitelný žádný stav vně třídy
{1, 2} resp. {5}, tedy { } { }52,1JT
∪= . Když řetězec vstoupí do třídy stavů {3, 4}, je odtud dosažitelný stav 5, tedy
{ }4,3JP = .
8.5. Poznámka: Poznámka o podřetězci homogenního markovského řetězce
Jestliže v matici přechodu P vynecháme ty řádky a sloupce, které odpovídají stavům nepatřícím do třídy trvalých stavů C,
dostaneme opět stochastickou matici. Lze ji považovat za matici přechodu homogenního markovského řetězce s množinou
stavů C. Nazývá se podřetězec původního řetězce. Např. pro homogenní markovský řetězec z příkladu 8.2. , který má
matici přechodu
















=
10000
4/104/300
4/14/102/10
00001
0002/12/1
P , dostaneme podřetězec s maticí přechodu










=
100
001
02/12/1
1P .
8.6. Důsledek: Důsledek pro třídu trvalých stavů a pro třídu přechodných stavů
a) Řetězec nikdy neopustí třídu trvalých stavů, jakmile do ní jednou vstoupí.
b) Řetězec se nikdy nevrátí do třídy přechodných stavů, jakmile ji jednou opustí.
8.7. Věta: Kritérium pro stanovení třídy trvalých stavů
Množina stavů JC ⊆ je třída trvalých stavů, právě když pij = 0 pro Cj,Ci ∉∈∀ .
Důkaz: Nebudeme provádět.
8.8. Definice: Definice rozložitelného a nerozložitelného homogenního markovského řetězce
Homogenní markovský řetězec se nazývá nerozložitelný, jestliže všechny jeho stavy jsou sousledné. V opačném případě
říkáme, že řetězec je rozložitelný.
Ekvivalentní definice: HMŘ se nazývá nerozložitelný, jestliže v něm neexistuje jiná třída trvalých stavů než J.
8.9. Věta: Řetězec s konečně mnoha stavy je rozložitelný právě tehdy, má-li matice přechodu (po případném přečíslování
stavů) tvar 





=
BA
0P
P 1
, kde P1, B jsou čtvercové matice.
Důkaz: viz Prášková, str. 37.
8.10. Příklad: Uvažme náhodnou procházku s pohlcujícími stěnami, tj. homogenní markovský řetězec { }0n Nn;X ∈
s množinou stavů J = {0,1, ..., N-1, N} a přechodovým diagramem
Zjistěte, zda tento řetězec je rozložitelný. Pokud ano, najděte třídy trvalých a přechodných stavů.
Řešení: Z přechodového diagramu okamžitě vyplývá, že stavy 0 a N jsou sousledné jenom samy se sebou.
Ostatní stavy 1, 2, ..., N-1 jsou sousledné, řetězec je tedy rozložitelný a { } { } { }1N,,2,1J,N0J PT
−=∪= … .
0 1
1-p
1
2
1-p
p
N-2
1-p
p
1-p
p
1
p
N-1 N
1-p
p
8.11. Definice: Definice stavů stejného typu
Řekneme, že stavy Jj,i ∈ homogenního markovského řetězce jsou stejného typu, jestliže jsou oba
a) přechodné
b) trvalé nenulové
c) trvalé nulové
d) neperiodické
e) periodické s touž periodou.
8.12. Věta: Věta o solidaritě
Jsou-li stavy i a j sousledné, pak jsou stejného typu.
Důkaz: Nebudeme provádět.
8.13. Důsledek: Důsledek pro nerozložitelný homogenní markovský řetězec
V nerozložitelném homogenním markovském řetězci jsou všechny stavy stejného typu. Má-li nerozložitelný homogenní
markovský řetězec konečnou množinu stavů, pak jsou všechny stavy trvalé nenulové.
8.14. Věta: Věta o stacionárním rozložení nerozložitelného HMŘ
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec . Pak platí:
1. Jsou-li všechny jeho stavy přechodné nebo všechny trvalé nulové, pak stacionární rozložení neexistuje.
2. Jsou-li všechny jeho stavy trvalé nenulové, pak stacionární rozložení existuje a je jediné.
2a) Jsou-li všechny stavy neperiodické, pak ( ) Jji,,0nplima ij
n
j ∈>=
∞→
a také ( ) Jj,0nplima j
n
j ∈>=
∞→
2b) Jsou-li všechny stavy periodické, pak ( ) Jji,,0kp
n
1
lima
n
1k
ij
n
j ∈>= ∑=
∞→
a také ( ) Jj,0kp
n
1
lima
n
1k
j
n
j ∈>= ∑=
∞→
8.15. Důsledek: V nerozložitelném homogenním markovském řetězci s konečně mnoha stavy stacionární
rozloženi existuje.
8.16. Věta: Věta o množině stavů dosažitelných z trvalého stavu.
Nechť stav i je dosažitelný z nějakého trvalého stavu j. Pak platí:
a) stav i je trvalý stav stejného typu jako stav j
b) i a j jsou sousledné stavy
c) fji = fij = 1 (tj. pravděpodobnost, že řetězec vycházející ze stavu j resp. i vůbec někdy vstoupí do stavu i resp. j, je rovna 1).
(Znamená to, že množina stavů dosažitelných z nějakého trvalého stavu j je množina trvalých stavů a tvoří nerozložitelný
podřetězec původního řetězce.)
8.17. Poznámka:
Nejprve pro jednoduchost předpokládejme, že v rozložitelném řetězci existují jen dvě třídy stavů. Znamená to, že
současným přečíslováním stavů v matici přechodu lze vytvořit nulové submatice.
Dostáváme pak buď matici typu






=
2
1
P0
0P
P , kde P1, P2 jsou čtvercové matice obsahující pravděpodobnosti přechodu mezi třídami stavů, přičemž obě
třídy jsou třídy trvalých stavů,
nebo typu






=
QR
0P
P 1
, kde P1, Q jsou čtvercové matice, přičemž P1 obsahuje pravděpodobnosti přechodu mezi trvalými stavy,
matice Q obsahuje pravděpodobnosti přechodu mezi přechodnými stavy a matice R je tvořena pravděpodobnostmi přechodu
z přechodných do trvalých stavů.
Je-li matice P rozložitelná na tvar






=
0P
P0
P
2
1
, kde 0 jsou nulové čtvercové matice, bude systém oscilovat mezi dvěma třídami přechodných stavů a
příslušná matice P bude popisovat periodický řetězec.
8.18. Poznámka: poznámka o rozkladu konečné množiny stavů J a o kanonickém tvaru matice přechodu
Předpokládejme nyní, že rozložitelný HMŘ je tvořen jak trvalými, tak přechodnými stavy, přičemž má r tříd trvalých stavů.
Věta 8.16. umožní rozložit množinu stavů J takto:
Nechť j1 je trvalý stav s nejnižším indexem a J1 je množina všech stavů dosažitelných z j1.
Nechť j2 je trvalý stav s nejnižším indexem mezi těmi trvalými stavy, které nepatří do J1 a nechť J2 je množina všech stavů
dosažitelných z j2 atd.
Lze tedy psát Pr21 JJJJJ ∪∪∪∪= … , kde J1, J2, ..., Jr jsou neslučitelné množiny trvalých stavů a JP je množina stavů
přechodných. Je-li J konečná množina, pak matici přechodu P lze psát v tzv. kanonickém tvaru (po eventuálním přečíslování
stavů).
Kanonický tvar matice P
JT
J
J1 J2 ... Jr
JP
J1 P1 Ø ... Ø Ø
J2 Ø P2 ... Ø Ø
... ... ... ... ... ...
JT
Jr Ø Ø ... Pr Ø
JP R1 R2 ... Rr Q
P1, ..., Pr jsou matice obsahující pravděpodobnosti přechodu mezi třídami trvalých stavů
J1, ..., Jr. Matice R1, ..., Rr obsahují pravděpodobnosti přechodu mezi třídami přechodných a
trvalých stavů. Matice Q obsahuje pravděpodobnosti přechodu mezi přechodnými stavy.
8.19. Poznámka: Kanonický tvar matice přechodu lze v MATLABu získat pomocí funkce kant(P)
function[KT,NU,DS] = kant(P)
% Funkce pro vypocet kanonickeho tvaru matice prechodu rozlozitelneho HMR
% Syntaxe: [KT,NU,DS] = kant(P)
% Vstupni parametr: P ... matice prechodu HMR
% Vystupni parametry: KT ... matice prechodu v kanonickem tvaru
% NU ... nove usporadani
% DS ... tabulka dosazitelnych stavu
% Vytvoril: Karel Vaculík
8.20. Příklad: Je dán homogenní markovský řetězec { }0n
Nn;X ∈ s množinou stavů J = {0,1, ..., 5} a maticí přechodu




















=
4/304/1000
2/102/1000
2/13/16/1000
5/105/15/25/10
0004/12/14/1
000001
P . Najděte kanonický tvar matice P.
Řešení:
Přechodový diagram
J1 = {0}, J2 = {3, 4, 5}, JP = {1, 2}.
Kanonický tvar matice přechodu:




















=
5/25/15/105/10
4/12/10004/1
004/304/10
002/102/10
002/13/16/10
000001
P .
Vidíme tedy, že
( )11 =P










=
4/304/1
2/102/1
2/13/16/1
2P






=
0
4/1
1R






=
5/105/1
000
2R






=
5/25/1
4/12/1
Q .
8.21. Definice: Definice fundamentální matice nerozložitelného homogenního markovského řetězce
Nechť { }0n Nn;X ∈ je nerozložitelný homogenní markovský řetězec s maticí přechodu P. Limitní matici přechodu označme
A. Fundamentální matici Z tohoto řetězce definujeme vztahem: ( )( ) 1−
−−= APIZ .
8.22. Věta: Věta o výpočtu středních hodnot dob prvních vstupů
Označme mij střední hodnotu doby 1. vstupu řetězce do stavu j za předpokladu, že vychází ze stavu i. Sestavíme matici
( ) Jj,iij
m ∈
=M . Pak ( )MZEZIM
⌢⌢
+−= , kde E je matice ze samých jedniček, matice Z
⌢
obsahuje jen diagonální prvky matice
Z a matice M
⌢
obsahuje jen diagonální prvky matice M.
8.23. Příklad: Při dlouhodobém sledování velkého souboru voličů s časovým krokem 1 měsíc byly zkoumány volební
preference. Rozlišujeme strany A, B, C a Ostatní. Zavedeme homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů J
= {1, 2, 3, 4}, kde Xn = 1, když náhodně vybraný volič preferuje v n-tém měsíci stranu A, Xn = 2 pro stranu B, Xn = 3 pro
stranu C a Xn = 4 pro ostatní strany. Pravděpodobnosti přechodu sympatií voličů jsou uvedeny v matici přechodu:












=
92,003,0005,0
1,08,005,005,0
12,005,082,001,0
14,011,005,07,0
P . Najděte limitní matici přechodu a vypočtěte matici středních hodnot dob prvních přechodů.
Řešení: Limitní matici přechodu získáme složením čtyř stacionárních vektorů. Stacionární vektor existuje, neboť již matice
P2
má všechny prvky kladné.
Řešením systému a = aP s podmínkou 1a
4
1j
j
=∑=
získáme stacionární vektor: a = (0,1328; 0,0881; 0,1843; 0,5949).
Znamená to, že během dlouhé doby může strana A očekávat 13,3% voličů, strana B 8,8%, strana C 18,4% a ostatní strany
dohromady 59,5%.
Limitní matice přechodu














=
5949,01843,00881,01328,0
5949,01843,00881,01328,0
5949,01843,00881,01328,0
5949,01843,00881,01328,0
A
Interpretace 1. řádku matice A: Pokud volič v jednom měsíci preferoval stranu A, pak
v následujícím měsíci ji bude s pravděpodbností 13,3% preferovat opět. Ke straně B se
přikloní s pravděpodobností 8,8%, ke straně C s pravděpodobností 18,4% a
s pravděpodobností 59,5% zvolí některou z ostatních stran.
K výpočtu matice středních hodnot dob prvních přechodů potřebujeme fundamentální matici Z:
( )( )














−−−
−−
−−−
−
=−−=
−
6895,27885,07502,01508,0
7644,26153,34354,02863,0
3986,2531,07037,47741,0
1411,22549,02999,05863,2
1
APIZ .
Matice














=
6895,2000
06153,300
007037,40
0005863,2
ˆZ , matice






















=
5949,0
1
000
0
01843
1
00
00
0881,0
1
0
000
1328,0
1
ˆM .
Matice ( )














=+−=
6811,18971,239231,616122,20
1686,94265,54615,486327,21
5535,85,223538,113061,25
1207,82353,18505306,7
MZEZIM
⌢⌢
.
Interpretace 1. řádku matice M: Volič, který na začátku sledování preferoval stranu A, v průměru za 7,5 měsíce dá poprvé
znovu hlas této straně. V průměru za 50 měsíců bude poprvé preferovat stranu B a v průměru za 18,2 měsíce bude poprvé
preferovat stranu C. V průměru za 8,1 měsíce se poprvé přikloní k některé z ostatních stran.
8.24. Využití markovských řetězců v modelech obnovy
Úvod: Modely obnovy popisují procesy opotřebovávání a vyřazování prvků z procesu a jejich
nahrazování novými prvky. Jedná se např. o knihy v knihovně, žárovky veřejného osvětlení, lyže
v půjčovně apod.
Budeme s zabývat nejjednodušším modelem, a to modelem prosté obnovy s diskrétním časem.
Předpoklady:
1. Časová období, v nichž se proces sleduje, jsou stejně dlouhá.
2. Vyřazení a obnova prvků probíhá nespojitě, vždy na konci časového období.
3. Celkový počet prvků v procesu se nemění.
4. Všechny prvky mají stejnou maximální životnost.
5. Všechny prvky jsou technicky homogenní, tj. stejného druhu.
6. Na počátku procesu jsou všechny prvky nové a obnova se provádí pouze novými prvky.
7. Neuvažuje se morální ani částečné opotřebení prvků.
Označení:
N … maximální doba životnosti prvků.
an … pravděpodobnost selhání prvku v n-tém období, n = 1, 2, …, N. Protože životnost objektů
je konečná s maximální délkou N, musí do doby N dojít k selhání všech prvků, tedy 1a
N
1n
n
=∑=
.
rn … pravděpodobnost dožití n a více období. Přitom rn = an+1 + an+2 + … + aN, n = 0, 1, …, N-1.
Speciálně rN-1 = aN, r0 = 1.
w0 … počet nových prvků na počátku sledování procesu.
wn … počet prvků, které jsou v provozu na počátku n-tého období, n =1, 2, …, N.
Pravděpodobnosti an, rn v praxi zpravidla neznáme. Můžeme je však odhadnout pomocí
relativních četností.
Odhad pravděpodobnosti selhání an označíme n
aˆ a je to relativní četnost prvků, které selhaly
mezi časem n-1 a n, tj.
0
1nn
n
w
ww
aˆ −
−
= , n = 1, 2, …, N.
Odhad pravděpodobnosti dožití rn označíme n
rˆ a je to relativní četnost prvků, které jsou
v provozu na konci n-tého období, tj.
0
n
n
w
w
rˆ = , n = 0, 1, …, N-1.
V modelu prosté obnovy s diskrétním časem řešíme několik úloh.
Úloha č. 1: Jaká je střední hodnota doby životnosti prvků?
Řešení: V tomto pojetí je doba životnosti objektu diskrétní náhodná veličina
s pravděpodobnostní funkcí aj pro j = 1, 2, …, N. Její střední hodnota je ∑=
=
N
1n
n
naV . Odhadem
této střední hodnoty je průměrná doba životnosti ∑=
=
N
1n
n
aˆnV .
Úloha č. 2: Jaká je střední hodnota počtu obnov (tj. nově zařazených prvků) na konci n-tého
období, tj. na počátku (n+1). období?
Řešení: Zavedeme homogenní markovský řetězec { }0n
Nn;X ∈ s množinou stavů { }N,,1,0J …= ,
kde Xn = j, když v n-tém období má prvek stáří j.
V každém kroku procesu má prvek dva možné přechody:
- pokud selže v čase od n – 1 do n, je vyřazen ve stáří n – 1 a je nahrazen novým prvkem;
- pokud neselže v čase od n – 1 do n, přejde ze stáří n – 1 do stáří n.
Matice přechodu má tvar:
























=
−
−
−
−
00001
r
r
000
r
a
0
r
r
00
r
a
00
r
r
0
r
a
000ra
2N
1N
2N
1N
2
3
2
3
1
2
1
2
11
…
…
………………
…
…
…
P .
V matici přechodu je nutné uvažovat podmíněné
pravděpodobnosti, podmínkou je, že prvek došel do daného
stáří.
Vektor počátečních pravděpodobností:
p(0) = (1, 0, 0, …, 0), protože na počátku procesu jsou
všechny prvky nové.
Střední hodnotu počtu obnov získáme jako první složku
vektoru w0p(n) = w0. p(0).Pn
.
Úloha č. 3: Jaký je limitní počet obnov?
Řešení:
Označme u0 (≡ w0) počet prvků na začátku sledování procesu, un počet obnov na konci n-tého
období.
Na konci 1. období: u1 = a1u0,
na konci 2. období: u2 = a1u1 + a2u0,
na konci 3. období: u3 = a1u2 + a2u1 + a3u0,
…………………………………………….
na konci (N-1). období: uN-1 = a1uN-2 + a2uN-3 + … + aN-1u0.
Pro n ≥ N: un = a1un-1 + a2un-2 + … + aNun-N (z procesu už jsou vyřazeny všechny původní prvky).
Těmto rovnicím se říká rovnice obnovy. Řeší se buď přímým dosazováním nebo analyticky –
jedná se o systém homogenních lineárních diferenčních rovnic s konstantními koeficienty.
Francouzský matematik M. R. Fréchet odvodil, že nn
ulim∞→
existuje tehdy a jen tehdy, když indexy
nenulových pravděpodobností an, n = 1,2, …, N nemají společného dělitele. Pak
V
u
ulim 0
nn
=∞→
.
Limitní počty prvků pro jednotlivá stáří jsou pak dány vektorem ( )1N21
0
r,,r,r,1
V
u
−
… .
Úloha č. 4: Jaké jsou počty prvků pro jednotlivá stáří v n-tém období (tzv. věková struktura
souboru podle stáří prvků)?
Řešení: Vektor počátečních pravděpodobností: p(0) = (1, 0, 0, …, 0).
Matice přechodu:
















=
0001
r
r
00
r
a
0
r
r
0
r
a
00ra
2
3
2
3
1
2
1
2
11
P .
Podle zákona evoluce je vektor absolutních pravděpodobností po n krocích: p(n) = p(0)Pn
a
strukturu souboru podle stáří prvků získáme jako w0 p(n).
Příklad: Systém má na počátku 2000 nových prvků. Maximální doba životnosti prvku je 4 roky.
Pravděpodobnosti selhání v 1. až 4. roce jsou a1 = 0,2, a2 = 0,25, a3 = 0,25, a4 = 0,3.
a) Najděte střední hodnotu životnosti prvků.
b) Jaká je střední hodnota počtu obnov na konci 6. roku?
c) Vypočtěte limitní počet obnov.
d) Určete věkovou strukturu systému na konci 8. roku.
e) Vypočtěte limitní věkovou strukturu systému.
Řešení:
Ad a)
Střední hodnotu životnosti prvků vypočteme podle vzorce ∑=
=
N
1n
n
naV :
65,23,0425,0325,022,01V =⋅+⋅+⋅+⋅=
Střední hodnota životnosti prvků je 2,65 roku.
Ad b) (Jaká je střední hodnota počtu obnov na konci 6. roku?)
Ze známých pravděpodobností selhání vypočteme pravděpodobnosti dožití:
r0 = a1 + a2 + a3 + a4 = 0,2 + 0,25 + 0,25 + 0,3 = 1
r1 = a2 + a3 + a4 = 0,25 + 0,25 + 0,3 = 0,8
r2 = a3 + a4 = 0,25 + 0,3 = 0,55
r3 = a4 = 0,3
Sestavíme matici přechodu:












=
















=
















=
0001
5455,0004545,0
06875,003125,0
008,02,0
0001
55,0
3,0
00
55,0
25,0
0
8,0
55,0
0
8,0
25,0
008,02,0
0001
r
r
00
r
a
0
r
r
0
r
a
00ra
2
3
2
3
1
2
1
2
11
P
Vektor počátečních pravděpodobností: p(0) = (1, 0, 0, 0)
Střední hodnotu počtu obnov získáme jako první složku vektoru w0p(6) = 2000. p(0).P6
=
= (728,378; 513,312; 543,51; 214,8), tedy na konci 6. roku bude průměrně provedeno 729
obnov.
Upozornění: Použijeme-li pro výpočet aplikaci uvedenou na adrese
http://www.milankabrt.cz/modelObnovy/step1.php,
dostaneme poněkud odlišný výsledek (728,883; 513,613; 542,903; 214,601).
Odlišnost je způsobena zaokrouhlováním.
Ad c) (Vypočtěte limitní počet obnov.)
72,754
65,2
2000
V
u
ulim 0
nn
===∞→
Limitní počet obnov činí 754,72 prvků.
Ad d) (Určete věkovou strukturu systému na konci 8. roku.)
w0p(8) = 2000. p(0).P8
= (792,5516; 614,3485; 400,6079; 192,492),
což znamená, že na konci 8. roku bude v systémů průměrně
792,5516 nových prvků,
614,3485 prvků starých 1 rok,
400,6079 prvků starých 2 roky a
192,492 prvků starých 3 roky.
Při použití webové aplikace je výsledek: (792,574; 614,572; 400,594; 192,304).
Ad e) (Vypočtěte limitní věkovou strukturu systému.)
Limitní věková struktura systému je (754,717; 603,7736; 415,0943; 226,4151) resp.
(755; 604; 414,9; 226,1).
9. Absorpční homogenní markovské řetězce
9.1. Definice: Definice absorpčního stavu
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s množinou stavů J.
Řekneme, že stav Jj∈ je absorpční stav, jestliže pjj = 1 (tzn., že ze stavu j není dosažitelný žádný jiný stav). Když řetězec
vstoupí do absorpčního stavu, pak řekneme, že je absorbován.
9.2. Věta: Věta o vztahu mezi absorpčním stavem a trvalým stavem
Každý absorpční stav je trvalým stavem.
Důkaz: Plyne přímo z definice trvalého stavu.
9.3. Definice: Definice absorpčního homogenního markovského řetězce
Homogenní markovský řetězec s konečnou množinou stavů se nazývá absorpční, jestliže každý jeho trvalý stav je absorpční.
9.4. Příklad: Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s množinou stavů J = {0,1, ..., 5} a maticí přechodu




















=
100000
001000
010000
4/304/1000
0003/103/2
000010
P . Zjistěte, zda jde o absorpční řetězec.
Řešení:
Přechodový diagram
JT = {3,4}∪ {5}, JP = {0, 1, 2}.
Stavy 3 a 4 jsou trvalé, ale nejsou absorpční. Řetězec tedy není absorpční.
0 1
2/3
1
2
1/3
3
3/4
1/4
4
1
1
5
1
9.5. Definice: Definice fundamentální matice absorpčního řetězce
Nechť { }0n Nn;X ∈ je absorpční řetězec s konečnou množinou stavů, který má r absorpčních a s neabsorpčních stavů. Stavy
přečíslujeme tak, aby po množině JA r absorpčních stavů následovala množina JN s neabsorpčních stavů. Matici přechodu P
přepíšeme do kanonického tvaru 





=
QR
0I
P , kde
I je jednotková matice řádu r,
0 je nulová matice typu r x s,
R je matice typu s x r obsahující pravděpodobnosti přechodu z neabsorpčních do absorpčních stavů a
Q je čtvercová matice řádu s obsahující pravděpodobnosti přechodu mezi neabsorpčními stavy.
Matice ( ) 1−
−= QIM (kde I je jednotková matice řádu s) se nazývá fundamentální matice absorpčního řetězce.
Vysvětlení: Prvek mij matice M udává střední hodnotu počtu kroků, které řetězec stráví v neabsorpčním stavu j před
přechodem do absorpčního stavu, pokud vyšel z neabsorpčního stavu i. Inverzní matice existuje, pokud Qn
konverguje k 0.
9.6. Poznámka: Význam součtu prvků v i-tém řádku fundamentální matice M
Střední hodnotu počtu kroků, které řetězec stráví v neabsorpčních stavech, když vychází z neabsorpčního stavu i a skončí
v absorpčním stavu, vypočítáme jako součet prvků v i-tém řádku fundamentální matice M. Maticový zápis: t = Me, kde e je
sloupcový vektor typu s x 1 ze samých jedniček.
9.7. Příklad: Dva hráči A a B dali dohromady do hry vklad 4 Kč. Hráč A hází mincí. Když padne líc, vyhrává 1 Kč, když
rub, prohrává 1 Kč. Hra trvá tak dlouho, až je jeden z hráčů zruinován.
a) Popište situaci pomocí homogenního markovského řetězce. Najděte matici přechodu a nakreslete přechodový diagram.
b) Ukažte, že řetězec je absorpční.
c) Najděte fundamentální matici a interpretujte její prvky.
b) Vypočtěte střední hodnotu počtu kroků, které řetězec stráví v neabsorpčních stavech.
Řešení:
ad a) Zavedeme homogenní markovský řetězce { }0n Nn;X ∈ s množinou stavů J = {0,1, 2, 3, 4}, přičemž Xn = j, když v ntém
kroku hry má hráč A právě j Kč.
Matice přechodu:
















=
10000
2/102/100
02/102/10
002/102/1
00001
P
Přechodový diagram:
ad b) JT = {0}∪ {4}, JP = {1, 2, 3}. Trvalé stavy 0 a 4 jsou absorpční, řetězec je tedy absorpční.
0 1
1
1/2
2
1/2
1/2
3
1/2
1/2
4
1/2
1
ad c) Matici přechodu v kanonickém tvaru získáme tak, že nejprve zapíšeme pravděpodobnosti přechodu vztahující se
k absorpčním stavům 0 a 4 a poté pravděpodobnosti přechodu vztahující se k neabsorpčním stavům 1, 2, 3.
Původní matice přechodu:
















=
10000
2/102/100
02/102/10
002/102/1
00001
P
Matice přechodu v kanonickém tvaru:
















=
02/102/10
2/102/100
02/1002/1
00010
00001
P
Pro výpočet fundamentální matice M potřebujeme matici Q obsahující pravděpodobnosti přechodu mezi neabsorpčními
stavy: 321










−
−−
−
=−










=
12/10
2/112/1
02/11
,
02/10
2/102/1
02/10
QIQ , ( )










=−=
−
2/312/1
121
2/112/3
3
2
1
1
QIM
Interpretace: Podívejme se např. na druhý řádek matice M. Má-li hráč A v daném okamžiku 2 Kč, pak lze očekávat, že
před skončením hry bude mít v průměru jedenkrát 1 Kč, dvakrát 2 Kč a jedenkrát 3 Kč.
ad d) Podle poznámky 8.6. dostáváme:
t = Me =










=










⋅










3
4
3
1
1
1
2/312/1
121
2/112/3 Interpretace: Má-li hráč A v daném okamžiku buď 1 Kč nebo 3 Kč, tak v průměru
po třech krocích hra skončí. Má-li hráč A v daném okamžiku 2 Kč, pak v průměru
po čtyřech krocích hra skončí.
9.8. Věta: Věta o pravděpodobnostech přechodu do absorpčních stavů
Označme bij pravděpodobnost, že řetězec vycházející z neabsorpčního stavu i bude absorbován ve stavu j.
Sestavíme matici B = ( ) Jj,iijb ∈
.
Pak B = MR, kde M je fundamentální matice absorpčního řetězce a R je matice v levém dolním rohu matice přechodu P
v kanonickém tvaru.
Důkaz: Nechť i je neabsorpční a j absorpční stav. Stavu j může být dosaženo 1. krokem s pravděpodobností pij nebo
přechodem do neabsorpčního stavu k s pravděpodobností pik a odtud přechodem do absorpčního stavu j s pravděpodobností
bkj. Tedy ∑∈
=
Jk
kjikij bpb . Maticově: B = R + QB, B – QB = R, (I – Q)B = R, B = (I – Q)-1
R = MR.
9.9. Definice: Definice matice přechodu do absorpčních stavů daného absorpčního řetězce
Matice B se nazývá matice přechodu do absorpčních stavů daného absorpčního řetězce.
9.10. Příklad: Pro zadání z příkladu 9.7. vypočtěte matici přechodu do absorpčních stavů a interpretujte její prvky. Pro
připomenutí: Dva hráči A a B dali dohromady do hry vklad 4 Kč. Hráč A hází mincí. Když padne líc, vyhrává 1 Kč, když
rub, prohrává 1 Kč. Hra trvá tak dlouho, až je jeden z hráčů zruinován.
Řešení:
Matice přechodu v kanonickém tvaru:
















=
02/102/10
2/102/100
02/1002/1
002/110
00001
P , tedy










=
2/10
00
02/1
R . Již jsme vypočetli, že










=
2/312/1
121
2/112/3
M , tedy B = MR =










=










⋅










4/34/1
2/12/1
4/14/3
2/10
00
02/1
2/312/1
121
2/112/3
.
Interpretace: Má-li hráč A v daném okamžiku 1 Kč, pak bude s pravděpodobností 3/4 zruinován on a s pravděpodobností
1/4 bude zruinován hráč B. Má-li hráč A v daném okamžiku 2 Kč, pak bude s pravděpodobností 1/2 zruinován on a
s pravděpodobností 1/2 bude zruinován hráč B. Má-li hráč A v daném okamžiku 3 Kč, pak bude s pravděpodobností 1/4
zruinován on a s pravděpodobností 3/4 bude zruinován hráč B.
9.11. Poznámka: Charakteristiky absorpčního řetězce můžeme v MATLABu vypočítat pomocí funkce absorb.m:
function [P0,M,B,t,rt]=absorb(P)
% Funkce pro vypocet zakladnich charakteristik absorpcniho retezce
% Autor: Hana Tužilová
% function [P0,M,B,t]=absorb(P)
% vstupni parametr: matice prechodu P
% vystupni parametry: P0 ... matice prechodu v kanonickem tvaru
% M ... fundamentalni matice
% B ... matice prechodu do absorpcnich stavu
% t ... vektor strednich hodnot poctu kroku pred
% absorpci
% rt ... vektor rozptyu poctu kroku pred
% absorpci
D=diag(P); % identifikace absorpcnich stavu
j=find(D==1);
n=length(P);
T=1:n;
T(j)=[];
T=[j',T];
A=zeros(n); % sestaveni kanonickeho tvaru matice P
T=(0:n:(n^2-n))+T;
A(T)=1;
P0=A'*P*A;
m=length(j); % vypocet ostatnich charakteristik
Q=P0((m+1):n,(m+1):n);
M=eye(n-m)/(eye(n-m)-Q);
R=P0((m+1):n,1:m);
B=M*R;
t=M*ones(n-m,1);
tkv=t.*t;
rt=(2*M-eye(n-m))*t-tkv;
Použijeme-li tuto funkci na řešení příkladu 9.10., dostaneme výsledky:
Pk =
1.0000 0 0 0 0
0 1.0000 0 0 0
0.5000 0 0 0.5000 0
0 0 0.5000 0 0.5000
0 0.5000 0 0.5000 0
M =
1.5000 1.0000 0.5000
1.0000 2.0000 1.0000
0.5000 1.0000 1.5000
B =
0.7500 0.2500
0.5000 0.5000
0.2500 0.7500
t =
3.0000
4.0000
3.0000
rt =
8.0000
8.0000
8.0000
9.12. Příklad: Jistá firma třídí svoje pohledávky po termínu splatnosti do 30 denních intervalů. Pohledávky, které jsou
nad 90 dnů po době splatnosti, jsou považovány za nedobytné. K popisu situace zavedeme homogenní markovský řetězec
s množinou stavů J = {1, 2, 3, 4, 5}, kde
stav 1 znamená pohledávky 0 – 30 dní po době splatnosti,
stav 2 pohledávky 31 – 60 dní po době splatnosti,
stav 3 pohledávky 61 – 90 dní po době splatnosti,
stav 4 splacené pohledávky a
stav 5 nedobytné pohledávky.
Dlouhodobou analýzou doby splatnosti jednotlivých pohledávek bylo zjištěno, že pravděpodobnosti přechodu jsou:
p12 = 0,77, p14 = 0,23, p23 = 0,34, p24 = 0,66, p34 = 0,73 a p35 = 0,27.
Úkoly:
a) Sestavte matici přechodu.
b) Klasifikujte stavy na absorpční a neabsorpční a najděte kanonický tvar matice přechodu.
c) Vypočtěte fundamentální matici a interpretujte její prvky.
d) Vypočtěte matici přechodu do absorpčních stavů a interpretujte její prvky.
e) Zjistěte vektor středních hodnot počtu kroků před absorpcí.
f) Předpokládejme, že objem pohledávek po termínu splatnosti v jednotlivých 30 denních intervalech je (4 030 000 Kč,
9 097 000 Kč, 3 377 000 Kč). Jaká je průměrná hodnota splacených a nedobytných pohledávek?
Řešení:
ad a)
1 2 3 4 5 Přechodový diagram:
















=
10000
01000
27,073,0000
066,034,000
023,0077,00
5
4
3
2
1
P
ad b) Řetězec má tři přechodné stavy, a to 1, 2, 3 a dva trvalé stavy, a to 4 a 5. Oba jsou absorpční, tedy řetězec je absorpční.
Kanonický tvar matice přechodu:
4 5 1 2 3
















=
00027,073,0
34,000066,0
077,00023,0
00010
00001
3
2
1
5
4
P ,










=
27,073,0
066,0
023,0
R ,










=
000
34,000
077,00
Q .
ad c) Vypočteme fundamentální matici absorpčního řetězce:
1 2 3
( )










=−=
−
100
34,010
26,077,01
3
2
1
1
QIM
Interpretace 1. řádku: pohledávka zařazená do stavu 1 v něm v průměru stráví 1 x 30 = 30 dnů než bude splacena nebo
zařazena mezi nedobytné pohledávky. Pohledávka zařazená do stavu 1 stráví v průměru 0,77 x 30 = 23,1 dne ve stavu 2 než
bude splacena nebo zařazena mezi nedobytné pohledávky. Pohledávka zařazená do stavu 1 stráví v průměru 0,26 x 30 = 7,8
dne ve stavu 3 než bude splacena nebo zařazena mezi nedobytné pohledávky.
ad d) Vypočteme matici přechodu do absorpčních stavů:
4 5










=










⋅










==
27,073,0
0918,09082,0
0707,09293,0
3
2
1
27,073,0
066,0
023,0
100
34,010
26,077,01
MRB .
Interpretace 1. řádku: pohledávka zařazená do stavu 1 bude s pravděpodobností 0,9293 splacena a s pravděpodobností
0,0707 se stane nedobytnou.
ad e) Vypočteme vektor středních hodnot počtu kroků před absorpcí:










=




















==
1
34,1
03,2
3
2
1
1
1
1
100
34,010
26,077,01
Met
Interpretace:
2,03 x 30 = 60,9 – pohledávce zařazené do stavu 1 bude v průměru trvat 60,9 dne než bude splacena nebo zařazena mezi
nedobytné pohledávky.
1,34 x 30 = 40,2 – pohledávce zařazené do stavu 2 bude v průměru trvat 40,2 dne než bude splacena nebo zařazena mezi
nedobytné pohledávky.
1 x 30 = 30 – pohledávce zařazené do stavu 3 bude v průměru trvat 30 dnů než bude splacena nebo zařazena mezi nedobytné
pohledávky.
ad f) Připomínáme, že objem pohledávek po termínu splatnosti v jednotlivých 30 denních intervalech je
(4 030 000 Kč, 9 097 000 Kč, 3 377 000 Kč). Průměrná hodnota splacených a nedobytných pohledávek:
( ) ( )203181614472184
27,073,0
0918,09082,0
0707,09293,0
337700090970004030000 =










Průměrná hodnota splacených pohledávek je tedy 14 472 184 Kč a nedobytných pohledávek je 2 031 816 Kč.
10. Vytvořující funkce a jejich aplikace při analýze homogenních markovských řetězců
10.1. Motivace:
Při analýze homogenních markovských řetězců se často pracuje s mocninami přechodu, což je výpočetně náročné. Tomu se
lze vyhnout, pokud použijeme vytvořující funkce. Postupujeme tak, že najdeme transformaci daného originálu, učiníme
příslušnou operaci a provedeme zpětnou transformaci. Lze dokázat, že mezi originálem a jeho transformací existuje
vzájemně jednoznačný vztah. Vytvořující funkce se též nazývají z-transformace a jsou diskrétní obdobou Laplaceovy
transformace, která se často používá především v technických aplikacích.
10.2. Definice: Definice vytvořující funkce reálné posloupnosti
Nechť { }∞
=0nna je posloupnost reálných čísel. Jestliže řada ∑
∞
=
=
0n
n
na za)z(G konverguje v nějakém okolí 0, nazveme ji
vytvořující funkcí posloupnosti { }∞
=0nna . (Obecněji lze vytvořující funkci zavést i pro posloupnost komplexních čísel, ale
tímto případem se zabývat nebudeme.)
10.3. Příklad:
Najděte vytvořující funkce k posloupnostem:
a) an = 1, n = 0, 1, ...
b) an = n, n = 0, 1, ...
c) an = xn
, n = 0, 1, ...
d) an = nxn
, n = 0, 1, ...
Řešení:
ad a) 1z,
z1
1
zza)z(G
0n
n
0n
n
na <
−
=== ∑∑
∞
=
∞
=
ad b)
( )
1z,
z1
z
z1
1
dz
d
zz
dz
d
znzznzza)z(G 2
0n
n
1n
1n
0n
n
0n
n
na <
−
=
−
===== ∑∑∑∑
∞
=
∞
=
−
∞
=
∞
=
ad c) xz,
xz1
1
)xz(zxza)z(G
0n
n
0n
nn
0n
n
na <
−
==== ∑∑∑
∞
=
∞
=
∞
=
ad d)
( ) ( ) x
1
z,
xz1
xz
t1
t
t1
1
dt
d
t
t
dt
d
tnttxztsubstituce)xz(nznxza)z(G
22
0n
n
1n
1n
0n
n
0n
nn
0n
n
na
<
−
=
−
=
−
=
======== ∑∑∑∑∑
∞
=
∞
=
−
∞
=
∞
=
∞
=
Výsledky uspořádáme do přehledné tabulky:
an Ga(z)
1 1/(1-z)
n z/(1-z)2
xn
1/(1-xz)
nxn
xz/(1-xz)2
10.4. Věta:
Nechť Ga(z) je vytvořující funkce posloupnosti { }∞
=0nna . Pak pro n = 0, 1, 2, ... platí:
0z
)n(
a
n
!n
)z(G
a
=
= .
Důkaz:
Řadu ∑
∞
=
=
0n
n
na za)z(G budeme derivovat člen po členu a vyjádříme hodnotu této derivace v bodě z = 0. Přitom užijeme
konvenci 00
= 1.
n = 0: Ga(0) = a0
n = 1: 1a
1n
1n
n
0n
n
na a)0(G
dz
d
,nzaza
dz
d
)z(G
dz
d
=== ∑∑
∞
=
−
∞
=
n = 2:
( )
!2
0G
a12a)0(G
dz
d
,z)1n(naza
dz
d
)z(G
dz
d
)2(
a
22a2
2
2n
2n
n
0n
n
n2
2
a2
2
=⇒⋅⋅=−== ∑∑
∞
=
−
∞
=
n = 3:
( )
!3
0G
a123a)0(G
dz
d
,z)2n)(1n(naza
dz
d
)z(G
dz
d
)3(
a
33a3
3
3n
3n
n
0n
n
n3
3
a3
3
=⇒⋅⋅⋅=−−== ∑∑
∞
=
−
∞
=
atd.
10.5. Příklad:
Je dána vytvořující funkce Ga(z) = ez
. Najděte odpovídající posloupnost { }∞
=1nna .
Řešení:
a0 = 1, { }
∞
=
∞
=






====
0n
0nn321
n!
1
atedy,,
!3
1
a,
2
1
a,
1
1
a … .
10.6. Definice: Definice konvoluce a konvoluční mocniny
Nechť { }∞
=0nna , { }∞
=0nnb jsou reálné posloupnosti. Jejich konvolucí rozumíme posloupnost { }∞
=0nnc , kde
cn = a0bn + a1bn-1 + ... + anb0.
Zkráceně píšeme {c} = {a}*{b}.
Konvoluci {a}*{a} nazýváme druhou konvoluční mocninou posloupnosti { }∞
=1nna a značíme ji {a}2*
.
Obecně k-tá konvoluční mocnina posloupnosti { }∞
=0nna je {a}k*
= {a}* ... *{a}.
10.7. Věta: Věta o vytvořující funkci konvoluce
Jestliže posloupnost { }∞
=0nna má vytvořující funkci Ga(z) a posloupnost { }∞
=0nnb má vytvořující funkci Gb(z), pak posloupnost
{ }∞
=0nnc , která je konvolucí daných dvou posloupností, má vytvořující funkci Gc(z) = Ga(z).Gb(z). k-tá konvoluční mocnina
{a}k*
posloupnosti { }∞
=0nna má vytvořující funkci Ga(z)k
.
Důkaz:
Součin Ga(z).Gb(z) dostaneme vynásobením mocninných řad.
Koeficient u zn
je v tomto součinu roven a0bn + a1bn-1 + ... + anb0.
10.8. Definice: Definice vytvořující funkce posloupnosti vektorů či posloupnosti matic
a) Nechť I je nejvýše spočetná indexová množina. Uvažme posloupnost vektorů a0 = ( ) Iii0a ∈
, a1 = ( ) Iii1a ∈
, ....
Vytvořující funkce posloupnosti vektorů { }∞
=1nna je definována vztahem: Ga(z) = ( ) Iiai )z(G ∈
, kde Gai(z) = ∑
∞
=0n
n
ni za .
Zkráceně píšeme: Ga(z) = ∑
∞
=0n
n
n za .
b) Nechť I, J jsou nejvýše spočetná indexové množiny. Uvažme posloupnost maticA0 = ( ) Jj,Iiij0a ∈∈
, A1 = ( ) Jj,Iiij1a ∈∈
, ....
Vytvořující funkce posloupnosti matic { }∞
=0nnA je definována vztahem: GA(z) = ( ) Jj,Iiaij )z(G ∈∈
, kde Gaij(z) = ∑
∞
=0n
n
nijza .
Zkráceně píšeme:
GA(z) = ∑
∞
=0n
n
n zA .
(Vytvořující funkce posloupnosti vektorů či posloupnosti matic vznikne tak, že získáme vytvořující funkce posloupnosti
odpovídajících složek a vzniklé vytvořující funkce uspořádáme do vektoru či do matice.)
10.9. Věta: Věta o vytvořující funkci posloupnosti matic přechodu po n krocích
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s maticí přechodu P. Pak vytvořující funkce posloupnosti matic { }∞
=0n
n
P
má tvar: ( ) 1
z)z(G
−
−= PIP .
Důkaz: ( ) 1
0n
n
0n
nn
z)z(z)z(G
−
∞
=
∞
=
−=== ∑∑ PIPPP .
10.10. Věta: Věta o vytvořující funkci posloupnosti vektorů absolutních pravděpodobností po n krocích
Nechť homogenní markovský řetězec { }0n Nn;X ∈ má matici přechodu P a vektor počátečních pravděpodobností p(0). Pak
vytvořující funkce posloupnosti vektorů absolutních pravděpodobností { }∞
=0n)n(p má tvar: ( ) 1
z)0()z(G
−
−= PIpp .
Důkaz: Podle definice vytvořující funkce posloupnosti vektorů platí: ∑
∞
=
=
0n
n
z)n()z(G pp . Ovšem p(n+1) = p(n).P, tedy
vytvořující funkce posloupnosti vektorů { }∞
=+ 0n)1n(p má tvar: PPpp p ⋅=⋅





=+ ∑∑
∞
=
∞
=
)z(Gz)n(z)1n(
0n
n
0n
n
. Upravíme levou stranu:
( ))0()z(G
z
1
)0(z)k(
z
1
z)k(
z
1
1nkz)1n(
z
1
z)1n(
0k
k
1k
k
0n
1n
0n
n
pppppp p −=





−==+==+=+ ∑∑∑∑
∞
=
∞
=
∞
=
+
∞
=
Odtud dostaneme porovnáním levé a
pravé strany:
( ) Pp pp ⋅=− )z(G)0()z(G
z
1
. Po úpravě: ( ) 1
z)0()z(G
−
−= PIpp .
(Z tohoto vztahu je zřejmé, že při výpočtu vektoru absolutních pravděpodobností se vyhneme umocňování matice P, což
znamená úsporu numerických výpočtů. Na druhou stranu však musíme počítat inverzní matici ( ) 1
z
−
− PI .)
10.11. Příklad: Nechť homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů
J = {1,2} popisuje chování výrobní linky, která se v n-tém období nachází buď v provozu (stav 1) nebo v opravě (stav 2).
Dlouhodobým sledováním byla zjištěna matice přechodu: 





=
75,025,0
5,05,0
P . Pomocí vytvořujících funkcí najděte matici
přechodu po n krocích Pn
a vektor absolutních pravděpodobností po n krocích p(n).
Řešení: Z věty 10.9. plyne, že ( ) 1
z)z(G
−
−= PIP .






−−
−−
=





−





=−





=
4
z3
4
z
2
z
2
z
4
z3
4
z
2
z
2
z
1
1
10
01
z,
75,025,0
5,05,0
PIP
det(I-zP) = ( ) 





−⋅−==−





−⋅





−
4
z
1z1
8
z
2
z3
1
2
z
1
2
…
( )
( )






−
−
−
+





−
==










−
−






−−
=−
−
3/13/1
3/23/2
4
z
1
1
3/23/1
3/23/1
z1
1
2
z
1
4
z
2
z
4
z3
1
4
z
1z1
1
z
1
⋯PI .
(Upozornění: Prvky matice ( ) 1
z
−
− PI byly získány rozkladem na parciální zlomky.
Např. prvek a11 =
( )
4
z
1
3
2
z1
3
1
4
z
1
B
z1
A
4
z
1z1
4
z3
1
−
+
−
==
−
+
−
=






−−
−
… . Podobně získáme další prvky.)
z1
1
−
je vytvořující funkce posloupnosti an = 1, n = 0, 1, 2, ...
4
z
1
1
−
je vytvořující funkce posloupnosti an =
n
4
1






, n = 0, 1, 2, ...
Matici Pn
lze tedy psát ve tvaru: Pn
= 





−
−






+





3/13/1
3/23/2
4
1
3/23/1
3/23/1
n
.
Interpretace: První matice je konstantní a nezávisí na počtu kroků. Lze snadno ověřit, že je to limitní matice přechodu A.
Druhá matice násobená koeficientem
n
4
1






představuje přechodnou složku daného homogenního markovského řetězce.
Pro vektor absolutních pravděpodobností platí:
p(n) = p(0).Pn
= p(0)














−
−






+





3/13/1
3/23/2
4
1
3/23/1
3/23/1 n
.
Druhý sčítanec v závorce pro n → ∞ konverguje k 0, tedy lze psát
( )
( )












=











=





=





=
∞→
3
2
,
3
1
3/23/1
3/23/1
1,0
3
2
,
3
1
3/23/1
3/23/1
0,1
3/23/1
3/23/1
)0()n(lim
n
pp .
Pomocí vytvořujících funkcí jsme tedy dostali vektor limitních pravděpodobností 





3
2
,
3
1
.
11. Markovské řetězce s oceněním přechodů
11.1. Definice: Definice markovského řetězce s oceněním přechodů
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s konečnou množinou stavů J, v němž jsou všechny stavy trvalé
nenulové neperiodické (tj. ergodické). Předpokládáme, že každému přechodu ze stavu i do stavu j je přiřazeno ocenění rij
(představuje výnos nebo ztrátu spojenou s přechodem z i do j). Tato ocenění uspořádáme do matice R = ( ) Jj,iijr ∈
, která se
nazývá matice výnosů. Řetězec { }0n Nn;X ∈ se pak nazývá markovský řetězec s oceněním přechodů.
11.2. Věta: Rekurentní vztah pro střední hodnotu celkového výnosu po n krocích
Nechť { }0n Nn;X ∈ je markovský řetězec s oceněním přechodů, který má matici přechodu P a matici ocenění R. Označme
vi(n) střední hodnotu celkového výnosu, který se získá po n krocích, když řetězec vychází ze stavu i. Dále označme
∑∈
=
Jj
ijiji rpq střední hodnotu výnosu při jednom přechodu ze stavu i. Pak pro Ji ∈∀ a n = 1, 2, 3, ... platí rekurentní vztah:
∑∈
−+=
Jj
iijii
)1n(vpq)n(v , přičemž vi(0) = 0.
V maticové formě: v(n) = q + Pv(n-1).
Důkaz: Nebudeme provádět.
11.3. Příklad: Sledujeme provoz výrobní linky, která se může nacházet ve dvou stavech – v provozu (stav 0) nebo
v opravě (stav 1). Dlouhodobým sledováním byla stanovena matice přechodu: P = 





6,04,0
5,05,0
. Jednotlivým přechodům jsou
přiřazena určitá ocenění (tj. výnosy nebo ztráty) prostřednictvím matice výnosů R = 





− 55
410
. Pro i = 0, 1 položíme
vi(0) = 0. Pro oba stavy vypočtěte střední hodnotu celkového výnosu, který se získá za n = 1, 2,…, 6 období.
Řešení: Nejprve vypočteme střední hodnotu výnosu při jednom přechodu ze stavu 0 resp. 1. Přitom
P = 





6,04,0
5,05,0
, R = 





− 55
410
.
745,0105,0rprprpq 01010000
1
0j
j0j00 =⋅+⋅=+== ∑=
, 1)5(6,054,0rprprpq 11111010
1
0j
j1j11 −=−⋅+⋅=+== ∑=
, tj. 





−
=
1
7
q .
Nyní počítáme v(1) = q + Pv(0) = 





−
=











+





− 1
7
0
0
6,04,0
5,05,0
1
7
, v(2) = q + Pv(1) = 





=





−





+





− 2,1
10
1
7
6,04,0
5,05,0
1
7
atd.
Tabulka středních hodnot celkových výnosů pro n = 1, 2, ..., 6:
n 1 2 3 4 5 6
v0(n) 7 10 12,6 15,16 17,716 20,2716
v1(n) -1 1,2 3,72 6,272 8,8278 11,38272
v0(n+1)-v0(n) x 3 2,6 2,56 2,556 2,5556
v1(n+1)-v1(n) x 2,2 2,52 2,552 2,5558 2,55492
v0(n) - v1(n) 8 8,8 8,88 8,888 8,8888 8,88888
Vidíme, že s rostoucím n se rozdíl v0(n) - v1(n) blíží konstantě 8,8 . Znamená to, že když je na počátku sledování linka
v provozu, tak se po dostatečně dlouhé době získá výnos vyšší o 8,8 jednotek než v případě, kdy je linka na počátku
v opravě. Dále můžeme pozorovat, že s rostoucím n se rozdíl vi(n+1) – vi(n) blíží konstantě 5,2 . To souvisí s limitními
vlastnostmi řetězce.
11.4. Poznámka: Je-li{ }0n Nn;X ∈ homogenní markovský řetězec s množinou stavů { }m,,1,0J …= s oceněním
přechodů nerozložitelný, pak existuje jeho stacionární rozložení ( )m10 a,,a,a …=a a platí:
( ) ( )( ) gqanv1nvlim
m
0j
jjii
n
==−+ ∑=
∞→
.
Konstanta g se nazývá zisk řetězce. V př. 10.3. 





−
=





=
1
7
,
9
5
,
9
4
qa , tedy 5,2
9
5
7
9
4
g =−= .
11.5. Věta: Věta o vytvořující funkci posloupnosti vektorů středních hodnot celkových výnosů po n krocích
Pro vytvořující funkci Gv(z) posloupnosti vektorů { }∞
=1n)n(v platí: ( ) qPIv
1
z
z1
z
)z(G
−
−
−
= .
Důkaz: Podle definice vytvořující funkce posloupnosti vektorů platí: ∑
∞
=
=
0n
n
z)n()z(G vv . Protože platí rekurentní vztah v(n+1)
= q + Pv(n), lze vytvořující funkci posloupnosti vektorů { }∞
=+ 0n)1n(v psát ve tvaru:
PqvPqv v ⋅+
−
=+=+ ∑∑∑
∞
=
∞
=
∞
=
)z(G
z1
1
z)n(zz)1n(
0n
n
0n
n
0n
n
. Upravíme levou stranu:
)z(G
z
1
)0(z)k(
z
1
z)k(
z
1
1nkz)1n(
z
1
z)1n(
0k
k
1k
k
0n
1n
0n
n
vvvvvv =





−==+==+=+ ∑∑∑∑
∞
=
∞
=
∞
=
+
∞
=
Odtud dostaneme porovnáním levé a pravé
strany:
Pq vv ⋅+
−
= )z(G
z1
1
)z(G
z
1
. Po úpravě: ( ) qPI
1
v z
z1
z
)z(G
−
−
−
= .
11.6. Příklad: Pro zadání z příkladu 11.3. najděte vyjádření pro vektor v(n) pomocí vytvořujících funkcí.
Řešení: Z věty 11.5. plyne, že ( ) qPIv
1
z
z1
z
)z(G
−
−
−
= .






−−
−−
=





−





=−





=
5/z315/z2
2/z2/z1
5/z35/z2
2/z2/z
10
01
z,
6,04,0
5,05,0
PIP , det(I-zP) = ( ) 





−⋅−==−





−⋅





−
10
z
1z1
5
z
5
z3
1
2
z
1
2
…
( )
( )






−
−
−
+





−
==












−
−






−−
=−
−
9/49/4
9/59/5
10
z
1
1
9/59/4
9/59/4
z1
1
2
z
1
5
z2
2
z
5
z3
1
10
z
1z1
1
z
1
⋯PI
( )
( ) ( ) 

















−
−






−−
+





−
=−
−
=
−
9/49/4
9/59/5
10
z
1z1
z
9/59/4
9/59/4
z1
z
z
z1
z
)z(G 2
1
qPIv
( )2
z1
z
−
je vytvořující funkce posloupnosti an = n, n = 0, 1, 2, ...
( )
10
z
1
9
10
z1
9
10
10
z
1z1
z
−
−
+
−
==






−−
…
z1
1
9
10
−
⋅ je vytvořující funkce posloupnosti an =
9
10
1
9
10 n
=⋅ , n = 0, 1, 2, ...
10
z
1
1
9
10
−
⋅− je vytvořující funkce posloupnosti an =
n
10
1
9
10






⋅− , n = 0, 1, 2, ...
Celkem:
( ) ( ) ( )












−
−+












=





−
⋅











−
−
−+





=
81
320
81
400
1,01
9
n23
9
n23
1
7
9/49/4
9/59/5
1,01
9
10
9/59/4
9/59/4
nn nn
v
Tedy ( ) ( )n
1
n
0 1,01
81
320
9
n23
)n(v,1,01
81
400
9
n23
)n(v −−=−+= .
Pro dostatečně velká n se výraz 0,1n
bude blížit nule. Když ho zanedbáme, získáme přibližné vyjádření:
v0(n) ≈ 2,5555 n + 4,9383, v1(n) ≈ 2,5555 n - 34,9506.
11.7. Věta: Přibližné vyjádření vektoru středních hodnot celkových výnosů po n krocích pomocí limitní
matice přechodu
Nechť A je limitní matice přechodu daného markovského řetězce s oceněním přechodů. Pak pro dostatečně
velká n platí: v(n) ≈ (n-1)Aq + (I – (P – A))-1
q.
Důkaz: Nebudeme provádět.
11.8. Příklad: Pro zadání z příkladu 11.3. najděte přibližné vyjádření pro vektor v(n).
Řešení: Použijeme vzorec v(n) ≈ (n-1)Aq + (I – (P – A))-1
q. Nejprve najdeme limitní matici A, jejíž všechny řádky jsou
stejné a jsou rovny stacionárnímu vektoru matice P. Řešením systému a = aP, a1 + a2 = 1 získáme vektor a = (4/9 5/9), tudíž
A = 





9/59/4
9/59/4
.
Dále q = 





−1
7
, (I – (P – A))-1
= 





−
−
==











+





−





−
0494,10494,0
0617,00617,1
9/59/4
9/59/4
5/35/2
2/12/1
10
01
1
… , tedy
v(n) ≈ (n-1) 







−
+
==





−





−
−
+





−
⋅





9506,3n5,2
9383,4n5,2
1
7
0494,10494,0
0617,00617,1
1
7
9/59/4
9/59/4
… .
Tabulka:
n 1 2 3 4 5 6
v0(n) 7,4938 10,0494 12,609 15,1605 17,716 20,2716
v1(n) -1,3951 1,1605 3,716 6,2716 8,8272 11,3827
Pro porovnání uvedeme tabulku získanou pomocí rekurentního vzorce:
n 1 2 3 4 5 6
v0(n) 7 10 12,6 15,16 17,716 20,2716
v1(n) -1 1,2 3,72 6,272 8,8278 11,38272
11.9. Poznámka: Vektor středních hodnot celkových výnosů po jednom až n obdobích lze získat pomocí funkce
vynos.m:
function a = vynos(P,R,n);
% Autor: Stanislav Tvrz
% syntaxe: function a=vynos(P,R,n);
% funkce pocita:
% vektory strednich hodnot celkovych vynosu po jednom az po n obdobich
% znazorni prubehy vektoru strednich hodnot pro jednotlive stavy
% v zavislosti na poctu obdobi
% vstupni parametry:
% P - matice prechodu, R - matice vynosu, n - pocet obdobi
disp('kontrola - matice prechodu P')
P
disp(' ')
disp('kontrola - matice vynosu R')
R
disp(' ')
vel=size(P);
v=zeros(vel(1),n+1);
q=diag(P*R');
for i=2:n+1
v(:,i)=q+P*v(:,i-1);
end
cas=0:n;
vysledek=[cas;v];
disp('sloupcove vektory strednich hodnot celkovych vynosu po n krocich')
disp(num2str(vysledek))
disp('pozn: na prvnim radku hodnoty n')
%generovani popisu stavu
max_ind=size(num2str(vel(1)),2);
legenda=zeros(vel(1),5+max_ind);
for i=1:vel(1)
legenda(i,1:5+size(num2str(i),2))=[['stav '],num2str(i)];
end
legenda=char(legenda);
%graf celkovych vynosu
figure
plot([0:n],v);
legend(legenda)
end
Použijeme-li tuto funkci pro řešení příkladu 10.3. pro jedno až 6 období, dostaneme výsledky:
sloupcove vektory strednich hodnot celkovych vynosu po n krocich
0 1 2 3 4 5 6
0 7 10 12.6 15.16 17.716 20.2716
0 -1 1.2 3.72 6.272 8.8272 11.3827
pozn: na prvnim radku hodnoty n
Graf celkových výnosů:
0 1 2 3 4 5 6
-5
0
5
10
15
20
25
stav 1
stav 2
11.10. Definice: Definice markovského řetězce s diskontovaným oceněním přechodů
Nechť v homogenním markovském řetězci s oceněním přechodů je přechod ze stavu i v čase n do stavu j v čase n+1 oceněn
číslem βn
rij, kde číslo β (0 < β < 1) je tzv. diskontní faktor. Uvedený řetězec se pak nazývá markovský řetězec
s diskontovaným oceněním přechodů.
Vysvětlení: Diskontní faktor snižuje hodnotu budoucího výnosu. Vystupuje v roli odúročitele, může být 1/(1+i), kde i je
úročitel. Může také vyjadřovat pravděpodobnost, že proces bude dále pokračovat. Jeho užití bude účelné tam, kde se může
očekávat, že proces skončí, ale neví se, kdy přesně k tomu dojde.
11.11. Věta: Rekurentní vztah pro vektor středních hodnot diskontovaných celkových výnosů po n krocích.
Pro vektor středních hodnot diskontovaných celkových výnosů platí rekurentní vztah:
v(n) = q + βPv(n-1), přičemž v(0) = 0.
Limitní hodnota vektoru středních hodnot celkových výnosů je
∞→n
lim v(n) = (I – βP)-1
q
Důkaz: Nebudeme provádět.
11.12. Věta: Věta o vytvořující funkci posloupnosti vektorů středních hodnot celkových výnosů po n krocích
Pro vytvořující funkci posloupnosti vektorů { }∞
=1n)n(v v markovském řetězci s diskontovaným oceněním přechodů platí:
( ) qPIv
1
z
z1
z
)z(G
−
β−
−
= .
Důkaz: Podobně jako důkaz věty 11.5.
11.13. Příklad: V příkladu 11.3. předpokládejme, že diskontní faktor β = 0,5 značí pravděpodobnost, že proces bude dále
pokračovat.
a) Pomocí rekurentního vztahu najděte vektor v(n) středních hodnot celkových výnosů pro n = 1, 2, …, 6 a stanovte limitní
hodnotu tohoto vektoru.
b) Pomocí vytvořujících funkcí najděte vyjádření pro vektor v(n).
Řešení:
Ad a) q = 





−1
7
, v(0) = 





0
0
, P = 





6,04,0
5,05,0
, β = 0,5, v(n) = q + βPv(n-1).
v(1) = 





−1
7
+ 





6,04,0
5,05,0
5,0 





0
0
= 





−1
7
, v(2) = 





−1
7
+ 





6,04,0
5,05,0
5,0 





−1
7
= 





1,0
5,8
atd.
Dále uvedeme tabulku středních hodnot celkových výnosů pro n = 1, 2, ..., 6.
n 1 2 3 4 5 6
v0(n) 7 8,5 9,15 9,47 9,6297 9,7096
v1(n) -1 0,1 0,73 0,1049 1,2087 1,2886
v0(n)- v1(n) 8 8,4 8,42 8,3651 8,4210 8,4210
Nyní vypočteme limitní hodnotu vektoru středních hodnot celkových výnosů podle vzorce:
∞→n
lim v(n) = (I – βP)-1
q.










−
−
=





−





=β−
10
7
5
1
4
1
4
3
6,04,0
5,05,0
5,0
10
01
PI ,
40
19
5
1
4
1
10
7
4
3
=⋅−⋅=β− PI ,
( )












=












=β−
−
19
30
19
8
19
10
19
28
4
3
5
1
4
1
10
7
19
401
PI , ( ) ( ) 





=












=





−
⋅












==β−=
−
∞→ 3684,1
7895,9
19
26
19
186
1
7
19
30
19
8
19
10
19
28
qnlim
1
n
PIv
Rozdíl složek limitního vektoru: 9,7895 – 1,3684 = 8,4219.
Znamená to, že když je na počátku sledování linka v provozu, tak se po dostatečně dlouhé době získá výnos vyšší o 8,4219
jednotek než v případě, kdy je linka na počátku v opravě.
Ad b) Z věty 11.12. plyne, že ( ) qPIv
1
z
z1
z
)z(G
−
β−
−
= .






−−
−−
=





−





=−





=
10/z315/z
4/z4/z1
10/z35/z
4/z4/z
10
01
z
2
1
,
6,04,0
5,05,0
PIP , det(I-
2
1
zP) = 





−⋅





−==−





−⋅





−
20
z
1
2
z
1
20
z
10
z3
1
4
z
1
2
…






−
−
−
+





−
==












−
−






−





−
=





−
−
9/49/4
9/59/5
20
z
1
1
9/59/4
9/59/4
2
z
1
1
4
z
1
5
z
4
z
10
z3
1
20
z
1
2
z
1
1
z
2
1
1
⋯PI
( ) ( ) 

















−
−






−−
+











−−
=





−
−
=
−
9/49/4
9/59/5
20
z
1z1
z
9/59/4
9/59/4
2
z
1z1
z
z
2
1
z1
z
)z(G
1
qPIv
( )
2
z
1
2
z1
2
2
z
1z1
z
−
−
+
−
==






−−
…
z1
1
2
−
⋅ je vytvořující funkce posloupnosti an = 2, n = 0, 1, 2, ...
2
z
1
1
2
−
⋅− je vytvořující funkce posloupnosti an =
n
2
1
2 





⋅− , n = 0, 1, 2, ...
( )
20
z
1
19
20
z1
19
20
20
z
1z1
z
−
−
+
−
==






−−
…
z1
1
19
20
−
⋅ je vytvořující funkce posloupnosti an =
19
20
1
19
20 n
=⋅ , n = 0, 1, 2, ...
20
z
1
1
19
20
−
⋅− je vytvořující funkce posloupnosti an =
n
20
1
19
20






⋅− , n = 0, 1, 2, ...
Celkem:
( ) ( )












−
+












−
−
+












==





−
⋅











−
−
−+





=
171
640
171
800
05,0
9
46
9
46
5,0
19
26
19
186
1
7
9/49/4
9/59/5
05,01
19
20
9/59/4
9/59/4
2n nnn
…v
Tedy 7427,305,01,55,03684,1)n(v,6784,405,01,55,07895,9)n(v nn
1
nn
0 ⋅+⋅−=⋅−⋅−= .
11. 14. Poznámka: Vektor středních hodnot diskontovaných výnosů po jednom až n obdobích a limitní hodnotu tohoto
vektoru lze získat pomocí funkce diskont.m:
function a=diskont(P,R,beta,n);
% Autor: Stanislav Tvrz
% function a=diskont(P,R,beta,n);
% funkce pocita:
% vektory strednich hodnot diskontovanych vynosu po jednom az po n obdobich
% limitni vektor strednich hodnot diskontovanych vynosu
% znazorni prubehy vektoru strednich hodnot pro jednotlive stavy
% v zavislosti na poctu obdobi
% vstupni parametry:
% P - matice prechodu
% R - matice vynosu
% beta - diskontni faktor
% n - pocet obdobi
%clc;
disp('kontrola - matice prechodu P')
P
disp(' ')
disp('kontrola - matice vynosu R')
R
disp(' ')
vel=size(P);
v=zeros(vel(1),n+1);
q=diag(P*R');
for i=2:n+1
v(:,i)=q+beta*P*v(:,i-1);
end
cas=0:n;
vysledek=[cas;v];
disp('sloupcove vektory strednich hodnot diskontovanych vynosu po n krocich')
disp(num2str(vysledek))
disp(['pri hodnote diskontniho faktoru beta = ',num2str(beta)])
disp('pozn: na prvnim radku hodnoty n')
disp(' ')
disp('limitni vektor v(n)')
v_n=inv(eye(vel(1))-beta*P)*q;
disp(num2str(v_n))
%generovani popisu stavu
max_ind=size(num2str(vel(1)),2);
legenda=zeros(vel(1),5+max_ind);
for i=1:vel(1)
legenda(i,1:5+size(num2str(i),2))=[['stav '],num2str(i)];
end
legenda=char(legenda);
%graf diskontovanych vynosu
figure
plot([0:n],v);
legend(legenda)
end
Použijeme-li tuto funkci pro řešení příkladu 11.13. a) pro jedno až 6 období, dostaneme tyto výsledky:
sloupcove vektory strednich hodnot diskontovanych vynosu po n krocich
0 1 2 3 4 5 6
0 7 8.5 9.15 9.47 9.6297 9.7096
0 -1 0.1 0.73 1.049 1.2087 1.2886
pri hodnote diskontniho faktoru beta = 0.5
pozn: na prvnim radku hodnoty n
limitni vektor v(n)
9.7895
1.3684
Graf diskontovaných výnosů:
0 1 2 3 4 5 6
-2
0
2
4
6
8
10
stav 1
stav 2
12. Řízené markovské řetězce
12.1. Definice: Definice optimální strategie
Nechť v každém kroku je možno ergodický homogenní markovský řetězec s konečnou množinou stavů J =
{0, 1, .., N} definovat h různými maticemi přechodu 1
P = (1
pij), ..., h
P = (h
pij) a h různými maticemi výnosů
1
R = (1
rij), ..., h
P = (h
rij). V každém kroku můžeme vybrat jednu matici přechodu a odpovídající matici
výnosů. Možnosti 1, 2, ..., h se nazývají strategie. Označme di(n) strategii vybranou v n-tém kroku ve stavu i.
Ta strategie di
*
(n), pro kterou dosahuje střední hodnota celkového výnosu svého maxima, se nazývá
optimální strategie.
12.2. Věta: Věta o optimální strategii
Předpokládejme, že v krocích n-1, n-2, ..., 1 byla nalezena optimální strategie. Označme vi(n) maximální
střední hodnotu celkového výnosu v n-tém kroku ve stavu i, tj.






−+= ∑∈
≤≤
Jj
jij
k
i
k
hk1
i )1n(vpqmax)n(v . Je-li maxima
dosaženo pro k = k*
, pak optimální strategie v n-tém kroku ve stavu i je di
*
(n) = k*
.
12.3. Příklad: Je sledována výrobní linka, která se může nacházet buď v provozu (stav 0) nebo v opravě
(stav 1). Ve stavu 0 je možný provoz „bez kontroly agregátů“ (strategie 1) nebo „s kontrolou agregátů“
(strategie 2). Ve stavu 1 je možno rozlišit opravu „bez výměny agregátů“ (strategie 1) nebo „s výměnou
agregátů“ (strategie 2). Matice přechodu a matice výnosů jsou následující:






−
=





=





−
=





=
22
13
,
6,04,0
6,04,0
,
51
02
,
8,02,0
5,05,0 2211
RPRP .
Pro první tři kroky najděte maximální střední hodnotu celkového výnosu a optimální strategii.
Řešení: Připomeňme, že střední hodnota výnosu při jednom přechodu ze stavu i se vypočte podle vzorce ∑∈
=
Jj
ijiji
rpq .
A dále, maximální střední hodnota výnosu v n-tém kroku ve stavu i je






−+= ∑∈
≤≤
Jj
jij
k
i
k
hk1
i )1n(vpqmax)n(v . Je-li maxima
dosaženo pro k = k*
, pak optimální strategie v n-tém kroku ve stavu i je právě k*
.
Přitom






−
=





=





−
=





=
22
13
,
6,04,0
6,04,0
,
51
02
,
8,02,0
5,05,0 2211
RPRP , tedy
8,3)5(8,012,0rprpq,105,025,0rprpq 11
1
11
1
10
1
10
1
1
1
01
1
01
1
00
1
00
1
0
1
−=−⋅+⋅=+==⋅+⋅=+=
4,0)2(6,024,0rprpq,8,116,034,0rprpq 11
2
11
2
10
2
10
2
1
2
01
2
01
2
00
2
00
2
0
2
−=−⋅+⋅=+==⋅+⋅=+=






−
=





−
=
4,0
8,1
,
8,3
1 21
qq
{ } { } 2)1(d4,04,0;8,3max)1(v,2)1(d8,18,1;1max)1(v
*
11
*
00 =⇒−=−−==⇒==
{ }
( ) ( ){ } { } 2)2(d28,228,2;7,1max4,06,08,14.08,1;4,05,08,15,01max
)1(vp)1(vpq);1(vp)1(vpqmax)2(v
*
0
101
2
000
2
0
2
101
1
000
1
0
1
0
=⇒==−⋅+⋅+−⋅+⋅+=
=++++=
{ }
( ) ( ){ } { } 2)2(d08,008,0;76,3max4,06,08,14.04,0;4,08,08,12,02,0max
)1(vp)1(vpq);1(vp)1(vpqmax)2(v
*
1
111
2
010
2
1
2
111
1
010
1
1
1
1
=⇒=−=−⋅+⋅+−−⋅+⋅+−=
=++++=
{ }
{ } { } 2)3(d88,276,2;18,2max08,06,028,24.08,1;08,05,028,25,01max
)2(vp)2(vpq);2(vp)2(vpqmax)3(v
*
0
101
2
000
2
0
2
101
1
000
1
0
1
0
=⇒==⋅+⋅+⋅+⋅+=
=++++=
{ }
{ } { } 2)3(d56,056,0;28,3max08,06,028,24.04,0;08,08,028,22,02,0max
)2(vp)2(vpq);2(vp)2(vpqmax)3(v
*
1
111
2
010
2
1
2
111
1
010
1
1
1
1
=⇒=−=⋅+⋅+−⋅+⋅+−=
=++++=
Závěr: V prvním, druhém i třetím kroku je vektor optimálních strategií 





2
2
.
12.4. Poznámka: Uvedená metoda hledání optimálních strategií se nazývá rekurentní metoda. Hodí se jen
pro malý počet kroků. Pro větší počet kroků je vhodnější použít iterační metodu.
12.5. Poznámka: Popis iterační metody hledání optimální strategie
Ve větě 11.5. bylo dokázáno, že vytvořující funkce posloupnosti vektorů { }∞
=1n)n(v má tvar:
( ) qPIv
1
z
z1
z
)z(G
−
−
−
= . V teorii matic se dokazuje, že matice ( ) 1
z
−
− PI obsahuje stacionární složku










=
a
a
S ⋮ , kde a
je stacionární vektor matice P a tranzientní složku T. Lze tedy psát
( ) ( ) ( )
TqSqTqSqv












−
++
−
+
−
+
−
=






−⋅⋅





−−
+
−
=
k
k
1
1
2
k1
2
c
z
1
B
c
z
1
B
z1
A
z1
z
c
z
1
c
z
1z1
z
z1
z
)z(G …
…
, kde ci > 1, i = 1, ..., k.
( )2
z1
z
−
je vytvořující funkce posloupnosti an = n.
z1
1
A
−
je vytvořující funkce posloupnosti an = A (nezávisí tedy na n).
i
i
c
z
1
1
B
−
je vytvořující funkce posloupnosti an =
n
i
i
c
1
B 





. Protože ci > 1, budou výrazy obsahující
n
ic
1






pro
dostatečně velká n velmi malé. Pro dostatečně velká n tedy platí:
v(n) = nSq + ATq. Označíme-li Sq = g a ATq = v, lze psát pro dostatečně velká n:
v(n) = ng + v neboli vi(n) = ng + vi, i = 0, 1, ..., N. Dosadíme-li toto vyjádření do rekurentního vztahu
∑=
−+=
N
0j
jijii )1n(vpq)n(v , dostaneme
[ ]∑=
+−+=+
N
0j
jijii vg)1n(pqvng . Upravíme:
∑∑∑∑∑ =====
+=+⇒+−+=+−+=+
N
0j
jijii
N
0j
jiji
N
0j
jij
N
0j
ij
N
0j
ijii vpqvgvpgngqvppgpngqvng
Dostali jsme systém N + 1 rovnic pro N + 2 neznámých g, v0, v1, ..., vN. Protože neznámých je o jednu více
než rovnic, nelze určit skutečné hodnoty neznámých v0, v1, ..., vN, kterým se říká váhy. Howard navrhl
položit vN = 0. Tím se počet neznámých sníží a lze vypočítat relativní váhy v0, v1, ..., vN-1, které se od
skutečných vah budou lišit jenom o konstantu, tedy jejich rozdíly budou stejné jako u skutečných vah. Např.
rozdíl v0 – v1 lze interpretovat jako rozdíl mezi střední hodnotou výnosu procesu, který vyšel ze stavu 0 a
střední hodnotou výnosu procesu, který vyšel ze stavu 1. Kritériem pro volbu strategie je výraz ∑=
+
N
0j
jij
k
i
k
vpq .
Algoritmus Howardova iteračního postupu:
1. krok: Pomocí veličin pij, qi určíme veličiny g,vi z rovnic ∑=
+=+
N
0j
jijii vpqvg , přičemž vN = 0.
2. krok: Pro každý stav Ji ∈ najdeme strategii k*
, která maximalizuje výraz ∑=
+
N
0j
jij
k
i
k
vpq .
3. krok: Nalezená strategie k*
poskytne hodnoty ij
k
i
k
p,q **
pro opakování kroků 1 a 2.
Algoritmus končí, jakmile vektor strategií je stejný ve dvou po sobě následujících iteracích. (Zpravidla stačí
provést jen několik málo iterací.)
12.6. Příklad:
Závod produkuje nějaký spotřební výrobek, u něhož lze rozeznat dva stavy: stav 0 – výrobek je úspěšný
s dobrým odbytem a cenou, stav 1 – výrobek je neúspěšný, odbyt vázne a cena je nízká. Při 1. strategii
vedení závodu neinvestuje ani do technického rozvoje ani do reklamy. Při této strategii je matice přechodu






=
6,04,0
5,05,01
P a matice výnosů 





−
=
73
391
R . Při 2. strategii vedení závodu zajistí technický rozvoj a investuje
do reklamy. Matice přechodu: 





=
3,07,0
2,08,02
P , matice výnosů: 





−
=
191
442
R . (Při 2. strategii se vyšší náklady
promítnou do zisku, proto výnos 2
r00 musí být nižší než 1
r00, stejně tak 2
r11 musí být nižší než 1
r11.) Pomocí
iterační metody je třeba zjistit, jakou strategii doporučit vedení závodu, aby střední hodnota celkového
výnosu byla maximální.
Řešení:
Nejprve vypočítáme vektory 1
q = (1
q0, 1
q1)’ a 2
q = (2
q0, 2
q1)‘.
Přitom 





=
6,04,0
5,05,01
P , 





−
=
73
391
R , 





=
3,07,0
2,08,02
P , 





−
=
191
442
R
( ) 376,034,0rprpq,635,095,0rprpq 11
1
11
1
10
1
10
1
1
1
01
1
01
1
00
1
00
1
0
1
−=−⋅+⋅=+==⋅+⋅=+=
1
q = (6, -3)‘
( ) 5193,017,0rprpq,442,048,0rprpq 11
2
11
2
10
2
10
2
1
2
01
2
01
2
00
2
00
2
0
2
−=−⋅+⋅=+==⋅+⋅=+=
2
q = (4, -5)‘
1. iterace: zvolíme d0(1) = 1, d1(1) = 1 a pro i = 0,1vyřešíme systém rovnic ∑=
+=+
N
0j
jijii vpqvg (přitom položíme v1 = 0)
00101
1
000
1
0
1
0 v5,06vg:vpvpqvg ⋅+=+++=+
0111
1
010
1
1
1
1 v4,03g:vpvpqvg ⋅+−=++=+
Řešením tohoto systému obdržíme v0 = 10, g = 1.
2. iterace:
i = 0, k = 1: 11105,06vpvpq 101
1
000
1
0
1
=⋅+=++
k = 2: 12108,04vpvpq 101
2
000
2
0
2
=⋅+=++
max{11, 12} = 12, tedy d0(2) = 2
i = 1, k = 1: 1104,03vpvpq 111
1
010
1
1
1
=⋅+−=++
k = 2: 2107,05vpvpq 111
2
010
2
1
2
=⋅+−=++
max{1, 2} = 2, tedy d1(2) = 2
Výsledek 2. iterace dává vektor strategií (2, 2)‘.
S tímto vektorem vyřešíme systém rovnic (přitom položíme v1 = 0)
00101
2
000
2
0
2
0 v8,04vg:vpvpqvg ⋅+=+++=+
0111
2
010
2
1
2
1 v7,05g:vpvpqvg ⋅+−=++=+
Řešením tohoto systému obdržíme v0 = 10, g = 2.
3. iterace:
i = 0, k = 1: 11105,06vpvpq 101
1
000
1
0
1
=⋅+=++
k = 2: 12108,04vpvpq 101
2
000
2
0
2
=⋅+=++
max{11, 12} = 12, tedy d0(3) = 2
i = 1, k = 1: 1104,03vpvpq 111
1
010
1
1
1
=⋅+−=++
k = 2: 2107,05vpvpq 111
2
010
2
1
2
=⋅+−=++
max{1, 2} = 2, tedy d1(3) = 2
Výsledek 3. iterace dává vektor strategií (2, 2)‘.
Protože ve dvou po sobě jdoucích iteracích jsme dostali stejný vektor strategií, výpočet končí.
Interpretace: Kromě počátečního kroku přinese větší zisk ta strategie, která zahrnuje náklady na technický
rozvoj a reklamu výrobku.
12.7. Poznámka: Pro libovolný počet strategií lze v MATLABu použít funkci howardn.m, kterou v r. 2012
vytvořil student Jakub Buček.
Aplikujeme-li tuto funkci na příklad 12.6, dostaneme výstup:
D =
1 1
2 2
2 2
Konecny vektor strategii je (2 2)´.
function D = howardn(P,R)
% Algoritmus Howardova iteracniho postupu pro libovolny pocet stavu
% a libovolny pocet strategii
% Autor: Jakub Bucek, 2012
% Vstupni parametry:
% P...matice prechodu vsech strategii naskladane do jedne matice
% R...matice vynosu vsech strategii naskladane do jedne matice
% Mame-li jednotlive matice P1,P2,...,Pk a R1,R2,...,Rk, doporucuje se
% uvadet funkci ve tvaru: howardn([P1,P2,...,Pk],[R1,R2,...,Rk])
% Vystup:
% D...matice obsahujici optimalni strategii pro jednotlive obdobi,
% jednotliva obdobi jsou oznacena cislem radku
[a,b]=size(P);
% vypocet matice Q, ktera obsahuje v radcich vektory q pro jednotlive
% strategie
for k=1:(b/a)
Q(k,:)=diag(P(1:a,(1+a*(k-1)):(a*k))*R(1:a,(1+a*(k-1)):(a*k))');
end;
% matice D, obsahujici vektory strategii pro jednotliva obdobi
[x,d]=max(Q);
D(1,:)=d;
% nastaveni pocatecnich podminek pro cyklus
konec=false;
j=1;
while konec==false
% indexujeme strategii z minuleho obdobi
d=D(j,:);
% sestrojime rovnici podle vektoru strategii
for k=1:a
PP(k,:)=P(k,(a*d(k)-a+1):(a*d(k)));
QQ(k)=Q(d(k),k);
end;
% vyresime rovnici a ziskame vektor v, pro pripad pozdejsiho vypisu jej
% take ulozime do matice V, kterou vsak nebudeme ve vystupu zobrazovat
A=eye(a)-PP;
v=inv([ones(a,1),A(:,1:(a-1))])*QQ';
v(a+1)=0;
V(j,:)=v;
% nahrazeni prvni slozky ve vektoru v za 1, zbavujeme se tak g, ktere vsak
% v dalsim vypoctu nepotrebujeme
v(1)=1;
% pocitame optimalni strategii pro soucasne obdobi
for k=1:(b/a)
M(k,:)= [Q(k,:)',P(1:a,(1+a*(k-1)):(a*k))]*v;
end;
[x,m]=max(M);
% a vysledek ulozime do nasi matice D
D(j+1,:)=m;
% kontrola, zdali je splnena podminka pro ukonceni algoritmu
if sum(all(D(j,:)==D(j+1,:)))==1
konec=true;
end;
% navysujeme krok v obdobi
j=j+1;
end;
end
13. Markovské řetězce se spojitým časem – základní pojmy
13.1. Definice: Definice markovského řetězce se spojitým časem
Nechť ( )P,,ΑΩ je pravděpodobnostní prostor, )∞= ,0T je indexová množina, jejíž prvky nazveme okamžiky a
J = {..., -2, -1, 0, 1, 2, ...} je nejvýše spočetná množina stavů (bez újmy na obecnosti lze předpokládat, že J = {0, 1, 2, ...}
nebo J = {0,1, ..., n}). Stochastický proces { }Tt;Xt
∈ definovaný na měřitelném prostoru ( )ΑΩ, , jehož složky Xt nabývají
hodnot z množiny stavů J, se nazývá markovský řetězec (se spojitým časem), jsou-li splněny následující podmínky:
a) ( ) 0jXP:TtJj t
>=∈∃∈∀ (vyloučení nepotřebných stavů)
b) ( ) ( ) ( )1ntnt0t2nt1ntntn10n10n10 jX/jXPjXjXjX/jXP:Jj,,j,jtttTt,,t,t 1nn02n1nn −−− ====∧∧=∧==∈∀<<<∈∀ −−−
…………
za předpokladu, že ( ) 0jXjXjXP 0t2nt1nt 02n1n
>=∧∧=∧= −− −−
… (markovská vlastnost – budoucí chování markovského řetězce
závisí pouze na přítomném stavu a nikoliv na stavech minulých).
Vysvětlení: Markovské řetězce se spojitým časem modelují fyzikální či jiné soustavy, které mohou v libovolném okamžiku
náhodně přejít do některého ze svých možných stavů. Markovská vlastnost znamená, že to, do jakého stavu se soustava
dostane při následující změně, závisí pouze na tom, v jakém stavu se soustava právě nachází a nezávisí na stavech
předchozích. Např. sledujeme-li během pracovní doby provoz automatických strojů v dílně, náhodná veličina Xt, )T,0t∈ je
počet strojů, které v okamžiku t nepracují (jsou opravovány nebo čekají na opravu).
13.2. Příklad: Uvažme populaci, jejíž jedinci se mohou množit a zanikat. Pravděpodobnost, že z libovolného jedince
vznikne v časovém intervalu ( ht,t + nový jedinec, je ( )hoh +λ (symbol o(h) znamená, že
( ) 0
h
ho
lim
0h
=
+→
) a pravděpodobnost,
že libovolný jedinec zanikne v intervalu ( ht,t + , je ( )hoh +µ . Osudy jedinců jsou navzájem nezávislé. Označme Xt rozsah
populace v čase t. Pak stochastický proces { }Tt;Xt
∈ je markovský řetězec se spojitým časem. Nazývá se lineární proces
vzniku a zániku (resp. lineární proces množení a úmrtí).
13.3. Označení:
Jev {Xt = j} – markovský řetězec je v okamžiku t ve stavu j.
P(Xt = j) = pj(t) – absolutní pravděpodobnost stavu j v okamžiku t.
p(t) = (...., pj(t), ...) – vektor absolutních pravděpodobností.
( ) ( )ht,tpiX/jXP ijtht +===+ – pravděpodobnost přechodu ze stavu i v okamžiku t do stavu j v okamžiku t+h










+=+
⋮
⋯⋯
⋮
)ht,t(p)ht,t( ij
P - matice pravděpodobností přechodu mezi okamžiky t, t+h.
P(X0 = j) = pj(0) – počáteční pravděpodobnost stavu j.
p(0) = (...., pj(0), ...) – vektor počátečních pravděpodobností.
13.4. Věta: Věta o vlastnostech markovského řetězce se spojitým časem
Nechť { }Tt;Xt
∈ je markovský řetězec. Pokud dále uvedené podmíněné pravděpodobnosti existují, platí pro
Jj,iTg,h,t ∈∀∈∀ :
a) P(Xt+h = j / Xt = i) ≥ 0, tj. pij(t,t+h) ≥ 0
( )



≠
=
===
jipro0
jipro1
iX/jXP tt , tj. ( )



≠
=
=
jproi0
jipro1
t,tpij .
b) ( ) 1iX/jXP
Jj
tht
===∑∈
+
, tj. ( )∑∈
=+
Jj
ij
1ht,tp .
(Přechod ze stavu i v okamžiku t do nějakého stavu j v okamžiku t+h je jev s pravděpodobností 1.)
c) ( ) ( ) ( )kX/jXPiX/kXPiX/jXP htght
Jk
thttght
======= +++
∈
+++ ∑ , tj. ∑∈
++++=++
Jk
kjikij
)ght,ht(p)ht,t(p)ght,t(p
(Chapmanovy – Kolmogorovovy rovnice)
d) ( ) ( ) ( )kX/jXPkXPjXP tht
Jk
tht
===== +
∈
+ ∑ , tj. ∑∈
+=+
Jk
kjkj
)ht,t(p)t(p)ht(p
(Zákon evoluce)
Důkaz: Analogicky jako v diskrétním případě.
13.5. Poznámka: Zápis vlastností markovského řetězce se spojitým časem v maticovém tvaru
a) P(t,t+h) ≥ 0, kde 0 je nulová matice, P(t,t) = I, kde I je jednotková matice.
b) P(t,t+h)e = e, kde e je sloupcový vektor ze samých jedniček.
c) P(t,t+h+g) = P(t,t+h) P(t+h,t+h+g).
d) p(t+h) = p(t) P(t,t+h).
13.6. Definice: Definice HMŘ se spojitým časem
Nechť { }Tt;Xt
∈ je markovský řetězec se spojitým časem. Řekneme, že tento řetězec je homogenní, jestliže platí:
( ) ( )hpiX/jXP:Tht,Jj,i ijtht
===∈∀∈∀ +
.
Vysvětlení: Znamená to, že pravděpodobnosti přechodu ( )iX/jXP tht
==+
– pokud existují – závisí pouze na časovém
přírůstku h a nezávisí na časovém okamžiku t.
Matice pravděpodobností přechodu P(t,t+h) se pak značí P(h) a nazývá se matice přechodu za časový přírůstek h. Pro HMŘ
se spojitým časem tedy existuje celý systém matic přechodu ( ){ }Th,hP ∈ . Je zvykem definovat P(0) = I.
13.7. Věta: Vyjádření simultánní pravděpodobnostní funkce pro HMŘ
Pro homogenní markovský řetězec se spojitým časem platí:
( ) ( ) ( ) ( )njj1jjjnhht1ht0tn10n1 hphptpjXjXjXP:Jj,,j,jTh,,h,t n1n100n11 −
==∧∧=∧=∈∀∈∀ ++++ ………… …
Důkaz: Plyne z věty o násobení pravděpodobností a markovské vlastnosti.
13.8. Věta: CH-K rovnice a zákon evoluce pro HMŘ
Nechť { }Tt;Xt
∈ je homogenní markovský řetězec se spojitým časem, s vektorem počátečních pravděpodobností p(0) a
systémem matic přechodu ( ){ }Th,h ∈P . Pak pro Tg,h ∈∀ platí:
a) P(h+g) = P(h) P(g) (Chapmanova – Kolmogorovova rovnice)
b) p(h) = p(0) P(h) (zákon evoluce)
Důkaz: ad a) plyne z tvrzení (c) věty 13.4
ad b) plyne z tvrzení (d) věty 13.4
13.9. Věta: Existenční věta
Ke každému stochastickému vektoru p(0) a ke každému systému stochastických matic ( ){ }Th;h ∈P , které splňují CH-K
rovnice, existuje HMŘ se spojitým časem, jehož počáteční pravděpodobnosti jsou dány vektorem p(0) a systém matic
pravděpodobností přechodu je právě ( ){ }Th;h ∈P .
14. Matice intenzit přechodu homogenního markovského řetězce se spojitým časem
14.1. Motivace: Nechť { }Tt;Xt
∈ je homogenní markovský řetězec se spojitým časem. Předpokládejme, že v okamžiku t
je řetězec ve stavu i a za časový přírůstek h přejde do stavu j s pravděpodobností pij(h).
Číslo
( )
h
hpij
vyjadřuje průměrnou pravděpodobnost přechodu ze stavu i do stavu j za časový přírůstek h.
Označme pii(h) pravděpodobnost, že za časový přírůstek h řetězec setrvá ve stavu i. Pak 1 - pii(h) je pravděpodobnost, že za
časový přírůstek h řetězec přejde do nějakého jiného stavu.
Číslo
( )
h
hp1 ii
−
vyjadřuje průměrnou pravděpodobnost výstupu řetězce ze stavu i za časový přírůstek h.
Intenzity přechodu resp. výstupu popisují chování těchto průměrných pravděpodobností pro +
→ 0h .
14.2. Poznámka: Nadále budeme předpokládat, že
a) Jj,i ∈∀ existuje
( )
h
hp
lim ij
0h +→
b) Ji∈∀ existuje
( )
h
hp1
lim ii
0h
−
+→
c) Jj,i ∈∀ existuje ( )



≠
=
=
+→
jipro0
jipro1
hplim ij0h
14.3. Definice: Definice intenzit přechodu a výstupu
Nechť { }Tt;Xt
∈ je homogenní markovský řetězec se spojitým časem se systémem matic přechodu ( ){ }Th,h ∈P . Pak
definujeme:
a) Jj,i ∈∀ :
( )
h
hp
limq
ij
0h
ij
+→
= - intenzita přechodu ze stavu i do stavu j
b) Ji∈∀ :
( )
h
hp1
limq ii
0hi
−
=
+→
- intenzita výstupu ze stavu i.
Vysvětlení: Z definice intenzity přechodu resp. výstupu plyne, že pij(h) = hqij + o(h) resp. pii(h) = 1- hqi + o(h). Pro
dostatečně malá h tedy dostáváme pij(h) ≈ hqij resp. pii(h) ≈ 1- hqi. Číslo qij vyjadřuje koeficient nárůstu pravděpodobnosti
přechodu pij(h) během krátkého časového intervalu délky h a číslo qi vyjadřuje koeficient poklesu pravděpodobnosti setrvání
pii(h) během krátkého časového intervalu délky h.
14.4. Věta: Věta o součtu intenzit přechodu
Je-li množina stavů J konečná, pak pro intenzity přechodu platí: 0q:Ji
Jj
ij
=∈∀ ∑∈
, kde qii = -qi.
Důkaz: Vztah 0q
Jj
ij
=∑∈
přepíšeme do tvaru i
ij,Jj
ij
qq =∑≠∈
.
Počítáme
( )
( ) ( )[ ] iii
0h
ij,Jj
ij
0h
ij,Jj
ij
0h
ij,Jj
ij
qhp1
h
1
limhp
h
1
lim
h
hp
limq =−===
+++ →
≠∈
→
≠∈
→
≠∈
∑∑∑ .
14.5. Definice: Definice matice intenzit přechodu
Matice Q = (qij)i,j J∈ , kde qii = -qi, se nazývá matice intenzit přechodu HMŘ se spojitým časem.
Vysvětlení: Matice Q je charakterizována tím, že qij ≥ 0 pro i ≠ j a qii < 0 a součet prvků v každém řádku je nulový. Je to
kvazistochastická matice.
14.6. Věta: Vztah mezi maticí intenzit přechodu a maticí přechodu
Je-li { }Tt;Xt
∈ je homogenní markovský řetězec se spojitým časem, který má konečnou množinu stavů J, matici intenzit
přechodu Q a systém matic pravděpodobností přechodu ( ){ }Tt;t ∈P , pak pro Tt∈∀ platí: P(t) = eQt
, kde eQt
je maticová
exponenciální funkce definovaná předpisem: ∑
∞
=
=
0k
kk
t
!k
t
e
QQ
14.7. Poznámka:
Matici intenzit přechodu lze graficky vyjádřit pomocí přechodového diagramu. Je to ohodnocený orientovaný graf, kde
a) vrcholy jsou stavy
b) hrany odpovídají nenulovým intenzitám přechodu
c) ohodnocení hran je rovno těmto intenzitám. Hrany, které nejsou smyčkami, mají kladné ohodnocení (qij > 0) a smyčky
mají záporné ohodnocení (qii < 0).
14.8. Příklad: Doba bezporuchového provozu přístroje je náhodná veličina s rozložením Ex(α). Když dojde k poruše,
přístroj začne být okamžitě opravován. Doba opravy je náhodná veličina s rozložením Ex(β). Jakmile je oprava ukončena,
přístroj je okamžitě uveden do provozu.
a) Modelujte tuto situaci pomocí HMŘ se spojitým časem.
b) Najděte matici intenzit přechodu Q a nakreslete přechodový diagram.
Řešení:
Ad a) Zavedeme náhodnou veličinu



=
opravěvstrojjetčasevpokud1,
pracujestrojtčasevpokud,0
Xt . Stochastický proces { }Tt;Xt
∈ je HMŘ se
spojitým časem s množinou stavů J = {0,1}.
Ad b) Je-li Y spojitá náhodná veličina, pak její pravděpodobnostní chování je popsáno hustotou pravděpodobnosti ( )yϕ . Pro
distribuční funkci ( )yΦ platí: ( ) ( )∫∞−
ϕ=Φ
y
dtty . Dále zavedeme funkci přežití ( ) ( )yYPy >=Ψ a intenzitu ( ) ( )
( )y
y'
y
Ψ
Ψ
−=λ .
V našem případě označme Y1 dobu bezporuchového provozu přístroje, Y1 ~ Ex(α), tedy ( )


 >α
=ϕ
α−
jinak0
0yproe
y 1
y
11
1
,
( )


 >−
=Φ
α−
jinak0
0yproe1
y 1
y
11
1
, ( )


 >
=Ψ
α−
jinak1
0yproe
y 1
y
11
1
, ( ) ( )
( )
α=
α−
−=
Ψ
Ψ
−=λ α−
α−
1
1
y
y
11
11
11
e
e
y
y'
y .
Analogicky označme Y2 dobu opravy přístroje, Y2 ~ Ex(β). Stejným způsobem odvodíme, že ( ) β=λ 22
y .
Matice intenzit přechodu:
0 1






β−β
αα−
=
1
0
Q .
Přechodový diagram:
14.9. Věta: Věta o významu intenzit přechodu
Nechť { }Tt;Xt
∈ je HMŘ se SČ, který má spočetnou množinu stavů J a matici intenzit přechodu Q = (qij)i,j J∈ .
a) Nechť hs,st +∈ , kde s ≥ 0 a h > 0. Pak ( ) hq
st
i
eiX/iXP −
=== , kde 0e hqi
=−
, je-li qi = ∞.
b) Je-li qi = 0, potom pii(h) = 1.
c) Je-li 0 < qi < ∞, pak veličina, která udává dobu setrvání řetězce ve stavu i, se řídí rozložením Ex(qi). Znamená to, že
střední hodnota doby setrvání řetězce ve stavu i je
i
q
1
. Dále, pravděpodobnost toho, že první přechod ze stavu i se uskuteční
právě do stavu j, j≠i, je
i
ij
q
q
.
14.10. Definice: Definice různých typů stavů
Nechť { }Tt;Xt
∈ je HMŘ se SČ, který má matici intenzit přechodu Q = (qij)i,j J∈ .
a) Jestliže qi = 0, pak řekneme, že stav i je absorpční. (Řetězec, který vstoupí do absorpčního stavu, už v něm zůstane.
Střední hodnota doby setrvání v absorpční stavu je nekonečně velká.)
b) Jestliže 0 < qi < ∞, pak řekneme, že stav i je stabilní. (Budeme se zabývat výhradně řetězci se stabilními stavy)
c) Jestliže qi = ∞, pak řekneme, že stav i je nestabilní. (Střední hodnota doby setrvání v nestabilním stavu je nulová.)
14.11. Definice: Definice stacionárního vektoru HMŘ se SČ
Nechť { }Tt;Xt
∈ je HMŘ se SČ, který má systém matic přechodu ( ){ }Tt;t ∈P . Stochastický vektor a takový, že pro
Tt∈∀ platí a = aP(t), se nazývá stacionární vektor (stacionární rozložení) daného řetězce.
14.12. Poznámka: Řešení rovnice a = aP(t) pro Tt∈∀ může být obtížné. Proto stacionární vektor počítáme raději
pomocí matice intenzit přechodu.
14.13. Věta: Věta o získání stacionárního vektoru pomocí matice intenzit přechodu
Nechť { }Tt;Xt
∈ je HMŘ se SČ, který má systém matic přechodu ( ){ }Tt;t ∈P a matici intenzit přechodu Q = (qij)i,j J∈ .
Jestliže existuje Tt∈ tak, že matice P(t) je regulární (tj. všechny její prvky jsou kladné), pak existuje stacionární vektor
daného řetězce a je dán vztahem: aQ = 0. Toto řešení je jediné.
14.14. Příklad: Pro zadání příkladu 14.8. najděte stacionární vektor.
Řešení: Odvodili jsme, že 





β−β
αα−
=Q . Hledáme a = (a0, a1), kde a0 + a1 = 1, tak, aby aQ = 0.
( ) ( ) 011010 a1a1aa,0,0a,a −=⇒=+=





β−β
αα−
.
( )
β+α
α
=
β+α
β
=⇒=−β+α−⇒=β+α− 100010 a,a0a1a0aa .
Stacionární vektor má tedy tvar: 





β+α
α
β+α
β
= ,a .
14.15. Definice: Definice ergodického řetězce
Homogenní markovský řetězec se spojitým časem a systémem matic přechodu ( ){ }Tt;t ∈P se nazývá ergodický, jestliže pro
všechny stochastické vektory a odpovídající dimenze existuje ( )tlimt
aP∞→
a tato limita na nich nezávisí.
14.16. Definice: Definice limitního rozložení a limitní matice přechodu
a) Jestliže existuje ( ) pp =
∞→
tlim
t
, pak p se nazývá limitní rozložení (limitní vektor) daného řetězce.
b) Jestliže existuje ( ) AP =
∞→
tlim
t
, pak A se nazývá limitní matice přechodu daného řetězce. Má-li všechny řádky stejné, nazývá
se ergodická limitní matice přechodu.
14.17. Věta: Věta o souvislosti stacionárního a limitního rozložení
Nechť { }Tt;Xt
∈ je HMŘ se SČ, který má stacionární rozložení a. Pak platí:
a) Jeho limitní rozložení p je rovno stacionárnímu rozložení a.
b) Všechny řádky limitní matice A jsou stejné a jsou rovny stacionárnímu vektoru a.
14.18. Poznámka: Při hledání stacionárního rozložení lze v MATLABu použít funkci stacionarni_vektor.m:
function [a]=stacionarni_vektor(Q)
%funkce pro vypocet stacionarniho vektoru
%syntaxe: a=stacionarni_vektor(Q)
%vstupni parametr ... kvazistochasticka matice Q
%vystupni parametr ... stacionarni vektor a
n=size(Q,1);
A=[Q';ones(1,n)];
f=[zeros(n,1);1];
a=(A\f)';
14.19. Příklad: Nechť HMŘ se SČ má množinu stavů { }2,1,0 a matici intenzit přechodu










−
−
−
=
110
132
011
Q . Pomocí MATLABu najděte jeho stacionární rozložení.
Řešení:
Zadáme matici Q=[-1 1 0;2 -3 1;0 1 -1]
Zavoláme funkci stacionarni_vektor:
a=stacionarni_vektor(Q)
Dostaneme výsledek:
a =
0.5000 0.2500 0.2500
Znamená to, že po uplynutí dostatečně dlouhé doby polovinu doby stráví řetězec ve stavu 0, čtvrtinu doby ve stavu 1 a
rovněž čtvrtinu doby ve stavu 2.
14.20. Příklad: V dílně pracuje N strojů téhož typu. V libovolný okamžik může nastat porucha kteréhokoliv stroje. O stroje
se stará r opravářů, r < N. Na opravě stroje se podílí vždy jen jeden z nich. Stroj se v případě poruchy začne okamžitě
opravovat, pokud je některý z opravářů volný. Porouchá-li se stroj v okamžiku, kdy jsou všichni opraváři zaměstnáni, musí
se čekat, až se některý uvolní. Je známo, že:
stroj, který pracuje v čase t, se během krátkého časového intervalu ( ht,t + porouchá s pravděpodobností ( )hoh +λ ;
stroj, který je v čase t opravován, se během krátkého časového intervalu ( ht,t + vrátí do provozu s pravděpodobností
( )hoh +µ .
Pomocí HMŘ se spojitým časem modelujte počet strojů, které v čase t nepracují. Najděte matici intenzit přechodu a najděte
stacionární rozložení tohoto řetězce.
Řešení:
Nechť Xt je počet strojů, které v čase t nepracují. Pak { }Tt;Xt
∈ je HMŘ se SČ, který má množinu stavů J = {0, 1, … , N}.
Jeho matici pravděpodobností přechodu určíme takto:
Pravděpodobnost, že se počet strojů, které nepracují, zvětší v intervalu ( ht,t + o 1, je přímo úměrná počtu strojů, které
v čase t pracují, tj. ( ) ( ) ( )hohjNhp 1j,j
+λ−=+
, j = 0, 1, …, N-1.
Pravděpodobnost, že se počet strojů, které nepracují, zmenší v intervalu ( ht,t + o 1, je přímo úměrná počtu strojů, které
jsou v čase t opravovány, tj. ( ) ( )hohjhp 1j,j
+µ=−
, j = 1,2, …, r resp. ( ) ( )hohrhp 1j,j
+µ=−
, j = r+1, …, N.
Pravděpodobnost, že se počet nepracujících strojů změní v intervalu ( ht,t + o více než 1, je o(h).
Z těchto pravděpodobností přechodu získáme intenzity přechodu podle vzorce
( )
h
hp
limq ij
0h
ij
+→
= .
( ) ( ) ( ) ( )λ−=
+λ−
==
++ →
+
→
+ jN
h
hohjN
lim
h
hp
limq 0h
1j,j
0h
1j,j
, j = 0, 1, …, N-1
( ) ( ) µ=
+µ
==
++ →
−
→
−
j
h
hohj
lim
h
hp
limq
0h
1j,j
0h
1j,j
, j = 1, 2, …, r resp.
( ) ( ) µ=
+µ
==
++ →
−
→
−
r
h
hohr
lim
h
hp
limq
0h
1j,j
0h
1j,j
, j = r+1, …, N
Intenzity setrvání ve stavech j = 0, 1, …, N můžeme určit z podmínky, že Q je kvazistochastická matice.
Sestavíme tedy matici intenzit přechodu:
( )[ ] ( )
( )[ ]
( )[ ] ( )
( )[ ]


























µ−
µ+λ−−−µ
λ−µ+λ−−
µ+λ−−µ
λ−µ+λ−−µ
λλ−
=
r00000
0r1rNr000
0rNrrN000
00022N20
0001N1N
0000NN
……
……………………
……
……
……………………
……
⋯…
……
Q
Stacionární rozložení získáme řešením systému rovnic : aQ = 0 s podmínkou 1a
N
0j
j =∑=
:
0aaN 10 =µ+λ−
( ) ( )[ ] ( ) 0a1jajjNa1jN 1jj1j
=µ++µ+λ−−λ+− +−
, j = 1, …, r-1
( ) ( )[ ] 0ararjNa1jN 1jj1j
=µ+µ+λ−−λ+− +−
, j = r, …, N-1
0ara N1N =µ+λ −
Řešení obdržíme ve tvaru:
0
j
j a
j
N
a 





µ
λ






= , j = 1, …, r-1
( ) ( )
0
j
rjj
a
r!r
1jN1NN
a 





µ
λ+−−
= −
…
, j = r, …, N
Přitom ∑=
−=
N
1j
j0 a1a .
14.21. Příklad: Uvažme systém, v němž je v provozu velké množství předmětů téže funkce, např. talíře v jídelně.
Předpokládáme, že předměty pocházejí od tří různých výrobců (říkáme, že jsou tří různých typů) a že doby životnosti
předmětů od různých výrobců jsou stochasticky nezávislé náhodné veličiny s rozložením Ex(λi), i = 1, 2, 3. Provádíme
cyklickou záměnu typů podle schématu 1 → 2 → 3 → 1. Zvolíme jedno místo v provozu a zavedeme HMŘ { }Tt;Xt
∈ se
spojitým časem, kde Xt = j, když v okamžiku t je na tomto místě zařazen předmět typu j, j = 1, 2, 3.
Najděte matici intenzit přechodu a stanovte stacionární rozložení.
Řešení: Označme Yj dobu životnosti předmětu j-tého typu, Yj ~ Ex(λj), j = 1, 2, 3. V příkladu 14.8. bylo ukázáno, že
intenzita poruchy je λj, tedy










λ−λ
λλ−
λλ−
=
33
22
11
0
0
0
Q
Stacionární rozložení získáme řešením systému rovnic : aQ = 0 s podmínkou 1a
3
1j
j
=∑=
:
1aaa
0aa
0aa
0aa
321
3322
2211
3311
=++
=λ−λ
=λ−λ
=λ+λ−
Řešením tohoto systému obdržíme:
323121
32
1
a
λλ+λλ+λλ
λλ
= ,
323121
31
2
a
λλ+λλ+λλ
λλ
= ,
323121
21
3
a
λλ+λλ+λλ
λλ
= .
15. Laplaceova transformace a její užití při řešení systému Kolmogorovových diferenciálních rovnic
a evolučních diferenciálních rovnic
15.1. Motivace: Pro HMŘ se spojitým časem lze pravděpodobnosti přechodu vyjádřit jako řešení systému
Kolmogorovových diferenciálních rovnic a absolutní pravděpodobnosti lze vyjádřit jako řešení systému evolučních
diferenciálních rovnic. V obou těchto případech vystupují v uvedených rovnicích intenzity přechodu a jedná se o systémy
lineárních diferenciálních rovnic s konstantními koeficienty. Takovéto systémy můžeme řešit pomocí různých integrálních
transformací, z nichž nejrozšířenější je Laplaceova transformace. Laplaceova transformace převádí soustavu diferenciálních
rovnic pro neznámé funkce na soustavu algebraických rovnic pro obrazy těchto funkcí. Tuto soustavu vyřešíme a pomocí
operátorového slovníku najdeme k obrazu řešení jeho vzor.
15.2. Definice: Definice Laplaceovy transformace
Nechť f(t) je funkce splňující podmínky:
a) f(t) je spojitá pro t > 0,
b) f(t) = 0 pro t ≤ 0,
c) f(t) je exponenciálního řádu, tj. existují konstanty M > 0, R∈α tak, že ( ) t
Metf α−
≤ .
Pak funkce ( ) ( )∫
∞
−
=
0
zt
dtetfzF se nazývá Laplaceova transformace funkce f(t). Funkce f(t) se nazývá vzor a F(z) obraz.
(Obecně je z komplexní proměnná, pro naše účely však postačí z ≥ 0.)
15.3. Označení:
Laplaceovu transformaci (dále LT) značíme L(f(t)) = F(z) a zpětnou (inverzní) transformaci značíme L-1
(F(z)) = f(t).
15.4. Věta: Vztah mezi vzorem a obrazem
Mezi původní funkcí f(t) a její LT F(z) existuje vzájemně jednoznačný vztah.
15.5. Příklad: Najděte LT funkce f(t) = eat
.
Řešení:
( ) ( ) ( )
[ ]
az
1
e
az
1
dtedteezF 0
azt
0
azt
0
ztat
−
=
−
−===
∞−−
∞
−−
∞
−
∫∫
15.6. Věta: Linearita LT
LT i zpětná LT je lineární je lineární, tj. pro libovolné konstanty Rc,,c n1
∈… , aspoň jedna konstanta je nenulová,
platí: ( ) ( )( )∑∑ ==
=




 n
1i
ii
n
1i
ii
tfLctfcL a ( ) ( )( )∑∑ =
−
=
−
=




 n
1i
i
1
i
n
1i
ii
1
zFLczFcL
15.7. Věta: LT derivace funkce
Pro LT derivace platí: L(f’(t)) = zF(z) – f(0).
15.8. Věta: LT n-té derivace funkce
Pro LT n-té derivace platí: L(f(n)
(t)) = zn
F(z) – zn-1
f(0) - zn-2
f’(0) - … - f(n-1)
(0).
15.9. Poznámka: Uvedeme stručný operátorový slovník.
Vzor f(t) Obraz F(z)
1 1/z
t 1/z2
eat
1/(z-a)
t eat
1/(z-a)2
A e-at
A/(z+a)
tk
e-at
k!/(z+a)k+1
, k = 0, 1, 2, …
15.10. Příklad: Užitím LT vyřešte diferenciální rovnici y’(t) + y(t) = e-2t
s počáteční podmínkou y(0) = 0.
Řešení: ( ) ( ) ( ) ( )
( )( ) 2z
1
1z
1
2z
B
1z
A
2z1z
1
zY
2z
1
zY0yzzY
+
−
+
+
=
+
+
+
=
++
=⇒
+
=+−
( ) ( )
1BAB0BA
1A1AA21BA2
1zB2zA1
−=⇒−=⇒=+
=⇒=−⇒=+
+++=
( ) t2t111
ee
2z
1
L
1z
1
L
2z
1
1z
1
Lty −−−−−
−=





+
−
+





+
=





+
−
+
+
=
Zkouška: ( ) t2t
e2et'y −−
+−=
t2t2tt2t
eeee2e −−−−−
=−++− - splněno
Počáteční podmínka: y(0) = 1 – 1 = 0 – splněno
15.11. Příklad: Užitím LT najděte řešení systému lineárních diferenciálních rovnic
( ) ( ) ( )
( ) ( ) ( ) 1ty2t'y3ty
0tyt'yt'y2
221
221
=+−
=+−
s počátečními podmínkami y1(0) = y2(0) = 0.
Řešení:
( ) ( )[ ] ( ) ( )[ ] ( ) ( ) ( ) ( )
( ) ( ) ( )[ ] ( ) ( ) ( ) ( )
z
1
zYz32zY
z
1
zY20yzzY3zY
0zYz1zzY20zY0yzzY0yzzY2
2122211
2122¨211
=−+⇒=+−−
=−+⇒=+−−−
Řešením systému těchto dvou rovnic získáme ( )
3
1
z
2
2
1
z
2
zY2
−
+
−
−
= , tedy ( ) 3
t
2
t
2
e2e2ty +−= .
Z 2. rovnice plyne, že ( ) ( ) ( ) 3
t
2
t
3
t
2
t
3
t
2
t
221
e2e1e4e4e
3
2
e31ty2t'y31ty −+=−+





+−+=−+= .
Celkem: ( ) 3
t
2
t
1
e2e1ty −+= , ( ) 3
t
2
t
2
e2e2ty +−= .
Zkouška: ( ) ( ) 3
t
2
t
2
3
t
2
t
1
e
3
2
et'y,e
3
2
e
2
1
t'y +−=−=
1. rovnice: 0e2e2e
3
2
ee
3
4
e 3
t
2
t
3
t
2
t
3
t
2
t
=+−−+− - splněno, 2. rovnice: 0e4e4e2e3e2e1 3
t
2
t
3
t
2
t
3
t
2
t
=+−−+−+ - splněno
Počáteční podmínky: ( ) ( ) 0220y,02110y 21
=+−==−+= - splněno.
15.12. Věta: Kolmogorovovy systémy a systém evolučních diferenciálních rovnic
Nechť { }Tt;Xt
∈ je homogenní markovský řetězec se spojitým časem, který má systém matic přechodu ( ){ }Tt;t ∈P ,
systém vektorů absolutních pravděpodobností ( ){ }Tt;t ∈p , vektor počátečních pravděpodobností p(0) a matici intenzit
přechodu Q. Pak platí:
a) ( ) ( )QPP tt' = s počáteční podmínkou P(0) = I (Kolmogorovův systém prospektivních diferenciálních rovnic)
b) ( ) ( )tt' QPP = s počáteční podmínkou P(0) = I (Kolmogorovův systém retrospektivních diferenciálních rovnic)
c) ( ) ( )Qpp tt' = s počáteční podmínkou p(0) = daný stochastický vektor (systém evolučních diferenciálních rovnic).
15.13. Věta: Věta o řešení Kolmogorovových systémů a systému evolučních diferenciálních rovnic
Nechť Q je kvazistochastická matice řádu n. Pak platí:
a) Existuje jediné řešení systému prospektivních a retrospektivních Kolomogorovových diferenciálních rovnic s počáteční
podmínkou P(0) = I. Toto řešení představuje systém matic přechodu HMŘ se SČ s množinou stavů { }n,,2,1J …= .
b) Existuje jediné řešení systému evolučních diferenciálních rovnic s počáteční podmínkou p(0) = daný stochastický vektor.
Toto řešení představuje systém vektorů absolutních pravděpodobností HMŘ se SČ s množinou stavů { }n,,2,1J …= .
15.14. Příklad: Nechť { }Tt;Xt
∈ je homogenní markovský řetězec se spojitým časem, který má množinu stavů { }2,1J = ,
matici intenzit přechodu 





−
−
=
11
22
Q a vektor počátečních pravděpodobností ( ) 





=
2
1
,
2
1
0p .
a) Najděte vektor stacionárních pravděpodobností.
b) Najděte vyjádření pro vektor absolutních pravděpodobností.
Řešení:
Ad a) Hledáme vektor a tak, aby aQ = 0, a1 + a2 =1.
( ) ( ) 122121 a1a1aa,0,0
11
22
a,a −=⇒=+=





−
−
3
2
3
1
1a,
3
1
a0a1a20aa2 211121
=−==⇒=+−⇒=+− , tedy 





=
3
2
,
3
1
a .
Ad b) Řešíme systém evolučních diferenciálních rovnic ( ) ( )Qpp tt' = s počáteční podmínkou ( ) 





=
2
1
,
2
1
0p .
( ) ( )( ) ( ) ( )( ) ( ) ( ) ( ) ( )tp1tp1tptp,
11
22
tp,tpt'p,t'p 12212121 −=⇒=+





−
−
=
( ) ( ) ( ) ( ) ( ) ( ) ( )
2
1
0p,tp1tp2t'ptptp2t'p 1111211
=−+−=⇒+−= .
Laplaceův obraz: ( ) ( ) ( ) ( ) ( )( ) ( )
( ) 3z
6
1
z2
3
2
3zz2
2z
zP
z2
2z
2
1
z
1
3zzPzP
z
1
zP20pzzP 111111
+
+=
+
+
=⇒
+
=+=+⇒−+−=−
( ) t31
1
e
6
1
3
1
3z
6
1
z
3
1
Ltp −−
+=












+
+= , ( ) ( ) t3
12
e
6
1
3
2
tp1tp −
−=−= . Zkouška vyjde.
16. Poissonův proces
16.1. Definice: Definice Poissonova procesu
Nechť { }Tt;Xt ∈ je homogenní markovský řetězec se spojitým časem, který má množinu stavů J = {0, 1, 2, …}, vektor
počátečních pravděpodobností p(0) = (1, 0, …) a matici intenzit přechodu












λλ−
λλ−
λλ−
=
……………
…
…
…
00
00
00
Q , kde 0>λ je konstanta, nazývá se intenzita.
Přechodový diagram:
Tento HMŘ se nazývá Poissonův proces (s parametrem λ).
(Vidíme, že v Poissonově procesu je možné jen setrvání v dosavadním stavu nebo přechod do nejbližšího vyššího stavu.)
Vysvětlení: Poissonův proces popisuje např. náhodné a navzájem nezávislé události. Náhodná veličina { }…,1,0Xt
∈ udává
počet událostí, které nastanou v intervalu ( t,0 . Přitom střední hodnota počtu událostí, které nastanou za časovou jednotku,
je konstanta 0>λ . Pravděpodobnost p0(t) = e-λt
vyjadřuje, že v intervalu ( t,0 nenastala žádná událost. Označíme-li S dobu
čekání na změnu mezi stavy (tj. dobu čekání na příchod události resp. dobu setrvání ve stavu), pak P(S > t) = e-λt
, tedy
( )



<
≥−
=≤
λ−
0t,0
0t,e1
tSP
t
. To znamená, že je-li rozložení počtu událostí, které nastaly v intervalu ( t,0 Poissonovo, je
rozložení doby čekání na změnu resp. doby setrvání ve stavu exponenciální.
Příklady uvažovaných událostí:
- dopady částic kosmického záření zaznamenávané čítačem částic
- rozpady radioaktivního prvku
- výzvy přicházející do telefonní ústředny
- dopravní nehody registrované na nějakém silničním úseku
- poruchy automatického stroje
- příchody zákazníků do nějakého systému obsluhy apod.
Upozornění: U těchto praktických příkladů není splněn předpoklad, že intenzita výskytu událostí λ je nezávislá na čase.
Provoz v telefonní ústředně je jistě živější dopoledne než večer; silniční provoz záleží jak na denní době tak na dnu v týdnu;
množství radioaktivní látky časem ubývá a tedy ubývá i intenzita rozpadu jejích atomů; poruchovost stroje se může zvyšovat
s jeho opotřebením apod. Často se ale sleduje výskyt těchto událostí jen po nějakou omezenou dobu, během níž lze
předpokládat neměnnost intenzity λ.
16.2. Věta: Věta o pravděpodobnostním rozložení složek Poissonova procesu
Nechť { }Tt;Xt
∈ je Poissonův proces s parametrem λ. Pak platí: ( ) ( ) t
j
j
e
!j
t
tp:JjTt λ−λ
=∈∀∈∀ .
Vysvětlení: Náhodná veličina Xt, která udává např. počet zákazníků, kteří přijdou do fronty v intervalu ( t,0 , se řídí
rozložením Po(λt). Číslo p0(t) = e-λt
udává pravděpodobnost, že v intervalu ( t,0 nenastane žádná změna.
Důkaz: Sestavíme systém evolučních diferenciálních rovnic ( ) ( )Qpp tt' = s počáteční podmínkou p(0) = (1, 0, …).
( ) ( ) ( )( ) ( ) ( ) ( )( )












λλ−
λλ−
λλ−
=
……………
…
…
…
……
00
00
00
,tp,tp,tp,t'p,t'p,t'p 210210
,
( ) ( )
( ) ( ) ( )
( ) ( ) ( )
⋮
tptpt'p
tptpt'p
tpt'p
2012
101
00
λ−λ=
λ−λ=
λ−=
Obecně: ( ) ( ) ( ) …,2,1j,tptpt'p j1jj
=λ−λ= −
s počáteční podmínkou p0(0) = 1, pj(0) = 0, j = 1, 2, …
Při řešení těchto rovnic použijeme LT.
Obraz 1. rovnice: ( ) ( ) ( ) ( ) ( ) t1
00000
e
z
1
Ltp
z
1
zPzP10pzzP λ−−
=





λ+
=⇒
λ+
=⇒λ−==−
Obraz 2. rovnice: ( ) ( ) ( ) ( ) ( )
( )
( )
( )
t
2
1
1211011
te
z
Ltp
z
zPzP
z
1
zP00pzzP λ−−
λ=





λ+
λ
=⇒
λ+
λ
=⇒λ−
λ+
=λ==−
Obraz 3. rovnice: ( ) ( ) ( )
( )
( ) ( )
( )
( )
( )
( ) t2
3
2
1
23
2
222122
et
!2
1
z
Ltp
z
zPzP
z
zP00pzzP λ−−
λ=





λ+
λ
=⇒
λ+
λ
=⇒λ−
λ+
λ
=λ==−
Obecně: ( ) ( ) …,2,1,0j,e
!j
t
tp t
j
j
=
λ
= λ−
16.3. Příklad: Majitel obchodu s potravinami zjistil, že v ranní špičce přichází do obchodu průměrně 20 zákazníků za 5
minut. Majitelova manželka se domnívá, že v průběhu 10 minut může očekávat v průměru 30 zákazníků, zatímco
optimističtější majitel v průběhu 10 minut očekává 40 zákazníků. Který odhad je pravděpodobnější?
Řešení:
Příchody zákazníků do obchodu lze modelovat Poissonovým procesem { }Tt;Xt
∈ , kde Xt = j, když za časový interval ( t,0
přijde do obchodu právě j zákazníků, j = 0, 1, 2, …
Parametr procesu (intenzita procesu): minutu1zazákazníci4
5
20
==λ .
Podle předpokladu: Xt ~ Po(4t), tedy ( ) ( ) t4
j
t
e
!j
t4
jXP −
==
Odhad manželky: ( ) ( ) ( ) 01847,010pe
!30
104
30XP 30
104
30
10
==
⋅
== ⋅−
V MATLABu: poisspdf(30,40)
Odhad manžela: ( ) ( ) ( ) 06297,010pe
!40
104
40XP 40
104
40
10 ==
⋅
== ⋅−
V MATLABu: poisspdf(40,40)
Optimistický odhad majitele je pravděpodobnější než opatrný odhad jeho manželky.
16.4. Věta: Věta o pravděpodobnostech přechodu v Poissonově procesu
Nechť { }Tt;Xt
∈ je Poissonův proces s parametrem λ. Pak platí: ( )
( )
( )





<
≥
−
λ
=∈∀∈∀
λ−
−
ijpro0
ijproe
!ij
t
tp:Jji,Tt
t
ij
ij
.
Důkaz: Z matice intenzit přechodu plyne, že jediný přechod s nenulovou pravděpodobností je přechod do stavu o 1 vyššího.
Přitom počáteční stav je nulový, tedy pj(t) = p0j(t). V důsledku homogenity: ( ) ( )
( )
( )





<
≥
−
λ
==
λ−
−
ijpro0
ijproe
!ij
t
tptp
t
ij
i-j0,ij
.
16.5. Věta: Věta o střední hodnotě a rozptylu Poissonova procesu
Nechť { }Tt;Xt
∈ je Poissonův proces s parametrem λ. Pak E(Xt) = λt, D(Xt) = λt.
Důkaz: Plyne z vlastností Poissonova rozložení, protože Xt ~ Po(λt).
16.6. Věta: Věta o rozložení doby setrvání řetězce v daném stavu
Nechť { }Tt;Xt ∈ je Poissonův proces s parametrem λ. Označme Sj dobu, kterou řetězec setrvá ve stavu j-1, j = 1, 2, … Pak
Sj ~ Ex(λ) a střední hodnota doby setrvání řetězce ve stavu j-1 je
λ
1
.
Důkaz: Plyne z věty 14.9.
16.7. Věta: Věta o nezávislosti dob setrvání řetězce v daných stavech
Náhodné veličiny Sj, j = 1, 2, … jsou stochasticky nezávislé.
Důkaz: Nebudeme provádět.
16.8. Příklad: Na autobusovou zastávku přijíždějí autobusy linek č. 1 a č. 2. Předpokládáme, že příjezdy autobusů obou
linek tvoří události Poissonových procesů s parametry λ1, λ2, přičemž tyto procesy probíhají nezávisle na sobě. Vypočtěte
pravděpodobnost, že za časový interval délky t přijede na zastávku právě k autobusů.
Řešení:
Označme Xt počty příjezdů linky č. 1 v intervalu ( t,0 , Xt ~ Po(λ1t), ( ) ( ) t
j
1
t
1
e
!j
t
jXP λ−λ
== , j = 0, 1, 2, …
Označme Yt počty příjezdů linky č. 2 v intervalu ( t,0 , Yt ~ Po(λ2t), ( ) ( ) t
j
2
t
2
e
!j
t
jYP λ−λ
== , j = 0, 1, 2, …
Dále označme Zt počty příjezdů autobusů obou linek v intervalu ( t,0 , Zt = Xt + Yt. Máme počítat P(Zt = k), k = 0, 1, 2, …
Podle věty o rozložení součtu dvou stochasticky nezávislých náhodných veličin dostáváme:
( ) ( ) ( ) ( ) ( )
( )
( )
( ) ( ) ( ) ( )t
k
21
k
0j
jk
2
j
1
tk
0j
t
jk
2t
j
1
k
0j
ttt
21
21
21
e
!k
tt
j
k
!k
e
e
!jk
t
e
!j
t
jkYPjXPkZP λ+λ−
=
−
λ+λ−
=
λ−
−
λ−
=
λ+λ
=λλ





=
−
λλ
=−==== ∑∑∑
Znamená to, že Zt ~ Po((λ1 + λ2)t).
16.9. Věta: Věta o bodovém a intervalovém odhadu parametru λ Poissonova procesu
Nechť v intervalu T,0 byl sledován Poissonův proces s neznámým parametrem λ a bylo pozorováno n událostí.
a) Bodový odhad parametru λ je dán vzorcem:
T
nˆ =λ , přičemž ( ) λ=λˆE (tj. λˆ je nestranný odhad) a ( ) T
ˆD
λ
=λ .
b) 100(1-α)% empirický interval spolehlivosti pro λ má meze: ( )2n2
T2
1
d 2/
2
+χ= α , ( )2n2
T2
1
h 2/1
2
+χ= α− .
16.10. Příklad: Na určitém zařízení byly po dobu 580 h sledovány poruchy. Za tuto dobu jich nastalo 22. Za
předpokladu, že poruchy tvoří události Poissonova procesu s parametrem λ, odhadněte tento parametr a najděte pro něj 95%
empirický interval spolehlivosti.
Řešení:
T = 580, n = 22, tedy 0379,0
580
22
T
nˆ ===λ
( ) ( ) 0252,02,29
1160
1
46
5802
1
2n2
T2
1
d 025,0
2
2/
2
==χ
⋅
=+χ= α
( ) ( ) 0574,06,66
1160
1
46
5802
1
2n2
T2
1
h 975,0
2
2/1
2
==χ
⋅
=+χ= α−
0,0252 < λ < 0,0574 s pravděpodobností aspoň 0,95.
16.11. Poznámka: Poissonův proces lze v MATLABu simulovat pomocí funkce Poisson.m:
function [v,abscet,relcet,p, tabulka1, tabulka2]=Poisson(CPS,lambda,t)
%vstupni parametry
%CPS ... celkovy pocet simulovanych prichodu zakazniku
%lambda ... intenzita vstupniho proudu zakazniku
%t ... casovy krok
%vystupni parametry
%v ... vektor variant poctu zakazniku
%abscet ... abs. cetnosti jednotlivych variant
%relcet ... relativni cetnosti jednotlivych variant
%p ... pravdepodobnosti jednotlivych variant
%tabulka1 ... empiricke a teoreticke charakteristiky simulovaneho poctu
%zakazniku
%tabulka2 ... empiricke a teoreticke charakteristiky doby simulace
Tuto funkci použijeme při řešení následujícího příkladu.
16.12. Příklad: V sobotu v době od 8 do 20 h sledujeme provoz v klidné ulici ve vilové čtvrti města. V tomto období
vjíždějí auta do této ulice v průměru každých 8 minut. Předpokládejme, že intervaly mezi příjezdy aut se řídí
exponenciálním rozložením. Pomocí MATLABu simulujte vjezd 20 aut do této ulice.
Řešení: V tomto případě jsou vstupní parametry tyto: CPS = 20, lambda = 1/8, časový krok zvolíme např. t = 8.
Teoretická celková doba simulace by měla být 20.8 = 160 min, průměr = 8 min, směrodatná odchylka = 8 min.)
[v,abscet,relcet,p, tabulka1, tabulka2]=Poisson(CPS,lambda,t)
Počet aut, která vjíždějí vždy během 8 minut Abs. četnost Rel. četnost pravděpodobnost
0
1
2
4
15
6
6
1
0,5357
0,2143
0,2143
0,0357
0,3679
0,3679
0,1839
0,0153
Průměrný počet aut za časový krok: 0,7857
Střední hodnota počtu aut za časový krok: 1
Pozorovaná směr. odch. počtu aut za časový krok: 1,0313
Směrodatná odchylka počtu aut za časový krok: 1
Celková doba simulace: 214,7869
Teoretická celková doba simulace: 20*8 = 160
Průměrná doba mezi vjezdy aut: 10,7393
Střední hodnota doby mezi vjezdy aut: 8
Pozorovaná směr. odch. doby mezi vjezdy aut: 14,8255
Směrodatná odchylka doby mezi vjezdy aut: 8
Realizace Poissonova procesu:
0 50 100 150 200 250
0
2
4
6
8
10
12
14
16
18
20
17. Proces vzniku a zániku
17.1. Motivace: Budeme se zabývat popisem kolísání rozsahu souboru objektů v čase za předpokladu, že
a) v náhodných okamžicích vstupují do tohoto souboru nové objekty, přičemž pravděpodobnost, že v intervalu ( ht,t +
vstoupí do souboru rozsahu j nový objekt, je ( )hohj
+λ , kde λj > 0 je intenzita vstupu do stavu j;
b) v náhodných okamžicích vystupují z tohoto souboru jiné objekty, přičemž pravděpodobnost, že v intervalu ( ht,t +
vystoupí ze souboru rozsahu j jeden objekt, je ( )hohj
+µ , kde µj > 0 je intenzita výstupu ze stavu j;
c) vstupy a výstupy objektů jsou stochasticky nezávislé jevy;
d) během krátkého časového intervalu zůstává rozsah souboru týž nebo se jedničku zvětší či zmenší.
Bude nás především zajímat, jak se chová rozsah tohoto souboru po dostatečně dlouhé době, tj. po odeznění vlivu
počátečních podmínek.
17.2. Definice: Definice procesu vzniku a zániku
Nechť { }Tt;Xt ∈ je homogenní markovský řetězec se spojitým časem, který má množinu stavů J = {0, 1, 2, …}, vektor
počátečních pravděpodobností p(0) = (1, 0, …) a matici intenzit přechodu
( )
( )












λλ+µ−µ
λλ+µ−µ
λλ−
=
……………
…
…
…
2222
1111
00
0
0
00
Q , kde …0,1,2,j,0j
=>λ a …1,2,j,0j
=>µ jsou konstanty.
Tento řetězec se nazývá proces vzniku a zániku (resp. množení a úmrtí).
Přechodový diagram:
Upozornění: Je zřejmé, že Poissonův proces je speciálním případem procesu vzniku a zániku, v němž
µj = 0, j = 1, 2, … a λj = λ, j = 0, 1, 2, …
17.3. Věta: Stacionární rozložení procesu vzniku a zániku
Nechť { }Tt;Xt
∈ je proces vzniku a zániku s intenzitami vzniku …0,1,2,j,0j
=>λ a intenzitami zániku …1,2,j,0j
=>µ
Pak stacionární rozložení tohoto procesu je dáno vzorcem: 0
j21
1j10
j
aa:Jj
µ⋅⋅µµ
λ⋅⋅λλ
=∈∀ −
…
…
, kde
∑
∞
=
−
µ⋅⋅µµ
λ⋅⋅λλ
+
=
1j j21
1j10
0
1
1
a
…
…
za
předpokladu, že řada ∑
∞
=
−
µ⋅⋅µµ
λ⋅⋅λλ
1j j21
1j10
…
…
absolutně konverguje. Jinak stacionární rozložení neexistuje.
Důkaz: Hledáme řešení systému rovnic aQ = 0, a0 + a1 + … = 1, tj.
( )
( )
( )
( )
1aaa
,,0,0,0
0
0
00
,a,a,a
210
2222
1111
00
210
=+++
=












λλ+µ−µ
λλ+µ−µ
λλ−
…
…
……………
…
…
…
…
( )
1aaa
aaa
,2,1j,0aaa
aa0aa
210
j
1j
jj
1j
1j
1j
1j
1j1jjjj1j1j
0
1
0
11100
=+++
µ
λ+µ
+
µ
λ
−=
⇒==µ+λ+µ−λ−
µ
λ
=⇒=µ+λ−
+
−
+
−
+
++−−
…
…
Nechť j = 1: 0
21
10
0
1
0
2
11
0
2
0
1
2
11
0
2
0
2
aaaaaa
µµ
λλ
=
µ
λ
µ
λ+µ
+
µ
λ
−=
µ
λ+µ
+
µ
λ
−=
Obecně: 0
j21
1j10
j
aa
µ⋅⋅µµ
λ⋅⋅λλ
= −
…
…
, přičemž
∑
∑∑∑ ∞
=
−
∞
=
−
∞
=
∞
=
µ⋅⋅µµ
λ⋅⋅λλ
+
=⇒
µ⋅⋅µµ
λ⋅⋅λλ
+=+==
1j j21
1j10
0
1j
0
j21
1j10
0
1j
j0
0j
j
1
1
aaaaaa1
…
……
…
, pokud
řada ∑
∞
=
−
µ⋅⋅µµ
λ⋅⋅λλ
1j j21
1j10
…
…
absolutně konverguje.
17.4. Příklad: Nechť { }Tt;Xt
∈ je proces vzniku a zániku s množinou stavů J = {0,1}, intenzitou vzniku λ a intenzitou
zániku µ. Najděte:
a) vektor absolutních pravděpodobností p(t)
b) matici pravděpodobností přechodu P(t)
c) stacionární rozložení a.
Řešení: Matice intenzit přechodu: 





µ−µ
λλ−
=Q
Ad a) Sestavíme systém evolučních diferenciálních rovnic ( ) ( )Qpp tt' = s počáteční podmínkou p(0) = (1,0).
( ) ( )( ) ( ) ( )( ) ( ) ( ) ( ) ( )tp1tp1tptp,tp,tpt'p,t'p 01101010 −=⇒=+





µ−µ
λλ−
=
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 10p,tpt'ptptpt'ptptpt'p 0000101010
=µ=µ+λ+⇒µ−µ+λ−=⇒µ+λ−=
Laplaceův obraz: ( ) ( ) ( ) ( ) ( )
( )
( )
µ+λ+
µ+λ
λ
+
µ+λ
µ
==⇒
µ+λ+
µ+λ
=⇒−
µ
=µ+λ+=−
zz
zP
zz
zP
z
zP10pzzP 00000
( ) ( )t1
0 e
zz
Ltp µ+λ−−
µ+λ
λ
+
µ+λ
µ
=












µ+λ+
µ+λ
λ
+
µ+λ
µ
= , ( ) ( ) ( )t
01
etp1tp µ+λ−
µ+λ
λ
−
µ+λ
λ
=−= .
Celkem: ( ) ( ) ( )
( )tt
e,e
1
t µ+λ−µ+λ−
λ−λλ+µ
µ+λ
=p
Ad b) Pravděpodobnosti přechodu určíme např. ze systému Kolmogorovových retrospektivních diferenciálních rovnic
( ) ( )tt' QPP = s počáteční podmínkou P(0) = I.
( ) ( )
( ) ( )
( ) ( )
( ) ( ) 





=











µ−µ
λλ−
=





10
01
tptp
tptp
,
t'pt'p
t'pt'p
1110
0100
1110
0100
: pro řešení tohoto systému opět využijeme Laplaceovu
transformaci a získáme výsledek:
( )
( ) ( )
( ) ( ) 





µ+λµ−µ
λ−λλ+µ
µ+λ
= µ+λ−µ+λ−
µ+λ−µ+λ−
tt
tt
ee
ee1
tP .
Ad c) Stacionární rozložení můžeme určit několika způsoby. Podle věty 17.3. máme:
µ+λ
µ
=
µ
λ
+
=
1
1
a0 ,
µ+λ
λ
=
µ+λ
µ
−=−= 1a1a 01 .
Celkem: ( )λµ
µ+λ
= ,
1
a
18. Speciální případy procesu vzniku a zániku
18.1. Definice: Definice lineárního procesu vzniku a zániku
Nechť { }Tt;Xt
∈ je homogenní markovský řetězec se spojitým časem, který má množinu stavů J = {0, 1, 2, …}, vektor
počátečních pravděpodobností p(0) = (0, 1, 0, …) a matici intenzit přechodu
( )
( )












λλ+µ−µ
λλ+µ−µ
=
……………
…
…
…
2220
0
0000
Q , kde 0,0 >µ>λ jsou konstanty.
Tento řetězec se nazývá lineární proces vzniku a zániku s intenzitami λ, µ.
(Intenzity přechodu jsou lineárními funkcemi pořadí stavů, v nichž byl proces v předešlém okamžiku,
tj. λj = jλ, j = 0, 1, 2, … µj = jµ, j = 1, 2, …)
18.2. Věta: Věta o absolutních pravděpodobnostech v lineárním procesu vzniku a zániku
Nechť { }Tt;Xt
∈ je lineární proces vzniku a zániku s intenzitami λ, µ. Pak absolutní pravděpodobnosti jsou dány vztahy:
Pro λ = µ: ( )
t1
t
tp0
λ+
λ
= , ( ) ( )
( )
…,2,1j,
t1
t
tp 1j
1j
j
=
λ+
λ
= +
−
Pro λ ≠ µ zavedeme označení ( )
( )
( )t
t
e
e1
tA µ−λ
µ−λ
λ−µ
−
= . Pak ( ) ( )tAtp0
µ= , ( ) ( )[ ] ( )[ ] ( )[ ] …,2,1j,tAtA1tA1tp
1j
j
=λµ−λ−=
−
Důkaz: Uvedené vztahy získáme řešením systému evolučních diferenciálních rovnic.
18.3. Důsledek: Pravděpodobnost zániku
Pravděpodobnost, že soubor objektů v čase t zanikne, je ( ) ( )
( )



µ≠λµ
µ=λ
λ+
λ
===
protA
pro
t1
t
tp0XP 0t
. Limitním přechodem
pro t → ∞ zjistíme, že limitní pravděpodobnost zániku je ( )




µ>λ
λ
µ
µ≤λ
=∞→
pro
pro1
tplim 0t
.
18.4. Věta: Střední hodnota a rozptyl rozsahu souboru
Nechť { }Tt;Xt
∈ je lineární proces vzniku a zániku s intenzitami λ, µ. Předpokládejme, že v čase t = 0 má soubor rozsah
k0 ≥ 1. Pak pro střední hodnotu a rozptyl rozsahu souboru v čase t > 0 platí:
Pro λ = µ: ( ) ( ) tk2XD,kXE 0t0t
λ== .
Pro λ ≠ µ: ( ) ( )
( ) ( ) ( )
[ ]1eekXD,ekXE t-t-
0t
t-
0t −
µ−λ
µ+λ
== µλµλµλ
.
Důkaz: Nebudeme provádět.
18.5. Poznámka: Limitním přechodem pro t → ∞ zjistíme, že limitní střední hodnota rozsahu souboru je
( )





µ>λ∞
µ<λ
µ=λ
=
∞→
pro
pro0
prok
XElim
0
t
t
18.6. Příklad: Nechť { }Tt;Xt
∈ je lineární proces vzniku a zániku s množinou stavů J = {0, 1, 2}, intenzitou vzniku
λ = 0,01 a intenzitou zániku µ = 0,001.
a) Jaká je pravděpodobnost, že proces zanikne v čase t = 100?
b) Jaká je limitní pravděpodobnost zániku?
Řešení:
Ad a) Podle důsledku 18.3. ( )
( )
( )t
t
0
e
e1
tp µ−λ
µ−λ
λ−µ
−
µ= , tedy ( ) 0619,0
e01,0001,0
e1
001,0100p 9,0
9,0
0
=
−
−
=
Pravděpodobnost, že v čase t = 100 proces zanikne, je 6,2 %.
Ad b) ( ) 1,0
01,0
001,0
tplim 0
t
==
λ
µ
=
∞→
Limitní pravděpodobnost zániku je 10 %.
18.7. Příklad: V příkladu 18.6. předpokládejme, že v čase t = 0 soubor obsahoval 20 objektů. Jaká je střední hodnota a
směrodatná odchylka rozsahu souboru v čase t = 100?
Řešení:
( ) ( )
( ) ( ) ( )
[ ] ( ) 3679,91ee
9
11
201eekXD49,1921,20eekXE 9,09,0t-t-
0t
0,9t-
0t =−=−
µ−λ
µ+λ
==== µλµλµλ
18.8. Poznámka: Vlastnosti lineárního procesu vzniku a zániku lze v MATLABu ilustrovat pomocí funkce lpvz.m:
function [M,S,P]=lpvz(lambda, mi, tau,k0)
% funkce lpvz ilustruje vlastnosti linearniho procesu vzniku a zaniku
% syntaxe: [M,S,P]=lpvz(lambda, mi, tau,k0)
% vstupni parametry:
% lambda je intenzita vzniku, mi intenzita zaniku
% tau je konecny cas, k0 rozsah souboru v case t=0
% vystupni parametry:
% M je vektor strednich hodnot rozsahu souboru v case t=0 az tau
% S je vektor smerodatnych odchylek rozsahu souboru v case t=0 az tau
% P je pravdepodobnost zaniku souboru v case t=0 az tau
t=[0:tau]';
M=k0*exp((lambda-mi).*t);
S=sqrt(k0*((lambda+mi)/(lambda-mi))*exp((lambda-mi).*t).*(exp((lambda-mi).*t)-1));
P=mi*((1-exp((lambda-mi).*t)))./(mi-lambda*exp((lambda-mi).*t));
plot(t,M)
figure
plot(t,S)
figure
plot(t,P)
Použijeme tuto funkci pro proces popsaný v př. 18.6. a 18.7.
lambda=0.01;mi=0.001;tau=100;k0=20;
Dostaneme
graf závislosti středních hodnot
rozsahu souboru na čase
0 10 20 30 40 50 60 70 80 90 100
20
25
30
35
40
45
50
graf závislosti směrodatných odchylek
rozsahu souboru na čase
0 10 20 30 40 50 60 70 80 90 100
0
1
2
3
4
5
6
7
8
9
10
graf závislosti
pravděpodobnosti zániku na čase
0 10 20 30 40 50 60 70 80 90 100
0
0.01
0.02
0.03
0.04
0.05
0.06
0.07
18.9. Definice: Definice Erlangova procesu
Nechť { }Tt;Xt
∈ je proces vzniku a zániku, který má konečnou množinu stavů J = {0, 1, 2, …, m}, vektor počátečních
pravděpodobností p(0) = (1, 0, …, 0) a matici intenzit přechodu
( )
( )
( ) ( )( )




















µ−µ
λλ+µ−−µ−
λµ+λ−µ
λµ+λ−µ
λλ−
=
mm00000
1m1m0000
000220
0000
00000
…
…
……………………
…
…
…
Q , kde 0>λ a 0>µ jsou konstanty.
Tento řetězec se nazývá Erlangův proces.
Vysvětlení: Erlangův proces charakterizuje např. provoz telefonní ústředny, do níž vede m linek. Nechť Xt je počet
obsazených linek v okamžiku t, Xt = 0, 1, …, m. Počet obsazených linek se v krátkém časovém intervalu můžeme změnit
jen o jedničku. Intenzita nové výzvy je λ, zatímco intenzita ukončování hovoru je úměrná momentálnímu počtu obsazených
linek s koeficientem úměrnosti µ. Výzva, která přichází k plně obsazené telefonní ústředně, se ztrácí.
Přechodový diagram:
Agner Krarup Erlang (1878 – 1929) byl dánský matematik, jako první se vědecky zabýval problematikou
telefonních sítí. Pracoval 20 let pro Kodaňskou telefonní společnost. Na jeho počest byl zaveden 1 erlang
jako jednotka telefonního provozu.
18.10. Věta: Věta o stacionárním rozložení Erlangova procesu
Stacionární rozložení Erlangova procesu je dáno vzorcem: m,,1,0j,
!k
1
!j
1
a
m
0k
k
j
j …=






µ
λ






µ
λ
=
∑=
. Stacionární rozložení existuje vždy.
Důkaz: Hledáme řešení systému aQ = 0, 1a
m
0j
j
=∑=
.
( )
( )
( )
( ) ( )( )
( )0,,0,0
mm00000
1m1m0000
000220
0000
00000
a,,a,a m10 …
…
…
……………………
…
…
…
… =




















µ−µ
λλ+µ−−µ−
λµ+λ−µ
λµ+λ−µ
λλ−
0110
aa0aa
µ
λ
=⇒=µ+λ
( ) ( ) 1m,,2,1j,a
j
a
1j
1
a0a1jaja j1j1j1jj1j
−=





µ
µ+λ
+
µ
λ
−
+
=⇒=µ++µµ+λ−λ −++−
…
0ama m1m =µ−λ −
Nechť j = 1: 0
2
00102
a
!2
1
aa
2
1
aa
2
1
a 





µ
λ
=





µ
λ
⋅
µ
µ+λ
+
µ
λ
−=





µ
µ+λ
+
µ
λ
−= . Obecně: m,,2,1j,a
!j
1
a 0
j
j
…=





µ
λ
= .
Přitom
∑
∑∑
=
==






µ
λ
=⇒





µ
λ
==
m
0j
j0
m
0j
0
j
m
0j
j
!j
1
1
aa
!j
1
a1 . Celkem: m,,1,0j,
!k
1
!j
1
a
m
0k
k
j
j
…=






µ
λ






µ
λ
=
∑=
18.11. Příklad: V dílně pracují tři opraváři. Do této dílny přichází v průměru 24 zákazníků za 1 h. Jestliže příchozí
zákazník najde volného opraváře, je k němu přiřazen a začne oprava. Jestliže není žádný opravář volný, zákazník nečeká a
odchází. Předpokládáme, že doba opravy se řídí exponenciálním rozložením, přičemž průměrná doba opravy je 5 min.
a) Jakou procentuální část pracovní doby jsou opraváři nevyužiti?
b) Kolik procent potenciálních zákazníků je odmítnuto?
c) Jaký je průměrný počet obsluhujících opravářů?
Řešení: Zavedeme Erlangův proces { }Tt;Xt
∈ , kde Xt je počet obsluhujících opravářů v okamžiku t, Xt = 0, 1, 2, 3.
Přitom 3m,2,12
12
1
1
,24 ==
µ
λ
==µ=λ
Ad a) 158,0
19
3
2
6
1
2
2
1
21
2
!j
1
1
!j
1
1
a
1
32
3
0j
jm
0j
j0
==





+++==






µ
λ
=
−
=
=
∑∑
, tedy 15,8 % pracovní doby opraváři nepracují.
Ad b) Zákazník bude odmítnut, když budou všichni tři opraváři pracovat. Počítáme 211,0
19
3
8
6
1
a
!3
1
a 0
3
3
=⋅⋅=





µ
λ
= , tedy
21,1 % potenciálních zákazníků bude odmítnuto.
Ad c) Vypočítáme zbylé složky stacionárního rozložení a = (a0, a1, a2, a3):
19
6
aa 01 =
µ
λ
= ,
19
6
a
!2
1
a 0
2
2
=





µ
λ
=
Střední hodnota počtu obsluhujících opravářů: 579,1
19
30
19
12
19
12
19
6
a3a2aja 321
3
0j
j
==++=++=∑=
.
18.12. Poznámka: Stacionární rozložení Erlangova procesu můžeme vypočítat v MATLABu pomocí funkce Erlang.m:
function [a]=Erlang(m,lambda,mi)
% funkce na vypocet stacionarniho rozlozeni Erlangova procesu
% syntaxe: [a]=Erlang(m,lambda,mi)
% vstupni parametry:
% m ... nejvyssi poradove cislo v mnozine stavu
% lambda ... intenzita vzniku
% lambda ... intenzita zaniku
% vystupni parametr
% a ... vektor stacionarnich pravdepodobnosti
a0=1/sum(((lambda/mi).^(0:m)).*(1./(factorial(0:m))));
a=((lambda/mi).^(1:m)).*(1./(factorial(1:m)))*a0;
a=[a0 a];
Použijeme tuto funkci pro řešení příkladu 18.11.:
m=3;lambda=24;mi=12;
a=Erlang(m,lambda,mi)
Dostaneme výsledek:
a =
0.1579 0.3158 0.3158 0.2105
18.13. Definice: Definice procesu vzniku
Nechť { }Tt;Xt
∈ je homogenní markovský řetězec se spojitým časem, který má množinu stavů J = {0, 1, 2, …}, vektor
počátečních pravděpodobností p(0) = (1, 0, …) a matici intenzit přechodu












λλ−
λλ−
λλ−
=
……………
…
…
…
22
11
00
00
00
00
Q , kde …0,1,2,j,0j
=>λ jsou konstanty.
Tento řetězec se nazývá proces vzniku (resp. množení) s intenzitami …0,1,2,j,0j
=>λ
Vysvětlení: Proces vzniku popisuje kolísání rozsahu souboru objektů v čase, přičemž objekty mohou do souboru pouze
vstupovat a nemohou vystupovat. Poissonův proces je speciálním případem procesu vzniku, kde λj = λ, j = 0, 1, 2, …
Přechodový diagram:
.
18.14. Věta: Absolutní pravděpodobnosti a pravděpodobnosti přechodu v procesu vzniku
Nechť { }Tt;Xt ∈ je proces vzniku s intenzitami …0,1,2,j,0j
=>λ Pak platí:
a) Absolutní pravděpodobnosti jsou dány vztahy:
( ) t
0
0
etp λ−
=
( ) ( )
( ) ( )( ) ( )∑= +−
λ−
−
λ−λ⋅⋅λ−λλ−λ⋅⋅λ−λ
λ⋅⋅λλ−=
j
0i ji1ii1ii0i
t
1j10
j
j
i
e
1tp
……
… , j = 1, 2, …
b) Pravděpodobnosti přechodu jsou dány vztahy:
( )





λ=λλ
λ≠λ−
λ−λ
λ
=
+
λ−
+
λ−λ−
++
+
prote
proee
p
j1j
t
j
j1j
tt
j1j
j
1j,j
j
1jj
Důkaz:
Ad a) Plyne ze systému evolučních diferenciálních rovnic ( ) ( )Qpp tt' = s počáteční podmínkou p(0) = (1, 0, 0, …)
Ad b) Plyne ze systému Kolmogorovových prospektivních diferenciálních rovnic ( ) ( )QPP tt' =
s počáteční podmínkou P(0) = I
18.15. Příklad: Nechť v procesu vzniku jsou intenzity vzniku dány vztahem λj = (N + j)λ, kde N je dané přirozené číslo a
λ > 0 je konstanta. Odvoďte vektor absolutních pravděpodobností.
Řešení:
( ) tNt
0
eetp 0 λ−λ−
==
( ) ( )
( ) ( )( ) ( )∑= +−
λ−
−
λ−λ⋅⋅λ−λλ−λ⋅⋅λ−λ
λ⋅⋅λλ−=
j
0i ji1ii1ii0i
t
1j10
j
j
i
e
1tp
……
… =
=
( ) ( ) ( )
( )
( )( ) ( ) ( )( ) ( ) ( )( ) ( ) ( )( )∑=
λ+−
λ+−λ+⋅⋅λ++−λ+λ−+−λ+⋅⋅λ−λ+
−++λ−
j
0i
tiN
jj
jNiN1iNiN1iNiNNiN
e
1jN1NN1
……
… =
( ) ( )
( )
( )
( ) ( ) ( )
( ) ( )
( ) ( ) ( )∑∑ =
λ−
λ−
=
λ+−
−−λ−
−+
λ−=
λ−λ−λλ−λ−
−+
λ−
j
0i
j
ti
tN
j
jj
j
0i
tiN
jj
!ij!i1
e
e
1
!1N
!1jN
1
ji11ii
e
!1N
!1jN
1
……
=
=
( )
( )
( ) ( ) ( )jttN
j
0i
ijittN
e1e
j
1jN
1e
i
j
!j
1
e
!1N
!1jN λ−λ−
=
−λ−λ−
−




 −+
=−





−
−+
∑
Znamená to, že Xt ~ Ps(N, e-λt
).
18.16. Definice: Definice lineárního procesu vzniku
Nechť v procesu vzniku jsou intenzity vzniku úměrné rozsahu souboru, tj. λj = jλ, j = 1, 2, …, λ > 0. Předpokládejme, že na
začátku je v souboru jeden objekt. Matice intenzit přechodu má tedy tvar












λλ−
λλ−
λλ−
=
……………
…
…
…
330¨0
0220
00
Q . Tento proces se
nazývá lineární proces vzniku (Yuleův proces).
18.17. Věta: Absolutní pravděpodobnosti v Yuleově procesu
Nechť { }Tt;Xt
∈ je Yuleův proces s intenzitou vzniku λ > 0. Pak absolutní pravděpodobnosti jsou dány vzorcem:
( ) ( ) …,2,1j,ee1tp t1jt
j =−= λ−−λ−
Znamená to, že rozsah souboru v čase t zmenšený o 1 se řídí rozložením Ge(e-λt
).
Důkaz: Plyne z příkladu 18.15., kde položíme N = 1.
18.18. Věta: Střední hodnota a rozptyl v Yuleově procesu
V Yuleově procesu je střední hodnota rozsahu souboru v čase t rovna eλt
a rozptyl eλt
(eλt
– 1).
Důkaz: Plyne z vlastností geometrického rozložení.
(Proces vzniku i Yuleův proces mají v praxi jen malý význam, protože v reálném světě neexistují populace, jejichž jedinci
nepodléhají zániku. Nicméně, uvedených procesů je možno použít např. k modelování krátkodobého růstu kolonie bakterií
v prostředí s dostatkem živin.)
18.19. Příklad: Nechť je dán Yuleův proces s parametrem λ = 2,34.
a) Jaká je pravděpodobnost, že v čase t = 0,6 bude rozsah souboru nejvýše 5?
b) Vypočtěte střední hodnotu a směrodatnou odchylku rozsahu souboru v čase t = 0,2.
Řešení:
Ad a) ( ) ( ) …,2,1j,ee1tp t1jt
j =−= λ−−λ−
( ) ( ) ( ) 7557,0ee16,0p5XP
5
0j
6,034,21j6,034,2
5
0j
j6,0
=−==≤ ∑∑ =
⋅−−⋅−
=
Ad b) ( ) t
t eXE λ
= , ( ) ( )1eeXD tt
t −= λλ
( ) 5968,1eXE 2,034,2
2,0 == ⋅
, ( ) ( ) 9762,01eeXD 2,034,22,034,2
2,0 =−= ⋅⋅
18.20. Definice: Definice procesu zániku
Nechť { }Tt;Xt
∈ je HMŘ se spojitým časem, který má množinu stavů J = {0, 1, 2, …, N}, vektor počátečních
pravděpodobností p(0) = (0, 0, …, 1) a matici intenzit přechodu
















µ−µ
µ−µ
µ−µ
=
NN
22
11
0000
0000
0000
000000
…
…………………
…
…
…
Q , kde
N,,2,1j,0j
…=>µ jsou konstanty. Tento proces se nazývá proces zániku.
Vysvětlení: Na počátku má soubor N objektů. Objekty mohou ze souboru jenom vystupovat, přičemž intenzita výstupu ze
souboru rozsahu j je µj, j = 1, 2, …, N. Proces končí zánikem souboru.
Přechodový diagram:
18.21. Definice: Definice lineárního procesu zániku
Nechť v procesu zániku jsou intenzity zániku úměrné rozsahu souboru, tj. µj = jµ, j = 0, 1, …, N, µ > 0. Matice intenzit
přechodu má tedy tvar:
















µ−µ
µ−µ
µ−µ
=
NN0000
000220
0000
000000
…
…………………
…
…
…
Q . Tento proces se nazývá lineární proces zániku.
18.22. Věta: Absolutní pravděpodobnosti v lineárním procesu zániku
Nechť { }Tt;Xt
∈ je lineární proces zániku s intenzitou zániku µ > 0. Pak absolutní pravděpodobnosti jsou dány vzorcem:
( ) ( ) ( ) N,,1,0j,e1e
j
N
tp
jNtjt
j
…=−





=
−µ−µ−
. Znamená to, že rozsah souboru v čase t se řídí rozložením Bi(N, e-µt
).
Důkaz: Plyne z evolučních diferenciálních rovnic ( ) ( )Qpp tt' = s počáteční podmínkou p(0) = (0, 0, …, 1).
18.23. Věta: Střední hodnota a rozptyl v lineárním procesu zániku
V lineárním procesu zániku je střední hodnota rozsahu souboru v čase t rovna Ne-µt
a rozptyl Ne-µt
(1- e-µt
) .
Důkaz: Plyne z vlastností binomického rozložení.
Seznam literatury
KEMENY, John G., Laurie J. SNELL a Gerald L. THOMPSON.
Úvod do finitní matematiky. 1. vyd. Praha: SNTL - Nakladatelství
technické literatury, 1971. 469 s.
KOŘENÁŘ, Václav. Stochastické procesy. Vyd. 1. Praha: Vysoká
škola ekonomická v Praze, 2002. 227 s. ISBN 80-245-0311-5.
PRÁŠKOVÁ, Zuzana. Základy náhodných procesů. 1. vyd. Praha:
Karolinum, 2004. 151 s. ;. ISBN 80-246-0971-1.