5. Stacionární a limitní rozložení homogenních markovských řetězců
5.1. Definice: Definice stacionárního vektoru
Nechť a je stochastický vektor a P stochastická matice odpovídající dimenze. Jestliže platí a = aP, pak vektor a se nazývá
stacionární vektor matice P.
5.2. Příklad: Najděte stacionární vektor stochastické matice
















=
3
2
3
1
0
2
1
6
1
3
1
0
2
1
2
1
P .
Řešení: a = aP, a1 + a2 + a3 = 1, tj. (a1, a2, a3) = (a1, a2, a3)
















3
2
3
1
0
2
1
6
1
3
1
0
2
1
2
1
3
a
2
a
a 21
1 +=
3
a
6
a
2
a
a 321
2 ++=
3
a2
2
a
a 32
3 +=
a1 + a2 + a3 = 1
211 a2a3a6 +=
3212 a2aa3a6 ++=
323 a4a3a6 +=
a1 + a2 + a3 = 1
a = =





19
9
,
19
6
,
19
4
(0,211; 0,316; 0,474)
5.3. Poznámka: Stacionární vektor lze v MATLABu získat pomocí funkce sv.m:
function [a]=sv(P)
%funkce pro vypocet stacionarniho vektoru
%syntaxe: a=sv(P)
%vstupni parametr ... stochasticka matice P
%vystupni parametr ... stacionarni vektor a
%zjistime rad matice P:
n=size(P,1);
%vytvorime pomocnou jednotkovou matici:
I=eye(n);
%sestavime matici soustavy:
A=[[I-P]';ones(1,n)];
%vytvorime vektor pravých stran:
f=[zeros(n,1);1];
%vypocteme stacionární vektor
a=(A\f)';
5.4. Definice: Definice stacionárního rozložení homogenního markovského řetězce
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s maticí přechodu P. Stochastický vektor a, který je stacionárním
vektorem matice P, se nazývá stacionární rozložení daného řetězce.
Vysvětlení: Stacionární rozložení popisuje chování HMŘ po dostatečně dlouhé době sledování, kdy již odezněl vliv
počátečních podmínek. Složka aj stacionárního rozložení udává podíl celkové doby, kterou řetězec stráví ve stavu j.
5.5. Věta: Věta o existenci limity vektoru absolutních pravděpodobností
Nechť { }0n
Nn;X ∈ je homogenní markovský řetězec s maticí přechodu P. Jestliže pro Jj,i ∈∀ existuje jijn
a)n(plim =∞→
, pak
existuje též jj
n
a)n(plim =
∞→
.
Důkaz: Ze zákona evoluce plyne: j
Ji
ijj
Ji
i
Ji
ijni
Ji
ijinjn
a)0(paa)0(p)n(plim)0(p)n(p)0(plim)n(plim ∑∑∑∑ ∈∈∈
∞→
∈
∞→∞→
===== .
5.6. Příklad:
Máme černou a bílou urnu a pět koulí. Na počátku pokusu jsou všechny koule v černé urně. V každém kroku pokusu
náhodně vybereme jednu kouli, přičemž výběr každé koule je stejně pravděpodobný a přemístíme ji do druhé urny.
Zavedeme homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů J = {0,1, ..., 5}, kde Xn = j, když po n-tém kroku
bude v černé urně právě j koulí.
a) Najděte matici přechodu a nakreslete přechodový diagram.
b) Najděte stacionární rozložení tohoto řetězce.
c) Vypočtěte střední hodnotu počtu koulí v černé urně po stabilizaci pokusu.
Řešení:
ad a)
























=
010000
5
1
0
5
4
000
0
5
2
0
5
3
00
00
5
3
0
5
2
0
000
5
4
0
5
1
000010
P
0 1
1/5
1
2
2/5
4/5
3
3/5
3/5
4
4/5
2/5
5
1
1/5
ad b) (a0, a1, a2, a3, a4, a5) = (a0, a1, a2, a3, a4, a5)
























010000
5
1
0
5
4
000
0
5
2
0
5
3
00
00
5
3
0
5
2
0
000
5
4
0
5
1
000010
10
a
5
1
a = , 201
a
5
2
aa += , 312
a
5
3
a
5
4
a += , 423
a
5
4
a
5
3
a += , 534
aa
5
2
a += , 45 a
5
1
a =
a1 = 5a0, a2 = 10a0, a3 = 10a0, a4 = 5a0, a5 = a0
Protože a0 + a1 + a2 + a3 + a4 + a5 = 1, dostáváme a0 + 5a0 + 10a0 + 10a0 + 5a0 + a0 = 1 ⇒
32
1
a0
=
Stacionární rozložení: a = 





32
1
,
32
5
,
32
10
,
32
10
,
32
5
,
32
1
ad c) 5,2
32
80
32
1
5
32
5
4
32
10
3
32
10
2
32
5
1
32
1
0)X(E ==⋅+⋅+⋅+⋅+⋅+⋅=
Výsledek je ve shodě s očekáváním, že po dostatečně velkém počtu pokusů bude v obou urnách v průměru stejný počet
koulí.
5.7. Poznámka: Pro daný homogenní markovský řetězec příslušné stacionární rozložení nemusí existovat.
5.8. Definice: Definice limitního rozložení a ergodického řetězce
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s vektorem počátečních pravděpodobností p(0). Jestliže existuje
pp =
∞→
)n(lim
n
, pak vektor p se nazývá limitní rozložení daného řetězce. Jestliže vektor p nezávisí na vektoru počátečních
pravděpodobností p(0), pak řekneme, že daný řetězec je ergodický (regulární).
5.9. Poznámka: Interpretace ergodického řetězce
Ergodický řetězec lze interpretovat takto: podíl případů, kdy je řetězec ve stavu j, se blíží číslu aj bez ohledu na to, jak
proces začal.
5.10. Věta: Věta o vztahu mezi limitním a stacionárním rozložením u ergodického řetězce
Jestliže { }0n Nn;X ∈ je ergodický homogenní markovský řetězec a existuje jeho stacionární rozložení a, pak limitní rozložení
p je rovno stacionárnímu rozložení a.
Důkaz: PpPppp =−==
∞→∞→
)1n(lim)n(lim
nn
, tedy p je stacionární vektor matice P a ten značíme a.
5.11. Věta: Markovova věta
Nechť { }0n
Nn;X ∈ je homogenní markovský řetězec s maticí přechodu P. Jestliže existuje takové číslo 0Nn ∈ , že matice Pn
má všechny prvky kladné (říkáme, že je regulární) , pak
a) existuje stacionární rozložení daného řetězce a je jediné
b) řetězec { }0n
Nn;X ∈ je ergodický
c) matice Pn
konverguje k limitní matici A, jejíž řádky jsou stejné a jsou rovny stacionárnímu vektoru a.
Důkaz: Nebudeme provádět.
5.12. Poznámka:
Matice P je regulární, jestliže není rozložitelná na tvar






=
2
1
P0
0P
P , 





=
SR
0Q
P nebo 





=
0P
P0
P
2
1
.
Znamená to, že z každého stavu lze po konečném počtu kroků přejít do všech ostatních stavů.
5.13. Příklad: Uvažme provoz výrobní linky, která se může nacházet ve dvou stavech: v provozu (stav 1) nebo v opravě
(stav 2). Dlouhodobým sledováním provozu výrobní linky se dospělo k následujícím závěrům: pokud se výrobní linka
v jednom období nacházela v provozu, tak v následujícím období v 50% případů zůstala v provozu a v 50% případů se
nacházela v opravě. Pokud se výrobní linka nacházela v jednom období v opravě, pak v dalším období zůstala v 75%
případů v opravě a v 25% případů se vrátila do provozu.
a) Modelujte tuto situaci pomocí homogenního markovského řetězce.
b) Najděte matici přechodu P a nakreslete přechodový diagram.
c) Najděte limitní rozložení daného homogenního řetězce a interpretujte ho.
Řešení:
ad a) { }0n Nn;X ∈ , Xn = j, když v n-tém období je linka ve stavu j, j = 1, 2.
ad b) 





=
75,025,0
5,05,0
P
ad c) (a1, a2) = (a1, a2) 





75,025,0
5,05,0
, a1 + a2 = 1
3
1
a,
3
2
a 12
==⇒ , tedy 





=
3
2
,
3
1
a
Znamená to, že po dostatečně dlouhé době bude linka v provozu s pravděpodobností 1/3 a v opravě s pravděpodobností 2/3.
1
0,5
2
0,25
0,5
0,75
5.14. Příklad: Nechť { }0n
Nn;X ∈ je homogenní markovský řetězec s maticí přechodu












=
……………
…
…
…
p0q0
0p0q
00pq
P ,
kde p + q = 1. (Tento HMŘ se nazývá náhodná procházka s částečně odrážející stěnou.) Určete stacionární rozložení tohoto
HMŘ.
Řešení: ( ) ( ) 1a,
p0q0
0p0q
00pq
,a,a,a,a,a,a
0j
j210210 =












= ∑
∞
=
……………
…
…
…
……
001100 a
q
p
a
q
q1
aqaqaa =
−
=⇒+=
( )
0
2
02
00
2201
a
q
p
a
q
q1p
q
paa
q
p
aqapaa 





=
−
=
−
=⇒+=
Obecně: …,2,1j,a
q
p
a 0
j
j =





=
a) Nechť p < q. Pak
q
p
1a
q
p
1
a
a
q
p
a1 0
0
0j
0
j
0j
j −=⇒
−
=





== ∑∑
∞
=
∞
=
. Stacionární rozložení existuje a má tvar:
…,2,1,0j,
q
p
1
q
p
a
j
j =





−





= Jedná se o geometrické rozložení s parametrem
q
p
1−=ϑ .
(Připomenutí geometrického rozložení:
Náhodná veličina X udává počet neúspěchů v posloupnosti opakovaných nezávislých pokusů předcházejících prvnímu
úspěchu, přičemž pravděpodobnost úspěchu je v každém pokusu ϑ. Píšeme X ~ ( )ϑGe . Pravděpodobnostní funkce:
( )


 =ϑϑ−
=π
jinak0
1,0,xpro)1(
x
x
…
)
b) Nechť p ≥ q. Pak ∞=∑
∞
=0j
ja a stacionární rozložení neexistuje.
5.15. Příklad: Na malém městě jsou dva obchody, označme je A a B. Zajímáme se o nákupy zákazníků v těchto
obchodech. Uvažujeme přitom týdenní období a sledujeme, kde zákazníci v jednotlivých týdnech nakupovali a jak tyto
obchody střídali. Pro jednoduchost předpokládejme, že v průběhu jednoho týdne navštěvovali buď pouze obchod A nebo
obchod B. Jako součást marketingového výzkumu byla shromážděna data od 1000 zákazníku v časovém horizontu 10 týdnů.
Na základě tohoto výzkumu bylo zjištěno, že 90% zákazníků nakupujících v obchodě A tam bude nakupovat i
v následujícím týdnu a 10% přejde do obchodu B. Dále 80% zákazníků nakupujících v obchodě B tam bude nakupovat i
v následujícím týdnu a 20% přejde do obchodu A.
a) Modelujte tuto situaci pomocí HMŘ a najděte matici přechodu.
b) Jestliže na začátku nakupovalo 1000 zákazníků v obchodě A, kolik jich bude po šesti týdnech?
c) Jestliže na začátku nakupovalo 1000 zákazníků v obchodě B, kolik jich bude po šesti týdnech?
d) Jak velký je tržní podíl těchto dvou obchodů za předpokladu dostatečně velkého počtu období?
e) Obchod B provede reklamní kampaň, aby přilákal zákazníky nakupující v obchodě A. Došlo k určitému přesunu zájmu
nakupovat v obchodě B. Dle nového průzkumu byla stanovena matice přechodu 





80,020,0
15,085,0
. Jak se nyní změnil tržní podíl
obchodů A a B za předpokladu dostatečně velkého počtu období?
Řešení:
Ad a) Zavedeme homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů J = {1, 2}, přičemž Xn = 1, když zákazník
v n-tém týdnu nakupuje v obchodě A a Xn = 2, když zákazník v n-tém týdnu nakupuje v obchodě B.
Podle textu úlohy sestavíme matici přechodu: 





=
8,02,0
1,09,0
P .
Ad b) Vektor počátečních pravděpodobností je ( ) )0,1(0 =p , vektor absolutních pravděpodobností po 6 týdnech bude
( ) ( ) ( )2941,0;7059,006 6
== Ppp , tedy v obchodě A bude nakupovat 706 zákazníků.
Ad c) Vektor počátečních pravděpodobností je ( ) )1,0(0 =p , vektor absolutních pravděpodobností po 6 týdnech bude
( ) ( ) ( )4118,0;5882,006 6
== Ppp , tedy v obchodě B bude nakupovat 412 zákazníků.
Ad d) Hledáme stacionární rozložení daného HMŘ. Toto rozložení bude existovat, protože již matice P má všechny prvky
kladné. Řešíme systém rovnic
( ) ( ) 1aa,
8,02,0
1,09,0
a,aa,a 101010 =+





= . Dostaneme složky stacionárního vektoru:
3
1
a,
3
2
a 10 == . Tržní podíl obchodu A tedy činí
66,7%, obchodu B 33,3%.
Ad e) V tomto případě hledáme stacionární rozložení pro HMŘ s maticí přechodu 





80,020,0
15,085,0
.
Získáme vektor a = (0,5714; 0,4286), tedy tržní podíl obchodu A činí 57,1%, obchodu B 42,9%.
5.16. Příklad: Profesor má tři oblíbené otázky, z nichž jedna se objeví v každém testu, který profesor zadá. Studenti znají
jeho zvyklosti dobře. Profesor nikdy nepoužívá téže otázky dvakrát po sobě. Když naposled užil otázky 1, hodí mincí a
v případě, že padne líc, užije otázky 2. Jestliže užil otázky 2, hází dvěma mincemi a přejde k otázce 3, když na obou mincích
padne líc. Jestliže užil otázky 3, hází třemi mincemi a přejde k otázce 1, když na všech třech padl líc.
a) Popište situaci pomocí homogenního markovského řetězce, najděte matici přechodu a nakreslete přechodový diagram.
b) Za předpokladu, že uplynulo již dosti dlouhé období, zjistěte, kterou otázku použil profesor nejčastěji a v kolika
procentech případů ji užil.
Řešení:
Ad a) Zavedeme homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů { }3,2,1J = , přičemž Xn = j, když v okamžiku n
zadá profesor otázku číslo j, j = 1,2,3.
Matice přechodu: P










=
08/78/1
4/104/3
2/12/10
Ad b) Hledáme stacionární vektor daného HMŘ.
(a1, a2, a3) = (a1, a2, a3)










08/18/7
4/104/3
2/12/10
, a1 + a2 + a3 = 1. Řešením získáme stacionární vektor a = (5/15, 6/15, 4/15), tedy
profesor zadává nejčastěji otázku číslo 2 a užil ji ve 40% případů.
Simulace procesu v MATLABu
stav 1 stav 2 stav 3
n=10 0,3 0,4 0,3
n=20 0,35 0,35 0,3
n=50 0,34 0,38 0,28
n=100 0,35 0,39 0,26
n=200 0,375 0,395 0,23
n=500 0,328 0,412 0,26
n=1000 0,339 0,401 0,26
… … … …
n=∞ 0,3333 0,4 0,2667
Stav 1
0 100 200 300 400 500 600 700 800 900 1000
0.3
0.31
0.32
0.33
0.34
0.35
0.36
0.37
0.38
0.39
Stav 2
0 100 200 300 400 500 600 700 800 900 1000
0.34
0.35
0.36
0.37
0.38
0.39
0.4
0.41
0.42
0.43
Stav 3
0 100 200 300 400 500 600 700 800 900 1000
0.23
0.24
0.25
0.26
0.27
0.28
0.29
0.3
0.31
5.17. Příklad: V příkladu 4.11. „Model havarijního pojištění“ jsme zjistili, že matice přechodu má tvar










λλ−−
−
−
=
λ−λ−λ−λ−
λ−λ−
λ−λ−
eeee1
e0e1
0ee1
P .
a) Odvoďte stacionární rozložení daného HMŘ.
b) Za předpokladu, že základní výše pojistného je w Kč, vypočtěte střední hodnotu výše pojistného, kterou pojištěnec zaplatí
v dlouhodobém časovém horizontu.
Řešení:
Ad a) Pro zjednodušení zavedeme označení c0 = e-λ
, c1 = λ e-λ
. Matice P má pak tvar:










−−
−
−
=
0110
00
00
cccc1
c0c1
0cc1
P . Stacionární
rozložení existuje, protože již matice P2
má všechny prvky kladné. Řešíme systém rovnic
( ) ( ) 1aaa,
cccc1
c0c1
0cc1
a,a,aa,a,a 210
0110
00
00
210210
=++










−−
−
−
= . Dostaneme složky stacionárního vektoru:
( ) ( )
λ−
λ−
λ−
λ−λ−
λ−
λ−λ−
λ−
=
−
=
λ−
−
=
−
−
=
λ−
λ−−
=
−
−−
= 2
2
10
2
0
22
10
00
12
2
10
100
0
e1
e
cc1
c
a,
e1
e1e
cc1
c1c
a,
e1
ee1
cc1
ccc1
a
Ad b) Připomeneme, že stavy 0, 1, 2 znamenají, že 0 je základní pojistné, 1 je pojistné s bonusem 30%, 2 je pojistné
s bonusem 50%.
Střední hodnota výše pojistného tedy bude ( ) ( )






λ−
+
λ−
−
+
λ−
λ−−
=++ λ−
λ−
λ−
λ−λ−
λ−
λ−λ−
2
2
22
2
210
e1
e
5,0
e1
e1e
7,0
e1
ee1
wa5,0a7,0aw .