Cvičení předmětu M5444 Markovské řetězce
Zadání příkladů na 1. cvičení
Příklad 1.: Na přímce jsou vyznačeny body –1, 0, 1. V bodě 0 se nachází kulička. Náhodně
házíme mincí. Jestliže padne líc, posuneme kuličku do bodu 1, jestliže padne rub, posuneme ji
do bodu –1. Je-li kulička v bodě 1 a padne-li líc, ponecháme ji v bodě 1, padne-li rub,
posuneme ji do bodu 0. Je-li kulička v bodě –1 a padne-li rub, ponecháme ji v bodě –1, padneli
líc, posuneme ji do bodu 0.
Modelujte tuto situaci vhodným SP.
Pro posloupnost 10 hodů mincí {L, L, L, R, R, L, R, L, R, R} graficky znázorněte
odpovídající realizace SP.
Příklad 2.: Nechť náhodná veličina X ~ Ex(λ), tj.
hustota: ( )



≤
>λ
=ϕ
λ−
0xpro0
0xproe
x
x
, distribuční funkce: ( )



≤
>−
=Φ
λ−
0xpro0
0xproe1
x
x
. Zavedeme
SP { }Tt;Xt ∈ , kde Xt = tX, t > 0.
a) Najděte jednorozměrnou distribuční funkci Φt(x) tohoto SP.
b) K distribuční funkci Φt(x) najděte hustotu φt(x).
Příklad 3.: Náhodná veličina X má distribuční funkci Φ(x). Nechť c, t∈R, t > 0. Zavedeme
SP { }Tt;Xt ∈ , kde Xt = tX + c.
a) Najděte jednorozměrnou distribuční funkci Φt(x) tohoto SP.
b) Najděte dvourozměrnou distribuční funkci ( )21tt x,x21
Φ .
Příklad 4.: Náhodná veličina X má distribuční funkci Φ(x). Nechť t > 0. Zavedeme SP
{ }Tt;Xt ∈ , kde Xt = tX2
. Určete jednorozměrnou distribuční funkci Φt(x) tohoto SP.
Příklad 5.: Nechť X1, X2, X3, … jsou stochasticky nezávislé náhodné veličiny, které mají
všechny stejnou distribuční funkci Φ(x). Nechť { }K,3,2,1T = . Zavedeme SP { }Tt;Xt ∈ .
Určete pravděpodobnostní rozložení tohoto SP.
Příklad 6.: Nechť náhodná veličina X ~ Ex(λ), tj. E(X) = 1/ λ, D(X) = 1/ λ2
. Zavedeme SP
{ }Tt;Xt ∈ , kde Xt = tX. Najděte střední hodnotu, rozptyl, autokovarianční a autokorelační
funkci tohoto SP.
Příklad 7.: Nechť Y, Z jsou standardizované náhodné veličiny, které jsou nekorelované.
Zavedeme SP { }Tt;Xt ∈ , kde Xt = t + Y.cos ωt + Z.sin ωt, ω > 0 konstanta. Zjistěte, zda
daný SP je slabě stacionární.
Příklad 8.: Uvažme SP z příkladu 7. Zavedeme standardizovaný SP { }Tt;Ut ∈ , kde
( )
( )t
tX
U t
t
σ
µ−
= . Zjistěte, zda tento standardizovaný SP je slabě stacionární.
Příklad 9.: Nechť Y, Z jsou náhodné veličiny se středními hodnotami E(Y) = µ1, E(Z) = µ2 a
rozptyly D(Y) = σ1
2
, D(Z) = σ2
2
. Jejich koeficient korelace je R(Y,Z) = 0,7. . Zavedeme SP
{ }Tt;Xt ∈ , kde Xt = 2tY + Z. Najděte střední hodnotu, rozptyl a autokovarianční funkci
tohoto SP.
Příklad 10.: Nechť γX(t1,t2) je autokovarianční funkce SP { }Tt;Xt ∈ . Nechť f(t), g(t) jsou
reálné funkce definované na T. Zavedeme SP { }Tt;Yt ∈ , kde Yt = f(t)Xt + g(t). Najděte
autokovarianční funkci tohoto SP.
Příklad 11.: Nechť SP { }Tt;Xt ∈ má střední hodnotu ( ) 1tt 2
X −=µ a autokovarianční
funkci ( ) ( )2
21 tt
21X e2t,t −α−
=γ . Zavedeme SP { }Tt;Yt ∈ , kde Yt = tXt + t2
+ 1. Najděte jeho
střední hodnotu a autokovarianční funkci.
Zadání příkladů na 2. cvičení
Příklad 1.: Nechť X1, X2, … jsou stochasticky nezávislé náhodné veličiny, které nabývají
hodnot z množiny J = {0, 1, 2, …}. Dokažte, že stochastický proces { }0n Nn;X ∈ je
markovský řetězec.
Příklad 2.: Nechť { }0n Nn;X ∈ je markovský řetězec s množinou stavů J = {0,1}.
Pravděpodobnosti přechodu 1. řádu jsou dány maticí










=+
2
1
2
1
3
2
3
1
)1n,n(P . Jaká je
pravděpodobnost, že po jednom kroku bude řetězec ve stavu 0 (resp. 1), jestliže jeho
počáteční stav zvolíme
a) podle výsledku hodu mincí
b) podle výsledku náhodného pokusu, v němž je stavu 0 dosaženo s pravděpodobností 1/3 a
stavu 1 s pravděpodobností 2/3.
Příklad 3.: Model dvoustavového systému
Nechť { }0n Nn;X ∈ je markovský řetězec s množinou stavů J = {0,1}. Pravděpodobnosti
přechodu 1. řádu jsou dány maticí 





β−β
αα−
=+
1
1
)1n,n(P , vektor počátečních
pravděpodobností p(0) = (γ, 1- γ). Pro n = 2 najděte simultánní pravděpodobnostní funkci
náhodného vektoru (X1, X2, X3).
Příklad 4.: Uvažme markovský řetězec z příkladu 2 b). Vypočtěte pravděpodobnost jevu, že
X1 ≠ X2.
Příklad 5.: (Model mužských zaměstnání) Předpokládáme rozdělení mužských zaměstnání
do tří tříd: vědečtí pracovníci, kvalifikovaní pracovníci, nekvalifikovaní pracovníci. Je známo,
že 80% synů vědeckých pracovníků se stane vědeckými pracovníky, 10% kvalifikovanými a
10% nekvalifikovanými pracovníky. Ze synů kvalifikovaných pracovníků 60% bude
kvalifikovanými pracovníky, 20% vědeckými a 20% nekvalifikovanými pracovníky. Konečně
v případě nekvalifikovaných pracovníků 50% synů bude nekvalifikovanými pracovníky, 25%
kvalifikovanými a 25% vědeckými pracovníky. Předpokládejme, že každý muž má syna. Jaká
je pravděpodobnost, že vnuk nekvalifikovaného pracovníka se stane vědeckým pracovníkem?
Příklad 6.: V příkladu 5 nyní předpokládejme, že muž má syna jen s pravděpodobností 0,8.
Zaveďte nyní homogenní markovský řetězec se čtyřmi stavy – první tři jsou stejné jako
v předešlé úloze a čtvrtý odpovídá případu, kdy muž nemá syna a proces končí. Jaká je
pravděpodobnost, že vnuk nekvalifikovaného pracovníka se stane vědeckým pracovníkem?
Příklad 7.: (Klasifikace roků podle úrody jablek) V severní Nové Anglii můžeme klasifikovat
roky podle úrody jablek jako úrodné, průměrné a neúrodné. Pravděpodobnost, že po úrodném
roce bude následovat rok úrodný, průměrný, neúrodný, je postupně 0,4; 0,4; 0,2.
Pravděpodobnost, že po průměrném roce bude následovat rok úrodný, průměrný, neúrodný, je
postupně 0,2; 0,6; 0,2. Pravděpodobnost, že po neúrodném roce bude následovat rok úrodný,
průměrný, neúrodný, je postupně 0,2; 0,4; 0,4. Rok 1965 byl úrodný. Vypočtěte vektor
absolutních pravděpodobností pro rok 1967.
Příklad 8.: V příkladu 7 předpokládejme, že pravděpodobnost, že rok bude úrodný, je 1/4
průměrný 1/2 a neúrodný 1/4. Jaký je vektor absolutních pravděpodobností pro příští rok?
Návod na 1. cvičení v počítačové učebně, Markovské řetězce, PS 2011
Věta o vlastnostech homogenního markovského řetězce: Nechť { }0n Nn;X ∈ je
markovský řetězec s vektorem počátečních pravděpodobností p(0) a maticí přechodu P. Pak
pro 1n,Nm,n 0 ≥∈∀ platí:
a) P(n,n+m) = P(m) = Pm
.
b) p(n,n+m) = p(m) = p(0)Pm
.
Příklad 1.: (Klasifikace roků podle úrody jablek) V severní Nové Anglii můžeme klasifikovat
roky podle úrody jablek jako úrodné, průměrné a neúrodné. Pravděpodobnost, že po úrodném
roce bude následovat rok úrodný, průměrný, neúrodný, je postupně 0,4; 0,4; 0,2.
Pravděpodobnost, že po průměrném roce bude následovat rok úrodný, průměrný, neúrodný, je
postupně 0,2; 0,6; 0,2. Pravděpodobnost, že po neúrodném roce bude následovat rok úrodný,
průměrný, neúrodný, je postupně 0,2; 0,4; 0,4. Rok 1965 byl úrodný. Vypočtěte vektor
absolutních pravděpodobností pro rok 1967.
Řešení: Zavedeme homogenní markovský řetězec { }0n Nn;X ∈ s množinou stavů J =
{0,1,2}, kde stav 0 znamená úrodný rok, stav 1 průměrný rok a stav 2 neúrodný rok. Náhodná
veličina Xn nabývá hodnoty j, když n-tý rok odpovídá stavu j. Sestavíme matici přechodu










=
4,04,02,0
2,06,02,0
2,04,04,0
P . Vektor počátečních pravděpodobností je p(0) = (1, 0, 0). Hledáme
vektor p(2) = p(0)P2
= (0,28, 0,48, 0,24).
Návod na řešení v MATLABu:
P=[0.4 0.4 0.2;0.2 0.6 0.2;0.2 0.4 0.4];
p0=[1 0 0];
p2= p0*P^2
Příklad 2.: V příkladu 1 předpokládejme, že pravděpodobnost, že rok bude úrodný, je 0,25,
průměrný 0,5 a neúrodný 0,25. Jaký je vektor absolutních pravděpodobností pro příští rok?
Řešení: Vektor počátečních pravděpodobností nyní bude p(0) = 





4
1
,
2
1
,
4
1
. Vypočteme
vektor absolutních pravděpodobností p(1) = p(0)P = 





4
1
,
2
1
,
4
1
.
Návod na řešení v MATLABu:
P=[0.4 0.4 0.2;0.2 0.6 0.2;0.2 0.4 0.4];
p0=[1/4 1/2 1/4];
p1= p0*P
Příklad 3. – k samostatnému řešení: Půjčovna aut, která vlastní 1000 automobilů, působí ve
třech pobočkách A, B, C. Zákazník si může vybrat auto v některé z poboček a vrátit ho
v kterékoliv jiné pobočce. Dlouhodobým sledováním v týdenním intervalu byly zjištěny tyto
skutečnosti: Pravděpodobnost vrácení auta do stejné pobočky, z níž bylo vypůjčeno, je pro
pobočky A, B, C postupně 0,6; 0,6; 0,5. Pravděpodobnost, že auto vypůjčené v A bude
vráceno v B, je 0,3 a naopak, pravděpodobnost, že auto vypůjčené v B bude vráceno v A, je
0,2. Pravděpodobnost, že auto vypůjčené v B bude vráceno v C, je 0,2 a naopak,
pravděpodobnost, že auto vypůjčené v C bude vráceno v B, je 0,4. Zjednodušeně
předpokládáme, že žádné auto není ukradeno ani nehavaruje.
a) Modelujte provoz půjčovny aut pomocí HMŘ, najděte matici přechodu a nakreslete
přechodový diagram.
b) Předpokládejme, že na počátku sledování je 500 aut v pobočce A, 300 v B a 200 v C.
Určete, kolik aut bude v jednotlivých pobočkách po uplynutí 1 týdne.
Výsledek: Po týdnu sledování bude v pobočce A 380 aut, v pobočce B 410 aut a v pobočce C
210 aut.
Příklad 4. – k samostatnému řešení: Uvažme podnik, v němž jsou tři oddělené provozy –
provoz 1, provoz 2 a provoz 3. V těchto provozech pracují dělníci vykonávající jednostranné
úkony. Aby nedocházelo k otupění zaměstnanců, tak se dělníci na konci měsíce
v jednotlivých provozech náhodně střídají. Existuje samozřejmě i jistá šance, že si dělník
najde jiné zaměstnání a podnik opustí. Předpokládáme, že v takovém případě už se do
podniku nevrátí. Dlouhodobým pozorováním pohybu zaměstnanců v tomto podniku byly
zjištěny následující skutečnosti:
Dělníci z provozu 1 na konci měsíce s pravděpodobností 1/4 zůstávají v provozu 1,
s pravděpodobností 1/4 přecházejí do provozu 2 a s pravděpodobností 1/2 přecházejí do
provozu 3.
Dělníci v provozu 2 na konci měsíce s pravděpodobností 1/4 zůstávají v provozu 2,
s pravděpodobností 1/4 přecházejí do provozu 1 a s pravděpodobností 1/2 přecházejí do
provozu 3.
Jelikož práce v provozu 3 je velmi namáhavá, tak po měsíci dělníci z tohoto provozu
odcházejí se stejnou pravděpodobností buď do provozu 1 nebo do provozu 2.
Dále bylo zjištěno, že zaměstnanci z tohoto podniku odcházejí pouze z provozu 3, a to
s pravděpodobností 1/9.
a) Modelujte tuto situaci pomocí HMŘ, najděte matici přechodu a nakreslete přechodový
diagram.
b) Vypočtěte pravděpodobnost, že zaměstnanec, který na počátku sledování pracoval
v provozu 1, ve čtvrtém měsíci sledování již v podniku pracovat nebude.
Výsledek: Pravděpodobnost, že ve 4. měsíci už zaměstnanec nebude v podniku pracovat, je
308,0
12
1
= .
Definice stacionárního vektoru stochastické matice: Nechť a je stochastický vektor a P
stochastická matice odpovídající dimenze. Jestliže platí a = aP, pak vektor a se nazývá
stacionární vektor matice P.
Definice stacionárního rozložení HMŘ: Nechť { }0n Nn;X ∈ je homogenní markovský
řetězec s maticí přechodu P. Stochastický vektor a, který je stacionárním vektorem matice P,
se nazývá stacionární rozložení daného řetězce.
Definice limitního rozložení HMŘ: Nechť { }0n Nn;X ∈ je homogenní markovský řetězec
s vektorem počátečních pravděpodobností p(0). Jestliže existuje pp =
∞→
)n(lim
n
, pak vektor p
se nazývá limitní rozložení daného řetězce. Jestliže vektor p nezávisí na vektoru počátečních
pravděpodobností p(0), pak řekneme, že daný řetězec je ergodický (regulární).
Věta o vztahu mezi stacionárním a limitním rozložením HMŘ: Jestliže { }0n Nn;X ∈ je
ergodický homogenní markovský řetězec a existuje jeho stacionární rozložení a, pak limitní
rozložení p je rovno stacionárnímu rozložení a.
Markovova věta: Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s maticí přechodu
P. Jestliže existuje takové číslo 0Nn ∈ , že matice Pn
má všechny prvky kladné, pak
a) existuje stacionární rozložení daného řetězce a je jediné,
b) řetězec { }0n Nn;X ∈ je ergodický,
c) posloupnost matic Pn
konverguje k limitní matici A, jejíž řádky jsou stejné a jsou rovny
stacionárnímu vektoru a.
Návod na hledání stacionárního vektoru stochastické matice pomocí MATLABu
function [a]=sv(P)
%funkce pro vypocet stacionarniho vektoru
%syntaxe: a=sv(P)
%vstupni parametr ... stochasticka matice P
%vystupni parametr ... stacionarni vektor a
%zjistime rad matice P:
n=size(P,1);
%vytvorime pomocnou jednotkovou matici:
I=eye(n);
%sestavime matici soustavy:
A=[[I-P]';ones(1,n)];
%vytvorime vektor pravých stran:
f=[zeros(n,1);1];
%vypocteme stacionární vektor
a=(A\f)';
Příklad 5.: Předpokládejme, že v nějaké oblasti může být počasí pouze ve třech stavech, a to
déšť, jasno, sníh. Dlouhodobým pozorováním bylo zjištěno, že nikdy nebývají dva jasné dny
za sebou. Jestliže je v jistém dni jasno, pak další den bude buď déšť nebo sníh, a to se stejnou
pravděpodobností. Jestliže je v jistém dni sníh nebo déšť, pak následující den se počasí buď
nezmění, a to s pravděpodobností 0,5 nebo se změní, a pak v polovině případů bude jasno.
Popište stav počasí homogenním markovským řetězcem a vypočtěte jeho stacionární
rozložení.
Řešení: Homogenní markovský řetězec { }0n Nn;X ∈ má množinu stavů { }3,2,1J = , kde stav
1 znamená déšť, stav 2 jasno a stav 3 sníh. Matice přechodu P má tvar:










=
5,025,025,0
5,005,0
25,025,05,0
P .
Návod na řešení v MATLABu:
P=[0.5 0.25 0.25;0.5 0 0.5;0.25 0.25 0.5];
a=sv(P)
Výsledek: a = (0,4 0,2 0,4)
Znamená to, že po 40 % dnů prší, po 20 % dnů je jasno a po 40 % dnů sněží.
Příklad 6. – k samostatnému řešení: Obchodník prodává tři druhy pracích prášků, které
označíme A, B, C. Aby zjistil, jak se vyvíjí poptávka po těchto prášcích, provedl v 1. měsíci
prodeje průzkum, v němž se zjišťovalo, který druh prášku zákazníci kupují. Při tomto
průzkumu bylo zjištěno, že prášek A kupuje 50% zákazníků, prášek B 20% a prášek C 30%
zákazníků. Za měsíc byl proveden další průzkum, který zjišťoval, ke kterému druhu prášků
zákazníci přešli. Výsledky průzkumu zachycuje matice přechodu:










=
2,01,07,0
3,03,04,0
01,09,0
P .
a) Určete absolutní pravděpodobnosti po dvou měsících a interpretujte je. (Po dvou měsících
bude prášek A nakupovat 80,6% zákazníků, prášek B 12,8% a C 6,6% zákazníků.
b) Najděte vektor limitních pravděpodobností a limitní matici přechodu.
( ( )0469,0125,08281,0p = ,










=
0469,0125,08281,0
0469,0125,08281,0
0469,0125,08281,0
A )
Zadání příkladů na 4. cvičení
Příklad 1.: Myš je vložena do bludiště tvaru
V každém okamžiku si myš vybere náhodně jedny z dveří, které vedou z přihrádky, v níž se
právě nachází a přejde do příslušné přihrádky.
a) Modelujte proces pomocí HMŘ, najděte matici přechodu a nakreslete přechodový diagram
b) Ukažte, že všechny stavy jsou trvalé nenulové.
c) Jestliže myš byla na počátku vložena do nulté přihrádky, po kolika krocích se v průměru
poprvé vrátí do této přihrádky?
d) Jestliže myš byla na počátku vložena do nulté přihrádky a sýr do třetí přihrádky, s jakou
pravděpodobností myš dospěje k potravě právě třemi přechody?
Příklad 2.: Výskyt sledované vlastnosti u jedinců určitého typu je dán dvojicí alel A,a. Každý
jedinec může mít dvojici alel AA (dominantní jedinec), aa (recesivní jedinec), aA=Aa
(hybridní jedinec). Základním předpokladem genetiky je, že při křížení dostává potomek
jednu alelu od každého z rodičů, že tyto alely se vybírají náhodně a nezávisle na sobě.
Z populace náhodně vybereme jedince, zkřížíme ho s hybridním jedincem, v příštím kroku
náhodně vybíráme jedince z populace tvořené jejich potomky, opět ho zkřížíme s hybridem
atd.
a) Modelujte tento proces pomocí homogenního markovského řetězce. Najděte matici P.
b) Jestliže proces probíhá dostatečně dlouho, jaká je pravděpodobnost výskytu dominantního
(resp. recesivního resp. hybridního) jedince?
c) Nechť proces probíhá již dlouhou dobu. Křížíme dominantního jedince s hybridem. Po
kolika krocích se v průměru objeví další dominantní jedinec?
Návod na 2. cvičení v počítačové učebně, Markovské řetězce, PS 2011
Odhady absolutních pravděpodobností a pravděpodobností přechodu v HMŘ
Zadání: Dva přátelé, Karel a Jiří, se každý týden pravidelně scházejí na kondičním tenisovém
utkání. Karel si poslední dva roky zaznamenává svou úspěšnost. Ze 106 utkání vyhrál 65,
přičemž ve 43 případech výhře předcházela výhra a v 16 případech prohře předcházela
prohra.
a) Modelujte popsanou situaci pomocí homogenního markovského řetězce.
b) Najděte bodové odhady počátečních pravděpodobností a 95% intervaly spolehlivosti pro
počáteční pravděpodobnosti
c) Najděte bodové odhady pravděpodobností přechodu a 95% intervaly spolehlivosti pro
pravděpodobnosti přechodu.
Upozornění: Před výpočtem intervalů spolehlivosti nezapomeňte ověřit splnění podmínek
dobré aproximace.
Vzorce:
Údaje obsažené v textu úlohy se uspořádají do tabulky tvaru:
1 2 ∑
1 c11 c12 d1
2 c21 c22 d2
d
Bodový odhad počáteční pravděpodobnosti pi(0):
( ) k,,2,1i,
d
d
0pˆ i
i K==
Podmínky dobré aproximace: ( ) ( )[ ] 5d0pˆ10pˆ ii ≥− .
Meze 100(1-α)% asymptotického intervalu spolehlivosti pro pi(0):
( ) ( ) ( )[ ]
21
ii
i u
d
0pˆ10pˆ
0pˆ α−
−
±
Bodový odhad pravděpodobnosti přechodu pij:
k,,1j,i,
c
c
pˆ
i
ij
ij K==
Podmínky dobré aproximace ( ) 5cpˆ1pˆ iijij ≥− .
Meze 100(1-α)% asymptotického intervalu spolehlivosti pro pij:
( )
21
i
ijij
ij u
c
pˆ1pˆ
pˆ α−
−
±
V našem případě:
Výhra v minulém týdnu Prohra v minulém týdnu ∑
Výhra v tomto týdnu c11 = 43 c12 = 22 c1 = d1 = 65
Prohra v tomto týdnu c21 = 25 c22 = 16 c2 = d2 = 41
d = 106
Výsledky:
Ad a) Zavedeme HMŘ { }Nn;Xn ∈ s množinou stavů { }2,1J = , přičemž Xn = 1, když v n-tém
týdnu Karel vyhrál nad Jiřím a Xn = 2, když v n-tém týdnu Karel s Jiřím prohrál.
Ad b) Odhad vektoru počátečních pravděpodobností: ( ) ( )39,0;61,00pˆ = .
Meze 95% asymptotických intervalů spolehlivosti pro p1(0), p2(0), p3(0):
( ) ( )706,0;52,00p1 ∈ , ( ) ( )48,0;294,00p2 ∈ vždy s pravděpodobností 95 %.
Ad c) Odhadnutá matice přechodu: 





=
39,00,61
0,340,66ˆP .
Meze 95% asymptotických intervalů spolehlivosti pro pravděpodobnosti přechodu:
( ) ( ) ( ) ( )54,0;241,0p,759,0;46,0p,4535,0;2234,0p,7766,0;5465,0p 21211211 ∈∈∈∈ vždy
s pravděpodobností 95 %.
Zadání příkladů na 5. cvičení
Příklad 1.: Je dán HMŘ{ }0n Nn;X ∈ s množinou stavů J = {1, 2, 3, 4, 5, 6}. Jeho přechodový
diagram (bez ohodnocení hran) má tvar:
Sestrojte tabulku dosažitelných stavů a tabulku sousledných stavů. Najděte třídy trvalých a
přechodných stavů.
Příklad 2.: Nechť { }0n Nn;X ∈ je HMŘ s množinou stavů J = {0, 1, 2} a maticí přechodu










=
02/12/1
001
100
P . Ukažte, že tento řetězec je nerozložitelný. Najděte střední hodnoty dob prvních
návratů do stavů 0, 1, 2.
Příklad 3.: Nechť { }0n Nn;X ∈ je HMŘ s množinou stavů J = {0, ..., 5} a maticí přechodu




















=
5/25/15/105/10
04/104/300
4/14/18/108/14/1
08/708/100
00003/23/1
00002/12/1
P . Najděte kanonický tvar P.
Příklad 4.: Nechť { }0n Nn;X ∈ je HMŘ s množinou stavů J = {0, 1, 2, 3} a maticí přechodu














=
1000
4/14/14/14/1
002/12/1
002/12/1
P . Zjistěte, zda tento řetězec je rozložitelný nebo ne. Pokud ano, najděte
třídy trvalých a přechodných stavů.
Příklad k samostatnému řešení (pomocí MATLABu): Při analýze situace na trhu práce jednotliví
pracovníci mohou: „pracovat ve své profesi“ (stav 1), „pracovat v jiné profesi“ (stav 2), „být
nezaměstnaní“ (stav 3). Při sledování velkého souboru pracovníků se ukázalo, že během jednotlivých
měsíců došlo ke změnám mezi uvedenými stavy následovně:
ve své profesi pracovalo i v následujícím měsíci 80% pracovníků, 10% přešlo k jiné profesi a 10% se
stalo nezaměstnanými. Z pracovníků pracujících mimo svou profesi 10% přešlo v následujícím měsíci
ke své profesi, 70% zůstalo nadále pracovat mimo svou profesi a 20% se stalo nezaměstnanými.
Z nezaměstnaných našlo práci ve své profesi 5% osob, 30% nezaměstnaných získalo práci mimo svou
profesi a 65% osob zůstalo i v dalším měsíci nezaměstnanými.
Najděte matici přechodu P, limitní matici A, fundamentální matici Z a matici M středních hodnot dob
prvního vstupu do stavů 1, 2, 3.
Výsledek:










=
65,03,005,0
2,07,01,0
1,01,08,0
P ,










=
3125,040625,028125,0
3125,040625,028125,0
3125,040625,028125,0
A ,










−−
−−
=
7773,1125,09004,0
09766,06855,15879,0
7227,0127,18496,2
Z ,










=
2,38,33,13
65,22,12
89,66,3
M .
Návod na 3. cvičení v počítačové učebně, Markovské řetězce, PS 2011
Definice absorpčního stavu a absorpčního řetězce:
Stav Jj∈ je absorpční stav, jestliže pjj = 1.
Homogenní markovský řetězec s konečnou množinou stavů se nazývá absorpční, jestliže
každý jeho trvalý stav je absorpční.
Definice fundamentální matice absorpčního řetězce:
Matice ( ) 1−
−= QIM , kde I je jednotková matice řádu s a Q je matice řádu s obsahující
pravděpodobnosti přechodu mezi neabsorpčními stavy, se nazývá fundamentální matice
absorpčního řetězce.
Věta o součtu prvků v řádcích fundamentální matice:
Střední hodnotu počtu kroků, které řetězec stráví v neabsorpčních stavech, když vychází
z neabsorpčního stavu i a skončí v absorpčním stavu, vypočítáme jako součet prvků v i-tém
řádku fundamentální matice M. Maticový zápis: t = Me, kde e je sloupcový vektor typu s x 1
ze samých jedniček.
Definice matice přechodu do absorpčních stavů:
Matice B = MR, kde M je fundamentální matice a R je matice typu r x s obsahující
pravděpodobnosti přechodu z neabsorpčních do absorpčních stavů, se nazývá matice
přechodu do absorpčních stavů.
Upozornění: Následující příklady lze řešit s využitím funkce absorb.m
Příklad 1.: (Soustruh v kovoobráběčské firmě)
Jistá malá kovoobráběčská firma vlastní soustruh. Soustruh se může nacházet v následujících
stavech, které jsou sledovány s časovým krokem jeden týden: stav 1 – bude v provozu, stav 2
– bude v opravě, stav 3 – dá se k prodeji, stav 4 – dá se do šrotu.
Situace je vyjádřena pomocí homogenního markovského řetězce { }0n Nn;X ∈ s množinou
stavů { }4,3,2,1J = , přičemž ,jXn = je–li soustruh v n-tém týdnu ve stavu j.
Máme dánu matici přechodu:














=
1000
0100
05,005,02,07,0
005,01,085,0
P
a) Nakreslete přechodový diagram.
Řešení:
b) Klasifikujte stavy na absorpční a neabsorpční a najděte kanonický tvar matice přechodu.
Řešení:
Trvalé stavy jsou 3 a 4, oba jsou absorpční, řetězec je tedy absorpční. Stavy 1 a 2 jsou
neabsorpční.
Kanonický tvar matice přechodu:
3 4 1 2














=
2,07,005,005,0
1,085,0005,0
0010
0001
2
1
4
3
P
c) Vypočtěte fundamentální matici a interpretujte její prvky.
Řešení:
1 2
( ) 





=−=
−
314
216
2
11
QIM .
Interpretace prvků matice M: je-li v daném týdnu soustruh v provozu, pak můžeme očekávat,
že než se prodá nebo dá do šrotu, bude v průměru 16 týdnů v provozu a 2 týdny v opravě. Jeli
soustruh v daném týdnu v opravě, pak můžeme očekávat, že než se prodá nebo dá do šrotu,
bude v průměru 14 týdnů v provozu a 3 týdny v opravě.
d) Vypočtěte matici přechodu do absorpčních stavů a interpretujte její prvky.
Řešení:
3 4






==
15,085,0
1,09,0
2
1
MRB
Interpretace prvků matice B: je-li soustruh v daném týdnu v provozu, pak s pravděpodobností
0,9 půjde do prodeje a s pravděpodobností 0,1 půjde do šrotu. Je-li soustruh v daném týdnu
v opravě, pak s pravděpodobností 0,85 půjde do prodeje a s pravděpodobností 0,15 půjde do
šrotu.
e) Zjistěte vektor středních hodnot počtu kroků před absorpcí.
Řešení:






=











==
17
18
2
1
1
1
314
216
2
1
Met
Znamená to, že když je soustruh v daném týdnu v provozu resp. v opravě, tak bude v průměru
trvat 18 resp. 17 týdnů, než půjde do prodeje nebo do šrotu.
Příklad 2.: (Pracovníci ve firmě)
Jistá firma provedla dlouhodobý průzkum pohybu pracovníků v jednom odboru společnosti.
V průzkumu byly specifikovány 4 stavy, a to stav 1 - propuštění ze zaměstnání, stav 2 odchod
z osobních důvodů, stav 3 - práce ve funkci referenta a stav 4 - práce v řídicí funkci.
Jednotkovým časovým obdobím bylo jedno čtvrtletí. Známe matici přechodu:














=
88,003,001,008,0
1,08,007,003,0
0010
0001
P
Řešte tytéž úkoly jako v příkladu 1.
Částečné výsledky:






=
52,943,1
76,471,5
M
Interpretace 2. řádku matice M: pracovník, který nastoupil do vedoucí funkce společnosti,
bude pro společnost pracovat asi 2 roky a 9 měsíců, z toho 2 roky a 4,5 měsíce v řídicí funkci
a 4,5 měsíce jako referent.






=
2,08,0
45,055,0
B
Interpretace 2. řádku matice B: pracovník, který pracuje ve vedoucí funkci společnosti,
s pravděpodobností 0,8 bude propuštěn a s pravděpodobností 0,2 odejde sám.
Příklad 3.: Myš je vložena do bludiště tvaru:
V každém okamžiku si myš vybere náhodně jedny z dveří přihrádky, v níž se právě nachází a
přejde do příslušné přihrádky. Předpokládáme, že v přihrádce 3 je potrava a myš tuto
přihrádku neopustí, jakmile do ní jednou vstoupí. Pohyb myši v bludišti lze modelovat
pomocí HMŘ { }0n Nn;X ∈ s množinou stavů J = {0,1, 2, 3}, přičemž Xn = j, když
v okamžiku n je myš v j-té přihrádce.
Matice přechodu:
P =














1000
2/102/10
3/13/103/1
0010
Řešte tytéž úkoly jako v příkladu 1.
Částečné výsledky:










=
33,1133,0
67,0267,0
67,0267,1
M
Interpretace 1. řádku matice M: Myš, která vychází z přihrádky 0, stráví v průměru 1,67
kroku v přihrádce 0 resp. 2 kroky v přihrádce 1 resp. 0,67 kroku v přihrádce 2 než dospěje
k potravě.










=
1
1
1
B
Znamená to, že když myš vychází z kterékoli přihrádky, tak s pravděpodobností 1 dospěje
k potravě.
Návod na 4. cvičení v počítačové učebně, Markovské řetězce, PS 2011
Definice markovského řetězce s oceněním přechodů
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s konečnou množinou stavů J, v němž
jsou všechny stavy trvalé nenulové neperiodické (tj. ergodické). Předpokládáme, že každému
přechodu ze stavu i do stavu j je přiřazeno ocenění rij (představuje výnos nebo ztrátu spojenou
s přechodem z i do j). Tato ocenění uspořádáme do matice R = ( ) Jj,iijr ∈
, která se nazývá
matice výnosů. Řetězec { }0n Nn;X ∈ se pak nazývá markovský řetězec s oceněním
přechodů.
Rekurentní metoda výpočtu středních hodnot celkových výnosů
Nechť { }0n Nn;X ∈ je markovský řetězec s oceněním přechodů, který má matici přechodu P
a matici ocenění R. Označme
vi(n) střední hodnotu celkového výnosu, který se získá po n krocích, když řetězec vychází ze
stavu i,
∑∈
=
Jj
ijiji rpq střední hodnotu výnosu při jednom přechodu ze stavu i.
Pak pro Ji ∈∀ a n = 1, 2, 3, ... platí rekurentní vztah:
∑∈
−+=
Jj
iijii )1n(vpq)n(v , přičemž vi(0) = 0.
V maticové formě: v(n) = q + Pv(n-1), n = 1, 2, …
Aproximační vzorec pro výpočet středních hodnot celkových výnosů
v(n) ≈ (n-1)Aq + (I – (P – A))-1
q, kde A je limitní matice přechodu.
Příklad 1.: Řidič taxi dlouhodobým pozorováním zjistil, že když se v daném okamžiku
nachází ve městě A, pak s pravděpodobností 0,3 poveze příštího zákazníka do města B a
s pravděpodobností 0,7 bude zákazník žádat jízdu uvnitř A. Jestliže se řidič taxi nachází ve
městě B, pak se stejnou pravděpodobností buď poveze příštího zákazníka do A nebo bude
jezdit uvnitř B. Průměrná tržba za jízdu (v obou směrech) mezi A a B činí 1000 Kč a uvnitř
měst A a B 100 Kč. Vypočítejte střední hodnotu tržby za první dvě jízdy, vyjede-li řidič
z města A resp. B.
Řešení:
Zavedeme HMŘ { }0n Nn;X ∈ s množinou stavů J = {0,1}, přičemž Xn = 0 (resp. 1), když
v okamžiku n je řidič ve městě A (resp. B). Matice 





=





=
1001000
1000100
,
5,05,0
3,07,0
RP .
q0 = 0,7.100 + 0,3.1000 = 370, q1 = 0,5.1000 + 0,5.100 = 550
q = 





550
370
, v(0) = 





0
0
.
v(1) = q + P v(0) = 





550
370
v(2) = q + P v(1) = 





550
370
+ 





5,05,0
3,07,0






550
370
= 





1010
794
Vyjede-li řidič z města A, bude mít za první dvě jízdy v průměru tržbu 794 Kč. Vyjede-li řidič
z města B, bude mít za první dvě jízdy v průměru tržbu 1010 Kč.
Návod na řešení v MATLABu:
Zadáme matice P, R a vektor v0:
P=[0.7 0.3;0.5 0.5]; R=[100 1000;1000 100];v0=[0 0]‘;
Vypočteme vektor q = diag(P*R’);
Vypočteme vektor v1=q+P*v0
Vypočteme vektor v2=q+P*v1
Upozornění: Ve Studijních materiálech v ISu je uložena funkce vynos.m, která počítá:
- vektory středních hodnot celkových výnosů po jednom období až po n obdobích,
- znázorní průběhy vektorů středních hodnot pro jednotlivé stavy v závislosti na počtu období.
Příklad 2.: Výrobce limonád pravidelně sleduje prodejnost nového výrobku na domácím
trhu. Výrobek hodnotí v každém sledovaném období jako úspěšný (stav 0) nebo jako
neúspěšný (stav 1), přičemž lze předpokládat, že úspěšnost či neúspěšnost prodeje v daném
období je ovlivněna jen tím, jak se výrobek prodával v předchozím období. Dlouhodobým
sledováním prodeje byly zjištěny tyto poznatky: pokud byl výrobek v jednom období
úspěšný, pak v následujícím období bude úspěšný s pravděpodobností 0,8. Jestliže byl
výrobek v jednom období neúspěšný, tak v následujícím období zůstane neúspěšný
s pravděpodobností 0,7. Zůstává-li výrobek úspěšný, je výnos 10 jednotek. Změní-li se
z úspěšného na neúspěšný, klesne výnos na 5 jednotek. Při změně z neúspěšného na úspěšný
je výnos 10 jednotek a zůstává-li výrobek neúspěšný, dojde ke ztrátě 20 jednotek.
a) Modelujte proces pomocí homogenního markovského řetězce. Najděte matici přechodu a
matici výnosů.
b) Pomocí rekurentního vzorce v(n) = q + P v(n-1) vypočtěte pro oba stavy střední hodnotu
celkového výnosu, který se získá za n období, n = 1, 2, ..., 6.
c) Pomocí aproximačního vzorce v(n) ≈ (n-1)Aq + (I – (P – A))-1
q najděte přibližné vyjádření
pro vektor středních hodnot celkových výnosů v(n). Pro n = 1, 2, ..., 6 porovnejte výsledky
s přesným vyjádřením získaným v bodě (b).
Řešení:
ad a) Zavedeme HMŘ { }0n Nn;X ∈ s množinou stavů J = {0,1}, přičemž Xn = 0 (resp. 1),
když v n-tém období je výrobek úspěšný (resp. neúspěšný). Matice






=





=
20-10
510
,
7,03,0
2,08,0
RP .
ad b) Výpočet pomocí rekurentního vzorce:
q0 = 0,8.10 + 0,2.5 = 9, q1 = 0,3.10 + 0,7.(-20) = -11
q = 





−11
9
, v(0) = 





0
0
.
v(1) = q + P v(0) = 





−11
9
, v(2) = q + P v(1) = 





−16
14
, v(3) = q + P v(2) = 





−18
17
,
v(4) = q + P v(3) = 





− 5,18
19
, v(5) = q + P v(4) = 





− 25,18
5,20
, v(6) = q + P v(5) = 





− 625,17
75,21
ad c) Výpočet pomocí aproximačního vzorce:
Nejprve najdeme stacionární vektor a matice P (viz Příklady na druhé cvičení v počítačové
učebně) a sestavíme limitní matici A = 





4,06,0
4,06,0
. Po dosazení do aproximačního vzorce
získáme výsledky:
v(1) = 





− 23
17
, v(2) = 





− 22
18
, v(3) = 





− 21
19
, v(4) = 





− 20
20
, v(5) = 





−19
21
, v(6) = 





−18
22
Je zřejmé, že aproximační vzorec je pro malá n nevhodný.
Definice markovského řetězce s diskontovaným oceněním přechodů
Nechť v homogenním markovském řetězci s oceněním přechodů je přechod ze stavu i v čase
n do stavu j v čase n+1 oceněn číslem βn
rij, kde číslo β (0<β<1) je tzv. diskontní faktor. (Může
např. vyjadřovat pravděpodobnost, že proces bude dále pokračovat.) Uvedený řetězec se pak
nazývá markovský řetězec s diskontovaným oceněním přechodů.
Rekurentní metoda výpočtu středních hodnot celkových výnosů
Pro vektor středních hodnot diskontovaných celkových výnosů platí rekurentní vztah:
v(n) = q + βPv(n-1), n = 1, 2, …, přičemž v(0) = 0.
Limitní hodnota vektoru středních hodnot celkových výnosů
∞→n
lim v(n) = (I – βP)-1
q
Příklad 3.: Výrobce nealkoholických nápojů hodlá nabídnout síti potravinových obchodů
nápoj D s novou příchutí. Je si vědom konkurence tří současných oblíbených typů
nealkoholických nápojů A, B, C, ale věří, že zákazníci ocení příznivé složení a dobrou chuť
nápoje D a budou jej preferovat, jakmile ho ochutnají. Na základě zkušeností s obdobnými
produkty byla sestavena matice přechodu (časovým krokem je 1 týden):
P =














85,005,005,005,0
30,060,005,005,0
10,005,075,010,0
10,015,010,065,0
.
Výnos nebo ztráta, které plynou z jednotlivých přechodů, jsou uvedeny v matici výnosů:
R =














−−−
−−−
−−−
−−−
4333
3211
5121
5112
.
Diskontní faktor je 0,5. Pro prvních 10 týdnů vypočtěte vektor středních hodnot celkových
výnosů. Zjistěte také limitní hodnotu vektoru středních hodnot celkových výnosů.
Návod na řešení v MATLABu:
Zadáme matice P, R, vektor v0 a diskontní faktor beta:
P=[0.65 0.1 0.15 0.1;0.1 0.75 0.05 0.1;0.05 0.05 0.6 0.3;0.05 0.05 0.05 0.85];
R=[-2 -1 -1 5;-1 -2 -1 5;-1 -1 -2 3;-3 -3 -3 4];
v0=[0 0 0 0]‘; beta=0.5;
Vypočteme vektor q = diag(P*R’);
vektor v1=q+beta*P*v0
vektor v2=q+beta*P*v1
atd. až
vektor v10=q+beta*P*v9
Výsledek:
v(0) v(1) v(2) v(3) v(4) … v(9) v(10)
A 0 -1,050 -1,331 -1,360 -1,331 … -1,255 -1,253
B 0 -1,150 -1,496 -1,574 -1,574 … -1,525 -1,523
C 0 -0,400 -0,133 0,110 0,255 … 0,402 0,405
D 0 2,950 4,139 4,635 4,849 … 5,023 5,025
Výpočet limitního vektoru v(n):
Zadáme jednotkovou matici I = eye(4);
limitni_v=(I-beta*P)^(-1)*q
∞→n
lim v(n) = (-1,2506, -1,5216, 0,4069, 5,0276)
Upozornění: Ve Studijních materiálech v ISu je uložena funkce diskont.m, která počítá:
- vektory středních hodnot diskontovaných výnosů po jednom období až po n obdobích,
- limitní vektor středních hodnot diskontovaných výnosů,
- znázorní průběhy vektorů středních hodnot pro jednotlivé stavy v závislosti na počtu období.
Dobrovolný samostatný úkol: Upravte funkci vynos.m tak, aby poskytovala ještě zisk řetězce,
tj ( ) ( )( ) gqanv1nvlim
m
0j
jjii
n
==−+ ∑=
∞→
.
Zadání příkladů na 8. cvičení
Příklad 1.: Částice se pohybuje po třech drahách 1, 2, 3, které jsou umístěny mezi
odrážejícími stěnami. Na počátku sledování je částice na 2. dráze. Částice může změnit svoji
dráhu v libovolném okamžiku. Je známo, že během krátkého časového intervalu o délce h
(přitom 0 < h < 0,5) částice může buď zůstat na dráze, na níž se právě nachází nebo může
přeskočit na sousední dráhu s pravděpodobností 2h. Pravděpodobnosti přeskoků na další
dráhy jsou zanedbatelně malé.
a) Popište polohu částice na jednotlivých drahách pomocí HMŘ se spojitým časem.
b) Najděte matici intenzit přechodu a nakreslete přechodový diagram.
c) Najděte stacionární rozložení tohoto řetězce a interpretujte ho.
Výsledek: a = (1/3 1/3 1/3)
Příklad 2.: Uvažme provoz malé půjčovny aut, která má 4 auta. Doba mezi dvěma požadavky
na zapůjčení auta je náhodná veličina, která má exponenciální rozložení se střední hodnotou
polovina dne a doba výpůjčky je náhodná veličina s exponenciálním rozložením se střední
hodnotou třetina dne.
a) Popište počet vypůjčených aut pomocí HMŘ se spojitým časem.
b) Najděte matici intenzit přechodu a nakreslete přechodový diagram.
c) Najděte stacionární rozložení tohoto řetězce a interpretujte ho.
Nápověda: Pravděpodobnost, že počet zapůjčených aut se během intervalu ( ht,t + zvětší o
1, je stále λh (λ = 2) a pravděpodobnost, že počet zapůjčených aut se v intervalu ( ht,t +
zmenší o 1, je úměrná počtu zapůjčených aut s koeficientem úměrnosti µ (µ = 3).
Výsledek: a = (0,5137 0,3425 0,1142 0,0254 0,0042)
Příklad 3.: Nechť { }Tt;Xt ∈ je HMŘ se spojitým časem a množinou stavů
{ }m,,n,,1,0J KK= , kde pro čísla m a n platí mn1 ≤≤ . Intenzity přechodu jsou dány
vztahy:



≤≤µ
<<µ
=−
mjpronn
nj0proj
q 1j,j , ( )λ−=+ jmq 1j,j pro 0 ≤ j ≤ m.
Vypočtěte stacionární rozložení tohoto řetězce pro n = 2, m = 5, λ = 4, µ = 12.
Výsledek: a = (0,2198 0,3664 0,2442 0,1221 0,0407 0,0068)
Zadání příkladů na 10. cvičení
Příklad 1.: Proud zákazníků směřujících do banky tvoří Poissonův proces s parametrem λ. Je
známo, že během jedné hodiny přijdou do banky v průměru 2 zákazníci. Jaká je
pravděpodobnost, že
a) přijdou právě 2 zákazníci během prvních 20 minut, kdy má banka otevřeno,
b) přijde aspoň jeden zákazník během prvních 20 minut?
Řešení: Zavedeme Poissonův proces { }Tt;Xt ∈ , kde náhodná veličina Xt udává počet
zákazníků, kteří přijdou do banky v intervalu ( t,0 . Přitom ( ) ( ) t
j
t e
!j
t
jXP λ−λ
== . Intenzita
procesu
30
1
60
2
==λ .
ad a) ( ) 1141,0e
9
2
e
!2
20
30
1
2XP 3
2
20
30
1
2
20 ==






⋅
==
−⋅−
Řešení pomocí MATLABu: poisspdf(2,2/3)
(Funkce poisspdf(x, lambda) počítá hodnotu v bodě x pravděpodobnostní funkce Poissonova
rozložení s parametrem lambda.)
ad b) ( ) ( ) 4866,0e10XP11XP 3
2
2020 =−==−=≥
−
Řešení pomocí MATLABu: 1- poisscdf(0,2/3)
(Funkce poisscdf(x, lambda) počítá hodnotu v bodě x distribuční funkce Poissonova rozložení
s parametrem lambda.)
Příklad 2.: Předpokládáme, že poruchy určité součástky tvoří Poissonův proces. V průměru
připadá jedna porucha na 200 hodin provozu, tj. na 25 osmihodinových směn. Na skladě jsou
dvě náhradní součástky. Po době odpovídající 60 směnám budou dodány další. Jaká je
pravděpodobnost, že stroj nebude pro nedostatek náhradních součástek vyřazen z provozu do
dodávky dalších náhradních součástek?
Řešení: Zavedeme Poissonův proces { }Tt;Xt ∈ , kde náhodná veličina Xt udává počet poruch
stroje v intervalu ( t,0 . Přitom ( ) ( ) t
j
t e
!j
t
jXP λ−λ
== , kde intenzita 005,0
200
1
==λ . Zajímá
nás pravděpodobnost, že v časovém okamžiku t = 60.8 = 480 bude náhodná veličina Xt
nabývat hodnoty nejvýše 2
(přitom λt = 4,2
200
480
= ), tj. počítáme ( ) ( ) 5697,0e
!k
4,2
2XP
2
0k
4,2
k
480 ==≤ ∑=
−
.
Řešení pomocí MATLABu: poisscdf(2,2.4)
Příklad 3.: Předpokládáme, že na telefonní ústřednu přicházejí v určité denní době hovory
s neměnnou intenzitou 3 hovory za 1 minutu.
a) Jaká je pravděpodobnost, že za 1 minutu dojde na ústřednu méně než 5 hovorů?
b) Určete střední hodnotu délky intervalu mezi dvěma po sobě následujícími příchody hovorů.
c) Jaká je pravděpodobnost, že délka intervalu mezi dvěma po sobě následujícími příchody
hovorů je delší než 1 minuta?
Řešení: Zavedeme Poissonův proces { }Tt;Xt ∈ , kde náhodná veličina Xt udává počet
hovorů, které přijdou do ústředny v intervalu ( t,0 . Přitom ( ) ( ) t
j
t e
!j
t
jXP λ−λ
== . Intenzita
procesu 3=λ .
ad a) ( ) 8153,0e
!k
3
4XP
4
0k
3
k
1 ==≤ ∑=
−
Řešení pomocí MATLABu: poisscdf(4,3)
ad b) Podle věty 14.6. se délka S tohoto intervalu řídí exponenciálním rozložením
s parametrem 3=λ , tedy střední hodnota délky tohoto intervalu je s20min
3
1
= .
ad c) Zajímá nás ( ) ( ) ( ) 0498,0ee111SP11SP 313
==−−=≤−=> −⋅−
Řešení pomocí MATLABu: 1-expcdf(1,1/3)
Příklad 4.: Uvažme Poissonův proces s intenzitou λ, který popisuje náhodné a navzájem
nezávislé příchody zákazníků do fronty. Již bylo odvozeno, že počet zákazníků ve frontě
v okamžiku t se řídí rozložením ( )tPo λ .
Předpokládejme, že 1=λ . Pro časový interval ( 10,0 nakreslete do jednoho obrázku průběh
pravděpodobností, že v okamžiku t bude ve frontě právě j zákazníků, j = 0, 1, 2, 3.
Řešení pomocí MATLABu:
lambda=1;t=[0:0.1:10]‘;
p0=exp(-lambda*t);
p1=(lambda*t).*exp(-lambda*t);
p2=(1/2)*(lambda*t).^2.*exp(-lambda*t);
p3=(1/6)*(lambda*t).^3.*exp(-lambda*t);
plot(t,p0,t,p1,t,p2,t,p3)
0 1 2 3 4 5 6 7 8 9 10
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
j=0
j=1
j=0
j=2
j=3
Simulace Poissonova procesu
Zadání:
V sobotu v době od 8 do 20 h sledujeme provoz v klidné ulici ve vilové čtvrti města. V tomto
období vjíždějí auta do této ulice v průměru každých 8 minut. Předpokládejme, že intervaly
mezi příjezdy aut se řídí exponenciálním rozložením. Pomocí MATLABu simulujte vjezd 20
aut do této ulice.
a) Zjistěte celkovou dobu simulace.
b) Vypočtěte průměrnou, maximální a minimální délku intervalu mezi vjezdy dvou aut.
c) Vypočtěte směrodatnou odchylku délek intervalů.
d) Porovnejte tvar histogramu délek intervalů (volte 5 třídicích intervalů) s tvarem
hustoty exponenciálního rozložení s patřičným parametrem.
e) Znázorněte nasimulovaný Poissonův proces graficky.
Návod:
Zavedeme Poissonův proces { }Tt;Xt ∈ , kde jXt = , když v intervalu ( t,0 vjede do ulice
právě j aut,
j = 0, 1, 2, … Parametr
8
1
=λ .
Pomocí funkce exprnd vygenerujeme 20 náhodných čísel z exponenciálního rozložení
s parametrem 1/8:
x=exprnd(8,20,1);
Upozornění: Pokud bychom neměli k dispozici statistický toolbox MATLABu, postupujeme
takto:
r = unifrnd(0,1,20,1);
Proměnnou r transformujeme vztahem ( )r1ln
1
x −
λ
−= :
x = -8*log(1-r);
V proměnné x jsou nyní uloženy délky intervalů mezi vjezdy aut.
Celková doba simulace:
doba = sum(x)
Průměrná délka intervalu:
prumer = mean(x)
Maximální délka intervalu:
maximum = max(x)
Minimální délka intervalu:
minimum = min(x)
Směrodatná odchylka délek intervalů:
so = std(x)
(Teoretická celková doba simulace by měla být 20.8 = 160 min, průměr = 8 min, směrodatná
odchylka = 8 min.)
Histogram délek intervalů s pěti třídicími intervaly znázorníme příkazem hist(x,5).
Znázornění hustoty exponenciálního rozložení s parametrem 1/8:
plot([0:0.01:maximum],exppdf([0:0.01:maximum],8))
Znázornění nasimulovaného Poissonova procesu:
Do proměnné počet uložíme celkový počet aut:
pocet = [1:20]’;
Do proměnné t uložíme kumulované délky intervalů:
t = cumsum(x);
Pomocí funkce stairs znázorníme Poissonův proces:
stairs(t,pocet)
Celý postup můžeme zopakovat s větším počtem aut a sledovat, jak se zvyšujícím se počtem
simulací se empirické charakteristiky procesu blíží teoretickým.
Zadání příkladů na 11. cvičení
Ilustrace vlastností lineárního procesu vzniku a zániku
function [M,S,P]=lpvz(lambda, mi, tau,k0)
% funkce lpvz ilustruje vlastnosti linearniho procesu vzniku a zaniku
% [M,S,P]=lpvz(lambda, mi, tau,k0)
% Vstupni parametry:
% lambda je intenzita vzniku
% mi je intenzita zaniku
% tau je konecny cas
% k0 je rozsah souboru v case t=0
% Vystupni parametry:
% M je vektor strednich hodnot rozsahu souboru v case t=0 az tau
% S je vektor smerodatnych odchylek rozsahu souboru v case t=0 az tau
% P je pravdepodobnost zaniku souboru v case t=0 az tau
t=[0:tau]';
M=k0*exp((lambda-mi).*t);
S=sqrt(k0*((lambda+mi)/(lambda-mi))*exp((lambda-mi).*t).*(exp((lambda-mi).*t)-1));
P=mi*((1-exp((lambda-mi).*t)))./(mi-lambda*exp((lambda-mi).*t));
plot(t,M)
figure
plot(t,S)
figure
plot(t,P)
Funkce lpvz.m graficky znázorňuje závislost střední hodnoty a směrodatné odchylky rozsahu
souboru objektů na čase t = 0 až tau a závislost zániku souboru na čase t = 0 až tau.
Příklad: Nechť { }Tt;Xt ∈ je lineární proces vzniku a zániku s množinou stavů { }2,1,0J = a
intenzitou vzniku 01,0=λ a zániku 001,0=µ . Předpokládáme, že v čase t = 0 soubor
obsahoval 20 objektů. Vypočtěte a graficky znázorněte
a) střední hodnotu rozsahu souboru v čase 0 až 100
b) směrodatnou odchylku rozsahu souboru v čase 0 až 100
c) pravděpodobnost vyhynutí v čase 0 až 100
Řešení: Použijeme funkci lpvz.
lambda=0.01;mi=0.001;tau=100;k0=20;
[M,S,P]=lpvz(lambda, mi, tau,k0)
Graf závislosti střední hodnoty rozsahu souboru na čase:
0 10 20 30 40 50 60 70 80 90 100
20
25
30
35
40
45
50
S rostoucím časem roste střední hodnota rozsahu souboru, v čase 100 činí 49,19.
Graf závislosti směrodatné odchylky rozsahu souboru na čase:
0 10 20 30 40 50 60 70 80 90 100
0
1
2
3
4
5
6
7
8
9
10
S rostoucím časem roste směrodatná odchylka rozsahu souboru, v čase 100 činí 9,37.
Graf závislosti pravděpodobnosti vyhynutí na čase:
0 10 20 30 40 50 60 70 80 90 100
0
0.01
0.02
0.03
0.04
0.05
0.06
0.07
S rostoucím časem roste pravděpodobnost zániku souboru, v čase 100 činí 0,0619. (Jaká je
limitní pravděpodobnost zániku?)
Samostatný úkol: vyzkoušejte funkci lpvz pro různé hodnoty vstupních parametrů.
Stacionární rozložení Erlangova procesu
function [a]=Erlang(m,lambda,mi)
% funkce na vypocet stacionarniho rozlozeni Erlangova procesu
% syntaxe: [a]=Erlang(m,lambda,mi)
% vstupni parametry:
% m ... nejvyssi poradove cislo v mnozine stavu
% lambda ... intenzita vzniku
% lambda ... intenzita zaniku
% vystupni parametr
% a ... vektor stacionarnich pravdepodobnosti
a0=1/sum(((lambda/mi).^(0:m)).*(1./(factorial(0:m))));
a=((lambda/mi).^(1:m)).*(1./(factorial(1:m)))*a0;
a=[a0 a];
Příklad: Je dán Erlangův proces s množinou stavů J = {0, 1, 2, 3, 4} a parametry λ = 2, µ = 3.
a) Napište matici přechodu a nakreslete přechodový diagram.
b) Najděte stacionární rozložení a interpretujte ho.
Výsledek: ad b) ( )2,12,54,162,243
473
1
=a
Po odeznění vlivu počátečních podmínek bude proces asi 51,37 % celkové doby bude proces
ve stavu 0, 34,25 % doby ve stavu 1, 11,42 % doby ve stavu 2, 2,54 % doby ve stavu 3 a 0,42
% doby ve stavu 4.
Příklad: Benzínová stanice má dvě čerpadla. U každého čerpadla může čerpat benzín jen
jedno auto. Když jsou obě čerpadla obsazena, další přijíždějící auta nečekají a odjíždějí.
Průměrná doba čerpání benzínu je 2 min a průměrně přijíždí 40 aut za 1 h.
a) Kolik procent doby bude benzínová stanice nevyužitá?
b) S jakou pravděpodobností nebude přijíždějící auto obslouženo?
c) Jaká je střední hodnota počtu obsazených čerpadel?
Výsledek:
Ad a) Benzínová stanice je nevyužitá asi po 31 % celkové doby.
Ad b) Přijíždějící auta nebudou obsloužena s pravděpodobností asi 0,28.
Ad c) Střední hodnota počtu obsazených čerpadel je asi 0,97.
Příklad: Při sledování provozu telefonní ústředny bylo zjištěno, že za 1 min se vyskytne
průměrně 5 požadavků na spojení a jeden hovor trvá průměrně 2 min. Kolik linek by
minimálně měla mít tato TÚ, aby pravděpodobnost, že volající zastihne všechny linky
obsazené, byla nanejvýš 0,5?
Výsledek: Minimální počet linek je 6.