Poděkování
Tento učební text vznikl za přispění
Evropského sociálního fondu a státního rozpočtu ČR
prostřednictvím Operačního programu
Vzdělávání pro konkurenceschopnost
v rámci projektu Univerzitní výuka matematiky v měnícím
se světě (CZ.1.07/2.2.00/15.0203).
Cvičení předmětu M5444 Markovské řetězce
Marie Budíková
2013
1. cvičení
Příklad 1.: Na přímce jsou vyznačeny body –1, 0, 1. V bodě 0 se nachází kulička. Náhodně
házíme mincí. Jestliže padne líc, posuneme kuličku do bodu 1, jestliže padne rub, posuneme ji
do bodu –1. Je-li kulička v bodě 1 a padne-li líc, ponecháme ji v bodě 1, padne-li rub,
posuneme ji do bodu 0. Je-li kulička v bodě –1 a padne-li rub, ponecháme ji v bodě –1, padneli
líc, posuneme ji do bodu 0.
Modelujte tuto situaci vhodným SP.
Pro posloupnost 10 hodů mincí {L, L, L, R, R, L, R, L, R, R} graficky znázorněte
odpovídající realizace SP.
Výsledek: Zavedeme SP { }Tt;Xt ∈ , kde { }…,3,2,1T = (t je pořadové číslo hodu mincí),
{ }1,0,1J −= .
Příklad 2.: Nechť náhodná veličina X ~ Ex(λ), tj.
hustota: ( )



≤
>λ
=ϕ
λ−
0xpro0
0xproe
x
x
, distribuční funkce: ( )



≤
>−
=Φ
λ−
0xpro0
0xproe1
x
x
. Zavedeme
SP { }Tt;Xt ∈ , kde Xt = tX, t > 0.
a) Najděte jednorozměrnou distribuční funkci Φt(x) tohoto SP.
b) K distribuční funkci Φt(x) najděte hustotu φt(x).
Výsledek:
ad a) ( )




≤
>−=Φ
λ
−
0xpro0
0xproe1x
t
x
t , ad b) ( )





≤
>
λ
=ϕ
λ
−
0xpro0
0xproe
tx
t
x
t .
Znamená to, že X ~ 




 λ
t
Ex .
Příklad 3.: Náhodná veličina X má distribuční funkci Φ(x). Nechť c, t∈R, t > 0. Zavedeme
SP { }Tt;Xt ∈ , kde Xt = tX + c.
a) Najděte jednorozměrnou distribuční funkci Φt(x) tohoto SP.
b) Najděte dvourozměrnou distribuční funkci ( )21tt x,x21
Φ .
Výsledek:
ad a) ( ) 




 −
Φ=Φ
t
cx
xt
ad b) ( ) 












 −−
Φ=Φ
2
2
1
1
21tt
t
cx
,
t
cx
minx,x21
Příklad 4.: Náhodná veličina X má distribuční funkci Φ(x). Nechť t > 0. Zavedeme SP
{ }Tt;Xt ∈ , kde Xt = tX2
. Určete jednorozměrnou distribuční funkci Φt(x) tohoto SP.
Výsledek:
( ) spojitá.Xli-je,0
t
x
XPkde,
t
x
XP
t
x
t
x
xt =







−=







−=+







−Φ−







Φ=Φ
Příklad 5.: Nechť X1, X2, X3, … jsou stochasticky nezávislé náhodné veličiny, které mají
všechny stejnou distribuční funkci Φ(x). Nechť { }…,3,2,1T = . Zavedeme SP { }Tt;Xt ∈ .
Určete pravděpodobnostní rozložení tohoto SP.
Výsledek:
( ) ( ) ( )n1n1tt xxx,,xn1
Φ⋅⋅Φ=Φ ………
Příklad 6.: Nechť náhodná veličina X ~ Ex(λ), tj. E(X) = 1/ λ, D(X) = 1/ λ2
. Zavedeme SP
{ }Tt;Xt ∈ , kde Xt = tX. Najděte střední hodnotu, rozptyl, autokovarianční a autokorelační
funkci tohoto SP.
Výsledek:
( )
λ
=µ
t
t , ( ) 2
2
2 t
t
λ
=σ , ( ) ( ) 1t,t,
tt
t,t 212
21
21 =ρ
λ
=γ
Příklad 7.: Nechť Y, Z jsou standardizované náhodné veličiny, které jsou nekorelované.
Zavedeme SP { }Tt;Xt ∈ , kde Xt = t + Y.cos ωt + Z.sin ωt, ω > 0 konstanta. Zjistěte, zda
daný SP je slabě stacionární.
Výsledek:
Protože střední hodnota SP ( ) tt =µ závisí na čase, není daný SP slabě stacionární.
Příklad 8.: Uvažme SP z příkladu 7. Zavedeme standardizovaný SP { }Tt;Ut ∈ , kde
( )
( )t
tX
U t
t
σ
µ−
= . Zjistěte, zda tento standardizovaný SP je slabě stacionární.
Výsledek:
( ) tt =µ (viz př. 7), ( ) 1t2
=σ , ( ) 0tU =µ , ( ) 1tU
2
=σ , ( ) ( )1221U ttcost,t −ω=γ
Standardizovaný SP { }Tt;Ut ∈ je slabě stacionární.
Příklad 9.: Nechť Y, Z jsou náhodné veličiny se středními hodnotami E(Y) = µ1, E(Z) = µ2 a
rozptyly D(Y) = σ1
2
, D(Z) = σ2
2
. Jejich koeficient korelace je R(Y,Z) = 0,7. . Zavedeme SP
{ }Tt;Xt ∈ , kde Xt = 2tY + Z. Najděte střední hodnotu, rozptyl a autokovarianční funkci
tohoto SP.
Výsledek:
( ) 21t2t µ+µ=µ , ( ) 21
2
2
2
1
22
t8,2t4t σσ+σ+σ=σ , ( ) ( ) 2
22121
2
12121 tt4,1tt4t,t σ++σσ+σ=γ
Příklad 10.: Nechť γX(t1,t2) je autokovarianční funkce SP { }Tt;Xt ∈ . Nechť f(t), g(t) jsou
reálné funkce definované na T. Zavedeme SP { }Tt;Yt ∈ , kde Yt = f(t)Xt + g(t). Najděte
autokovarianční funkci tohoto SP.
Výsledek:
( ) ( ) ( ) ( )21X2121Y t,ttftft,t γ=γ
Příklad 11.: Nechť SP { }Tt;Xt ∈ má střední hodnotu ( ) 1tt 2
X −=µ a autokovarianční
funkci ( ) ( )2
21 tt
21X e2t,t −α−
=γ . Zavedeme SP { }Tt;Yt ∈ , kde Yt = tXt + t2
+ 1. Najděte jeho
střední hodnotu a autokovarianční funkci.
Výsledek:
( ) 1tttt 23
Y +−+=µ , ( ) ( )2
21 tt
2121Y ett2t,t −α−
=γ
2. cvičení
Příklad 1.: Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s množinou stavů J =
{0,1}. Pravděpodobnosti přechodu 1. řádu jsou dány maticí










=
2
1
2
1
3
2
3
1
P . Jaká je
pravděpodobnost, že po jednom kroku bude řetězec ve stavu 0 (resp. 1), jestliže jeho
počáteční stav zvolíme
a) podle výsledku hodu mincí
b) podle výsledku náhodného pokusu, v němž je stavu 0 dosaženo s pravděpodobností 1/3 a
stavu 1 s pravděpodobností 2/3.
Výsledek:
ad a) p(0) = 





12
7
,
12
5
, ad b) p(0) = 





9
5
,
9
4
Příklad 2.: Model dvoustavového systému
Nechť { }0n Nn;X ∈ je homogenní markovský řetězec s množinou stavů J = {0,1}.
Pravděpodobnosti přechodu 1. řádu jsou dány maticí 





β−β
αα−
=
1
1
P , vektor počátečních
pravděpodobností p(0) = (γ, 1- γ). Najděte simultánní pravděpodobnostní funkci náhodného
vektoru (X0, X1, X2).
Výsledek:
x0 x1 x2 π(x0, x1, x2)
0 0 0 γ(1-α)2
0 0 1 γ (1-α) α
0 1 0 γαβ
1 0 0 (1-γ)β(1-α)
0 1 1 γα(1-β)
1 0 1 (1-γ)βα
1 1 0 (1-γ) (1-β)β
1 1 1 (1-γ) (1-β)2
Příklad 3.: (Model mužských zaměstnání) Předpokládáme rozdělení mužských zaměstnání
do tří tříd: vědečtí pracovníci, kvalifikovaní pracovníci, nekvalifikovaní pracovníci. Je známo,
že 80% synů vědeckých pracovníků se stane vědeckými pracovníky, 10% kvalifikovanými a
10% nekvalifikovanými pracovníky. Ze synů kvalifikovaných pracovníků 60% bude
kvalifikovanými pracovníky, 20% vědeckými a 20% nekvalifikovanými pracovníky. Konečně
v případě nekvalifikovaných pracovníků 50% synů bude nekvalifikovanými pracovníky, 25%
kvalifikovanými a 25% vědeckými pracovníky. Předpokládejme, že každý muž má syna. Jaká
je pravděpodobnost, že vnuk nekvalifikovaného pracovníka se stane vědeckým pracovníkem?
Výsledek: 0,375.
Příklad 4.: V příkladu 3 nyní předpokládejme, že muž má syna jen s pravděpodobností 0,8.
Zaveďte nyní homogenní markovský řetězec se čtyřmi stavy – první tři jsou stejné jako
v předešlé úloze a čtvrtý odpovídá případu, kdy muž nemá syna a proces končí. Jaká je
pravděpodobnost, že vnuk nekvalifikovaného pracovníka se stane vědeckým pracovníkem?
Výsledek: 0,24
Příklad 5.: (Klasifikace roků podle úrody jablek) V severní Nové Anglii můžeme klasifikovat
roky podle úrody jablek jako úrodné, průměrné a neúrodné. Pravděpodobnost, že po úrodném
roce bude následovat rok úrodný, průměrný, neúrodný, je postupně 0,4; 0,4; 0,2.
Pravděpodobnost, že po průměrném roce bude následovat rok úrodný, průměrný, neúrodný, je
postupně 0,2; 0,6; 0,2. Pravděpodobnost, že po neúrodném roce bude následovat rok úrodný,
průměrný, neúrodný, je postupně 0,2; 0,4; 0,4. Rok 1965 byl úrodný. Vypočtěte vektor
absolutních pravděpodobností pro rok 1967.
Výsledek: p(2) = (0,28, 0,48, 0,24).
Příklad 6.: V příkladu 5 předpokládejme, že pravděpodobnost, že rok bude úrodný, je 1/4
průměrný 1/2 a neúrodný 1/4. Jaký je vektor absolutních pravděpodobností pro příští rok?
Výsledek: p(1) = 





4
1
,
2
1
,
4
1
.
3. cvičení
Příklad 1.: Půjčovna aut, která vlastní 1000 automobilů, působí ve třech pobočkách A, B, C.
Zákazník si může vybrat auto v některé z poboček a vrátit ho v kterékoliv jiné pobočce.
Dlouhodobým sledováním v týdenním intervalu byly zjištěny tyto skutečnosti:
Pravděpodobnost vrácení auta do stejné pobočky, z níž bylo vypůjčeno, je pro pobočky A, B,
C postupně 0,6; 0,6; 0,5. Pravděpodobnost, že auto vypůjčené v A bude vráceno v B, je 0,3 a
naopak, pravděpodobnost, že auto vypůjčené v B bude vráceno v A, je 0,2. Pravděpodobnost,
že auto vypůjčené v B bude vráceno v C, je 0,2 a naopak, pravděpodobnost, že auto
vypůjčené v C bude vráceno v B, je 0,4. Zjednodušeně předpokládáme, že žádné auto není
ukradeno ani nehavaruje.
a) Modelujte provoz půjčovny aut pomocí HMŘ, najděte matici přechodu a nakreslete
přechodový diagram.
b) Předpokládejme, že na počátku sledování je 500 aut v pobočce A, 300 v B a 200 v C.
Určete, kolik aut bude v jednotlivých pobočkách po uplynutí 1 týdne.
Výsledek: Po týdnu sledování bude v pobočce A 380 aut, v pobočce B 410 aut a v pobočce C
210 aut.
Příklad 2.: Uvažme podnik, v němž jsou tři oddělené provozy – provoz 1, provoz 2 a provoz
3. V těchto provozech pracují dělníci vykonávající jednostranné úkony. Aby nedocházelo
k otupění zaměstnanců, tak se dělníci na konci měsíce v jednotlivých provozech náhodně
střídají. Existuje samozřejmě i jistá šance, že si dělník najde jiné zaměstnání a podnik opustí.
Předpokládáme, že v takovém případě už se do podniku nevrátí. Dlouhodobým pozorováním
pohybu zaměstnanců v tomto podniku byly zjištěny následující skutečnosti:
Dělníci z provozu 1 na konci měsíce s pravděpodobností 1/4 zůstávají v provozu 1,
s pravděpodobností 1/4 přecházejí do provozu 2 a s pravděpodobností 1/2 přecházejí do
provozu 3.
Dělníci v provozu 2 na konci měsíce s pravděpodobností 1/4 zůstávají v provozu 2,
s pravděpodobností 1/4 přecházejí do provozu 1 a s pravděpodobností 1/2 přecházejí do
provozu 3.
Jelikož práce v provozu 3 je velmi namáhavá, tak po měsíci dělníci z tohoto provozu
odcházejí se stejnou pravděpodobností buď do provozu 1 nebo do provozu 2.
Dále bylo zjištěno, že zaměstnanci z tohoto podniku odcházejí pouze z provozu 3, a to
s pravděpodobností 1/9.
a) Modelujte tuto situaci pomocí HMŘ, najděte matici přechodu a nakreslete přechodový
diagram.
b) Vypočtěte pravděpodobnost, že zaměstnanec, který na počátku sledování pracoval
v provozu 1, ve čtvrtém měsíci sledování již v podniku pracovat nebude.
Výsledek: ad b) Pravděpodobnost, že ve 4. měsíci už zaměstnanec nebude v podniku
pracovat, je 308,0
12
1
= .
Návod na hledání stacionárního vektoru stochastické matice pomocí MATLABu
function [a]=sv(P)
%funkce pro vypocet stacionarniho vektoru
%syntaxe: a=sv(P)
%vstupni parametr ... stochasticka matice P
%vystupni parametr ... stacionarni vektor a
%zjistime rad matice P:
n=size(P,1);
%vytvorime pomocnou jednotkovou matici:
I=eye(n);
%sestavime matici soustavy:
A=[[I-P]';ones(1,n)];
%vytvorime vektor pravých stran:
f=[zeros(n,1);1];
%vypocteme stacionární vektor
a=(A\f)';
Příklad 3.: Předpokládejme, že v nějaké oblasti může být počasí pouze ve třech stavech, a to
déšť, jasno, sníh. Dlouhodobým pozorováním bylo zjištěno, že nikdy nebývají dva jasné dny
za sebou. Jestliže je v jistém dni jasno, pak další den bude buď déšť nebo sníh, a to se stejnou
pravděpodobností. Jestliže je v jistém dni sníh nebo déšť, pak následující den se počasí buď
nezmění, a to s pravděpodobností 0,5 nebo se změní, a pak v polovině případů bude jasno.
Popište stav počasí homogenním markovským řetězcem a vypočtěte jeho stacionární
rozložení.
Návod na řešení v MATLABu:
P=[0.5 0.25 0.25;0.5 0 0.5;0.25 0.25 0.5];
a=sv(P)
Výsledek: a = (0,4 0,2 0,4)
Znamená to, že po 40 % dnů prší, po 20 % dnů je jasno a po 40 % dnů sněží.
Příklad 4.: Obchodník prodává tři druhy pracích prášků, které označíme A, B, C. Aby zjistil,
jak se vyvíjí poptávka po těchto prášcích, provedl v 1. měsíci prodeje průzkum, v němž se
zjišťovalo, který druh prášku zákazníci kupují. Při tomto průzkumu bylo zjištěno, že prášek A
kupuje 50% zákazníků, prášek B 20% a prášek C 30% zákazníků. Za měsíc byl proveden
další průzkum, který zjišťoval, ke kterému druhu prášků zákazníci přešli. Výsledky průzkumu
zachycuje matice přechodu:










=
2,01,07,0
3,03,04,0
01,09,0
P .
a) Určete absolutní pravděpodobnosti po dvou měsících a interpretujte je
b) Najděte vektor limitních pravděpodobností a limitní matici přechodu.
Výsledek:
ad a) Po dvou měsících bude prášek A nakupovat 80,6% zákazníků, prášek B 12,8% a C 6,6%
zákazníků.
ad b) ( )0469,0125,08281,0=p ,










=
0469,0125,08281,0
0469,0125,08281,0
0469,0125,08281,0
A
4. cvičení
Příklad 1.: Myš je vložena do bludiště tvaru
V každém okamžiku si myš vybere náhodně jedny z dveří, které vedou z přihrádky, v níž se
právě nachází a přejde do příslušné přihrádky.
a) Modelujte proces pomocí HMŘ, najděte matici přechodu a nakreslete přechodový diagram
b) Ukažte, že všechny stavy jsou trvalé nenulové.
c) Jestliže myš byla na počátku vložena do nulté přihrádky, po kolika krocích se v průměru
poprvé vrátí do této přihrádky?
d) Jestliže myš byla na počátku vložena do nulté přihrádky a sýr do třetí přihrádky, s jakou
pravděpodobností myš dospěje k potravě právě třemi přechody?
Výsledek:
ad c) Myš se v průměru vrátí po osmi krocích do nulté přihrádky.
ad d) p3(3) =
6
1
.
Příklad 2.: Výskyt sledované vlastnosti u jedinců určitého typu je dán dvojicí alel A,a. Každý
jedinec může mít dvojici alel AA (dominantní jedinec), aa (recesivní jedinec), aA=Aa
(hybridní jedinec). Základním předpokladem genetiky je, že při křížení dostává potomek
jednu alelu od každého z rodičů, že tyto alely se vybírají náhodně a nezávisle na sobě.
Z populace náhodně vybereme jedince, zkřížíme ho s hybridním jedincem, v příštím kroku
náhodně vybíráme jedince z populace tvořené jejich potomky, opět ho zkřížíme s hybridem
atd.
a) Modelujte tento proces pomocí homogenního markovského řetězce. Najděte matici P.
b) Jestliže proces probíhá dostatečně dlouho, jaká je pravděpodobnost výskytu dominantního
(resp. recesivního resp. hybridního) jedince?
c) Nechť proces probíhá již dlouhou dobu. Křížíme dominantního jedince s hybridem. Po
kolika krocích se v průměru objeví další dominantní jedinec?
Výsledek:
ad c) Pravděpodobnost výskytu dominantního či recesivního jedince je 0,25, hybridního 0,5.
ad d) Jestliže např. byl první jedinec dominantní, tak dalšího dominantního jedince se
dočkáme v průměru po čtyřech krocích.
Příklad 3.: Odhady absolutních pravděpodobností a pravděpodobností přechodu
v HMŘ
Zadání: Dva přátelé, Karel a Jiří, se každý týden pravidelně scházejí na kondičním tenisovém
utkání. Karel si poslední dva roky zaznamenává svou úspěšnost. Ze 106 utkání vyhrál 65,
přičemž ve 43 případech výhře předcházela výhra a v 16 případech prohře předcházela
prohra.
a) Modelujte popsanou situaci pomocí homogenního markovského řetězce.
b) Najděte bodové odhady počátečních pravděpodobností a 95% intervaly spolehlivosti pro
počáteční pravděpodobnosti
c) Najděte bodové odhady pravděpodobností přechodu a 95% intervaly spolehlivosti pro
pravděpodobnosti přechodu.
Upozornění: Před výpočtem intervalů spolehlivosti nezapomeňte ověřit splnění podmínek
dobré aproximace.
Výsledky:
Ad a) Zavedeme HMŘ { }Nn;Xn ∈ s množinou stavů { }2,1J = , přičemž Xn = 1, když v n-tém
týdnu Karel vyhrál nad Jiřím a Xn = 2, když v n-tém týdnu Karel s Jiřím prohrál.
Ad b) Odhad vektoru počátečních pravděpodobností: ( ) ( )39,0;61,00pˆ = .
Meze 95% asymptotických intervalů spolehlivosti pro p1(0), p2(0):
( ) ( )706,0;52,00p1 ∈ , ( ) ( )48,0;294,00p2 ∈ vždy s pravděpodobností 95 %.
Ad c) Odhadnutá matice přechodu: 





=
39,00,61
0,340,66ˆP .
Meze 95% asymptotických intervalů spolehlivosti pro pravděpodobnosti přechodu:
( ) ( ) ( ) ( )54,0;241,0p,759,0;46,0p,4535,0;2234,0p,7766,0;5465,0p 21211211 ∈∈∈∈ vždy
s pravděpodobností 95 %.
Příklad 4.: Simulace modelu II
Předpokládejte, že v modelu II havarijního pojištění je střední hodnota počtu pojistných
událostí v pojistném období rovna 0,1. Přitom matice přechodu má tvar:










−−
−
−
=
−−−−
−−
−−
λλλλ
λλ
λλ
eλeλee1
e0e1
0ee1
P
a) Vypočtěte stacionární rozložení
Návod na řešení v MATLABu: a = sv(P)
Výsledek: a = (0,0145 0,0938 0,8917)
b) Předpokládejte, že základní pojistné je 1200 Kč. Pro 1000 klientů vypočtěte celkové
vybrané pojistné.
Návod na řešení v MATLABu: 1000*1200*a*[1 0.7 0.5] '
c) Generujte prvních 5000 realizací homogenního markovského řetězce, který popisuje
zařazování klienta do bonusových tříd.
Návod na řešení v MATLABu: realizace = simulovani_MR(P,p0,n),
kde p0 = [1, 0, 0], n = 5000.
d) Vypočtěte relativní četnosti jednotlivých bonusových tříd a porovnejte je se stacionárním
rozložením.
Návod na řešení v MATLABu: tabulka = tabulate(realizace)
rel_cetnosti= tabulka(:,2)'/n
5. cvičení
Příklad 1.: Nechť { }0n Nn;X ∈ je HMŘ s množinou stavů J = {0, ..., 5} a maticí přechodu




















=
5/25/15/105/10
04/104/300
4/14/18/108/14/1
08/708/100
00003/23/1
00002/12/1
P . Najděte kanonický tvar matice P.
Výsledek:




















=
5/25/15/105/10
4/18/14/108/14/1
004/14/300
008/78/100
00003/23/1
00002/12/1
P . Odtud je vidět, že:






=
3/23/1
2/12/1
1P , 





=
4/14/3
8/78/1
2P , 





=
5/10
8/14/1
1R , 





=
5/10
4/10
2R , 





=
5/25/1
4/18/1
Q
Návod na řešení v MATLABu: Použijte funkci kant(P) s výstupními parametry KT, NU, DS.
Zajímá nás parametr KT.
Příklad 2.: Při analýze situace na trhu práce jednotliví pracovníci mohou: „pracovat ve své
profesi“ (stav 1), „pracovat v jiné profesi“ (stav 2), „být nezaměstnaní“ (stav 3). Při sledování
velkého souboru pracovníků se ukázalo, že během jednotlivých měsíců došlo ke změnám
mezi uvedenými stavy následovně:
Ve své profesi pracovalo i v následujícím měsíci 80% pracovníků, 10% přešlo k jiné profesi a
10% se stalo nezaměstnanými.
Z pracovníků pracujících mimo svou profesi 10% přešlo v následujícím měsíci ke své profesi,
70% zůstalo nadále pracovat mimo svou profesi a 20% se stalo nezaměstnanými.
Z nezaměstnaných našlo práci ve své profesi 5% osob, 30% nezaměstnaných získalo práci
mimo svou profesi a 65% osob zůstalo i v dalším měsíci nezaměstnanými.
Najděte matici přechodu P, limitní matici A, fundamentální matici Z a matici M středních
hodnot dob prvního vstupu do stavů 1, 2, 3.
Výsledek:










=
65,03,005,0
2,07,01,0
1,01,08,0
P ,










=
3125,040625,028125,0
3125,040625,028125,0
3125,040625,028125,0
A ,










−−
−−
=
7773,1125,09004,0
09766,06855,15879,0
7227,0127,18496,2
Z ,










=
2,38,33,13
65,22,12
89,66,3
M .
Interpretace např. prvku m13: Pokud pracovník v daném měsíci pracoval ve své profesi, tak
v průměru za 8 měsíců se stane nezaměstnaným.
Příklad 3.: Na počátku sledování je v procesu 1000 technicky homogenních prvků, všechny
jsou nové. Maximální doba provozu prvků je 5 měsíců. Pravděpodobnosti selhání v 1. až 5.
měsíci jsou 0,05; 0,1; 0,25; 0,4; 0,2.
a) Vypočtěte střední hodnotu životnosti prvků.
b) Popište proces obnovy HMŘ, najděte jeho matici přechodu a zjistěte střední hodnotu počtu
obnov na konci 4. měsíce.
c) Vypočtěte limitní věkovou strukturu systému.
Výsledek:
Ad a) Střední hodnota životnosti prvků je 3,6 měsíce.
Ad b)
















=
00001
3333,00006667,0
07059,0002941,0
008947,001053,0
00095,005,0
P
Na konci 4. měsíce bude průměrně provedeno 435,8 obnov.
Ad c) Limitní věková struktura systému je (277,8; 263,9; 236,1; 166,7; 55,5).
6. cvičení
Příklad 1.: (Soustruh v kovoobráběčské firmě)
Jistá malá kovoobráběčská firma vlastní soustruh. Soustruh se může nacházet v následujících
stavech, které jsou sledovány s časovým krokem jeden týden: stav 1 – bude v provozu, stav 2
– bude v opravě, stav 3 – dá se k prodeji, stav 4 – dá se do šrotu.
Situace je vyjádřena pomocí homogenního markovského řetězce { }0n Nn;X ∈ s množinou
stavů { }4,3,2,1J = , přičemž ,jXn = je–li soustruh v n-tém týdnu ve stavu j.
Máme dánu matici přechodu:














=
1000
0100
05,005,02,07,0
005,01,085,0
P
a) Nakreslete přechodový diagram.
b) Klasifikujte stavy na absorpční a neabsorpční a najděte kanonický tvar matice přechodu.
Výsledek:
Trvalé stavy jsou 3 a 4, oba jsou absorpční, řetězec je tedy absorpční. Stavy 1 a 2 jsou
neabsorpční.
Kanonický tvar matice přechodu:
3 4 1 2














=
2,07,005,005,0
1,085,0005,0
0010
0001
2
1
4
3
P
c) Vypočtěte fundamentální matici a interpretujte její prvky.
Výsledek:
1 2
( ) 





=−=
−
314
216
2
11
QIM .
Interpretace prvků matice M: je-li v daném týdnu soustruh v provozu, pak můžeme očekávat,
že než se prodá nebo dá do šrotu, bude v průměru 16 týdnů v provozu a 2 týdny v opravě. Jeli
soustruh v daném týdnu v opravě, pak můžeme očekávat, že než se prodá nebo dá do šrotu,
bude v průměru 14 týdnů v provozu a 3 týdny v opravě.
d) Vypočtěte matici přechodu do absorpčních stavů a interpretujte její prvky.
Výsledek:
3 4






==
15,085,0
1,09,0
2
1
MRB
Interpretace prvků matice B: je-li soustruh v daném týdnu v provozu, pak s pravděpodobností
0,9 půjde do prodeje a s pravděpodobností 0,1 půjde do šrotu. Je-li soustruh v daném týdnu
v opravě, pak s pravděpodobností 0,85 půjde do prodeje a s pravděpodobností 0,15 půjde do
šrotu.
e) Zjistěte vektor středních hodnot počtu kroků před absorpcí.
Řešení:






=











==
17
18
2
1
1
1
314
216
2
1
Met
Znamená to, že když je soustruh v daném týdnu v provozu resp. v opravě, tak bude v průměru
trvat 18 resp. 17 týdnů, než půjde do prodeje nebo do šrotu.
Příklad 2.: (Pracovníci ve firmě)
Jistá firma provedla dlouhodobý průzkum pohybu pracovníků v jednom odboru společnosti.
V průzkumu byly specifikovány 4 stavy, a to stav 1 - propuštění ze zaměstnání, stav 2 odchod
z osobních důvodů, stav 3 - práce ve funkci referenta a stav 4 - práce v řídicí funkci.
Jednotkovým časovým obdobím bylo jedno čtvrtletí. Známe matici přechodu:














=
88,003,001,008,0
1,08,007,003,0
0010
0001
P
Řešte tytéž úkoly jako v příkladu 1.
Částečné výsledky:






=
52,943,1
76,471,5
M
Interpretace 2. řádku matice M: pracovník, který nastoupil do vedoucí funkce společnosti,
bude pro společnost pracovat asi 2 roky a 9 měsíců, z toho 2 roky a 4,5 měsíce v řídicí funkci
a 4,5 měsíce jako referent.






=
2,08,0
45,055,0
B
Interpretace 2. řádku matice B: pracovník, který pracuje ve vedoucí funkci společnosti,
s pravděpodobností 0,8 bude propuštěn a s pravděpodobností 0,2 odejde sám.
Příklad 3.: (Myš v bludišti)
Myš je vložena do bludiště tvaru:
V každém okamžiku si myš vybere náhodně jedny z dveří přihrádky, v níž se právě nachází a
přejde do příslušné přihrádky. Předpokládáme, že v přihrádce 3 je potrava a myš tuto
přihrádku neopustí, jakmile do ní jednou vstoupí. Pohyb myši v bludišti lze modelovat
pomocí HMŘ { }0n Nn;X ∈ s množinou stavů J = {0,1, 2, 3}, přičemž Xn = j, když
v okamžiku n je myš v j-té přihrádce.
Řešte tytéž úkoly jako v příkladu 1.
Částečné výsledky:










=
33,1133,0
67,0267,0
67,0267,1
M
Interpretace 1. řádku matice M: Myš, která vychází z přihrádky 0, stráví v průměru 1,67
kroku v přihrádce 0 resp. 2 kroky v přihrádce 1 resp. 0,67 kroku v přihrádce 2 než dospěje
k potravě.










=
1
1
1
B
Znamená to, že když myš vychází z kterékoli přihrádky, tak s pravděpodobností 1 dospěje
k potravě.
Příklad 4.: (Opilý námořník na mole)
Sledujeme opilého námořníka pohybujícího se po mole. Pokud je ve středu mola,
s pravděpodobností 1/3 po dalším kroku zůstane ve středu mola, s pravděpodobností 1/3 se
přiblíží k pravému okraji mola a s pravděpodobností 1/3 se přiblíží k levému okraji mola.
Pokud je námořník na pravém okraji mola, s pravděpodobností 1/3 zůstane po dalším kroku
na pravém okraji mola, s pravděpodobností 1/3 se vrátí do středu mola a s pravděpodobností
1/3 spadne do moře. Když je námořník na levém okraji mola, po dalším kroku na něm zůstane
s pravděpodobností 1/3, do středu mola se vrátí s pravděpodobností 1/3 a s pravděpodobností
1/3 spadne do moře. Pokud spadne námořník do moře, už se zpět na molo nedostane.
Předpokládejme, že molo je nekonečně dlouhé, námořník tedy nemůže dojít na jeho konec.
Pohyb opilého námořníka po mole lze modelovat homogenním markovským řetězcem
{ }0n Nn;X ∈ s množinou stavů J = {0,1,2,3}, kde Xn = 0, pokud je námořník v n-tém kroku
ve středu mola, Xn = 1, pokud je námořník v n-tém kroku na levém okraji mola, Xn = 2,
pokud je námořník v n-tém kroku na pravém okraji mola, a Xn = 3, pokud se námořník v ntém
kroku topí (plave) v moři.
Řešte tytéž úkoly jako v příkladu 1.
Výsledek:
ad a)














=
1000
3/13/103/1
3/103/13/1
03/13/13/1
P
1 0 2
3
1
1/3
1/3
1/3
1/3
1/3
1/3
1/3
1/3
1/3 1 0 2
3
1
1/3
1/3
1/3
1/3
1/3
1/3
1/3
1/3
1/3
ad b) Řetězec má 3 přechodné stavy JP= {0,1,2}, tedy: střed mola, pravý okraj mola a levý
okraj mola a 1 trvalý stav JT = {3}, moře.
ad c) Řetězec má jediný trvalý stav 3 (moře), který je absorpční, proto je řetězec absorpční.
ad d) Nejprve je nutné najít kanonický tvar matice přechodu.














=
3/103/13/1
03/13/13/1
3/13/13/10
0001
P . Vidíme, že










=
3/1
3/1
0
R a










=
3/103/1
03/13/1
3/13/13/1
Q . Dále
( )










=−=
−
25,275,05,1
75,025,25,1
5,15.13
1
QIM .
Interpretace: Když je námořník na počátku ve středu mola, v průměru 3 kroky setrvá ve středu
mola, než spadne do moře. Když je na počátku námořník ve středu mola, v průměru 1.5 kroku
se bude pohybovat na levém okraji mola, než spadne do moře. Když je na počátku námořník
ve středu mola, v průměru 1,5 kroku se bude pohybovat na pravém okraji mola, než spadne do
moře. Pokud je námořník na počátku na levém okraji mola, tak v průměru 2,25 kroku setrvá
na levém okraji mola, 1.5 kroku stráví ve středu mola a 0,75 kroku stráví na pravém okraji
mola, než spadne do moře. Pokud je námořník na počátku na pravém okraji mola, tak
v průměru 2,25 kroku setrvá na pravém okraji mola, 1,5 kroku stráví ve středu mola a 0,75
kroku stráví na levém okraji mola, než spadne do moře.
ad e)










==
1
1
1
MRB .
Interpretace: Ať bude na začátku námořník ve středu mola, na levém okraji mola či na pravém
okraji mola, s pravděpodobností 1 spadne do moře.
ad f)










==
5,4
5,4
6
Met .
Interpretace: Když bude na počátku námořník ve středu mola, v průměru za 6 kroků spadne
do moře. Když bude na počátku na levém či pravém kraji mola, spadne do moře v průměru za
4,5 kroku.
7. cvičení
Příklad 1.: Řidič taxi dlouhodobým pozorováním zjistil, že když se v daném okamžiku
nachází ve městě A, pak s pravděpodobností 0,3 poveze příštího zákazníka do města B a
s pravděpodobností 0,7 bude zákazník žádat jízdu uvnitř A. Jestliže se řidič taxi nachází ve
městě B, pak se stejnou pravděpodobností buď poveze příštího zákazníka do A nebo bude
jezdit uvnitř B. Průměrná tržba za jízdu (v obou směrech) mezi A a B činí 1000 Kč a uvnitř
měst A a B 100 Kč. Vypočítejte střední hodnotu tržby za první dvě jízdy, vyjede-li řidič
z města A resp. B.
Výsledek:
Vyjede-li řidič z města A, bude mít za první dvě jízdy v průměru tržbu 794 Kč. Vyjede-li řidič
z města B, bude mít za první dvě jízdy v průměru tržbu 1010 Kč.
Návod na řešení v MATLABu:
Zadáme matice P, R a vektor v0:
P=[0.7 0.3;0.5 0.5]; R=[100 1000;1000 100];v0=[0 0]‘;
Vypočteme vektor q = diag(P*R’);
Vypočteme vektor v1=q+P*v0
Vypočteme vektor v2=q+P*v1
Upozornění: Ve Studijních materiálech v ISu je uložena funkce vynos.m, která pomocí
rekurentní metody počítá:
- vektory středních hodnot celkových výnosů po jednom období až po n obdobích,
- znázorní průběhy vektorů středních hodnot pro jednotlivé stavy v závislosti na počtu období.
Dále je tam uložena funkce vynosaprx.m, která používá aproximační vzorec pro výpočet
středních hodnot celkových výnosů po n obdobích.
Příklad 2.: Výrobce limonád pravidelně sleduje prodejnost nového výrobku na domácím
trhu. Výrobek hodnotí v každém sledovaném období jako úspěšný (stav 0) nebo jako
neúspěšný (stav 1), přičemž lze předpokládat, že úspěšnost či neúspěšnost prodeje v daném
období je ovlivněna jen tím, jak se výrobek prodával v předchozím období. Dlouhodobým
sledováním prodeje byly zjištěny tyto poznatky: pokud byl výrobek v jednom období
úspěšný, pak v následujícím období bude úspěšný s pravděpodobností 0,8. Jestliže byl
výrobek v jednom období neúspěšný, tak v následujícím období zůstane neúspěšný
s pravděpodobností 0,7. Zůstává-li výrobek úspěšný, je výnos 10 jednotek. Změní-li se
z úspěšného na neúspěšný, klesne výnos na 5 jednotek. Při změně z neúspěšného na úspěšný
je výnos 10 jednotek a zůstává-li výrobek neúspěšný, dojde ke ztrátě 20 jednotek.
a) Modelujte proces pomocí homogenního markovského řetězce. Najděte matici přechodu a
matici výnosů.
b) Pomocí rekurentního vzorce v(n) = q + P v(n-1) vypočtěte pro oba stavy střední hodnotu
celkového výnosu, který se získá za n období, n = 1, 2, ..., 6.
c) Pomocí aproximačního vzorce v(n) ≈ (n-1)Aq + (I – (P – A))-1
q najděte přibližné vyjádření
pro vektor středních hodnot celkových výnosů v(n). Pro n = 1, 2, ..., 6 porovnejte výsledky
s přesným vyjádřením získaným v bodě (b).
Výsledek:
ad a) Zavedeme HMŘ { }0n Nn;X ∈ s množinou stavů J = {0,1}, přičemž Xn = 0 (resp. 1),
když v n-tém období je výrobek úspěšný (resp. neúspěšný). Matice






=





=
20-10
510
,
7,03,0
2,08,0
RP .
ad b) Výpočet pomocí rekurentního vzorce:
v(1) = 





−11
9
, v(2) = 





−16
14
, v(3) = 





−18
17
, v(4) = 





− 5,18
19
, v(5) = 





− 25,18
5,20
,
v(6) = 





− 625,17
75,21
ad c) Výpočet pomocí aproximačního vzorce:
v(1) = 





− 23
17
, v(2) = 





− 22
18
, v(3) = 





− 21
19
, v(4) = 





− 20
20
, v(5) = 





−19
21
, v(6) = 





−18
22
Je zřejmé, že aproximační vzorec je pro malá n nevhodný.
Příklad 3.: Výrobce nealkoholických nápojů hodlá nabídnout síti potravinových obchodů
nápoj D s novou příchutí. Je si vědom konkurence tří současných oblíbených typů
nealkoholických nápojů A, B, C, ale věří, že zákazníci ocení příznivé složení a dobrou chuť
nápoje D a budou jej preferovat, jakmile ho ochutnají. Na základě zkušeností s obdobnými
produkty byla sestavena matice přechodu (časovým krokem je 1 týden):
P =














85,005,005,005,0
30,060,005,005,0
10,005,075,010,0
10,015,010,065,0
.
Výnos nebo ztráta, které plynou z jednotlivých přechodů, jsou uvedeny v matici výnosů:
R =














−−−
−−−
−−−
−−−
4333
3211
5121
5112
.
Diskontní faktor je 0,5. Pro prvních 10 týdnů vypočtěte vektor středních hodnot celkových
výnosů. Zjistěte také limitní hodnotu vektoru středních hodnot celkových výnosů.
Návod na řešení v MATLABu:
Zadáme matice P, R, vektor v0 a diskontní faktor beta:
P=[0.65 0.1 0.15 0.1;0.1 0.75 0.05 0.1;0.05 0.05 0.6 0.3;0.05 0.05 0.05 0.85];
R=[-2 -1 -1 5;-1 -2 -1 5;-1 -1 -2 3;-3 -3 -3 4];
v0=[0 0 0 0]‘; beta=0.5;
Vypočteme vektor q = diag(P*R’);
vektor v1=q+beta*P*v0
vektor v2=q+beta*P*v1
atd. až
vektor v10=q+beta*P*v9
Výsledek:
v(0) v(1) v(2) v(3) v(4) … v(9) v(10)
A 0 -1,050 -1,331 -1,360 -1,331 … -1,255 -1,253
B 0 -1,150 -1,496 -1,574 -1,574 … -1,525 -1,523
C 0 -0,400 -0,133 0,110 0,255 … 0,402 0,405
D 0 2,950 4,139 4,635 4,849 … 5,023 5,025
Výpočet limitního vektoru v(n):
Zadáme jednotkovou matici I = eye(4);
limitni_v=(I-beta*P)^(-1)*q
∞→n
lim v(n) = (-1,2506, -1,5216, 0,4069, 5,0276)
Upozornění: Ve Studijních materiálech v ISu je uložena funkce diskont.m, která počítá:
- vektory středních hodnot diskontovaných výnosů po jednom období až po n obdobích,
- limitní vektor středních hodnot diskontovaných výnosů,
- znázorní průběhy vektorů středních hodnot pro jednotlivé stavy v závislosti na počtu období.
Dobrovolný samostatný úkol: Upravte funkci vynos.m tak, aby poskytovala ještě zisk řetězce,
tj ( ) ( )( ) gqanv1nvlim
m
0j
jjii
n
==−+ ∑=
∞→
.
8. cvičení
Příklad 1.: Nechť HMŘ má matici přechodu 





=
01
10
P . Pomocí vytvořujících funkcí
najděte tvar matice přechodu po n krocích.
Výsledek: ( ) 





−
−
−+





=
5,05,0
5,05,0
1
5,05,0
5,05,0 nn
P
Příklad 2.: Výrobní linka se může nacházet v provozu (stav 1) nebo v opravě (stav 2). Pokud
se linka porouchá, pak již nemůže být opravena. Linka zůstává v 60 % případů v provozu.
Předpokládejme, že na počátku sledování je linka v provozu. Pomocí vytvořujících funkcí
najděte pravděpodobnost, že za n období bude linka v provozu.
Výsledek: Po n obdobích bude linka v provozu s pravděpodobností 0,6n
.
9. cvičení
Příklad 1.: Je sledována výrobní linka, která se může nacházet buď v provozu (stav 0) nebo
v opravě (stav 1). Ve stavu 0 je možný provoz „bez kontroly agregátů“ (strategie 1) nebo
„s kontrolou agregátů“ (strategie 2). Ve stavu 1 je možno rozlišit opravu „bez výměny
agregátů“ (strategie 1) nebo „s výměnou agregátů“ (strategie 2). Matice přechodu a matice
výnosů jsou následující:






−
=





=





−
=





=
22
13
R,
6,04,0
6,04,0
P,
51
02
R,
8,02,0
5,05,0
P 2211
.
Pro první tři kroky najděte maximální střední hodnotu celkového výnosu a optimální strategii.
Návod na řešení v MATLABu pomocí rekurentní metody:
Zadáme matice 1
P, 1
R, 2
P, 2
R:
P1=[0.5 0.5;0.2 0.8]; R1=[2 0;1 -5]; P2=[0.4 0.6;0.4 0.6]; R2=[3 1;2 -2];
Vypočteme vektory q1=diag(P1*R1’); q2=diag(P2*R2’);
Vypočteme vektor v1=max(q1,q2)
(Protože první složka vektoru v1 odpovídá první složce vektoru q2, znamená to, že když je
linka v provozu, je optimální strategie v 1. kroku strategie 2.
Protože druhá složka vektoru v1 odpovídá druhé složce vektoru q2, znamená to, že když je
linka v opravě, je optimální strategie v 1. kroku strategie 2.)
Spočítáme střední hodnotu celkového výnosu ve 2. kroku pro strategii 1, je-li linka v provozu:
v2_provoz_s1= q1(1)+P1(1,1)*v1(1)+P1(1,2)*v1(2)
a totéž pro strategii 2:
v2_provoz_s2= q2(1)+P2(1,1)*v1(1)+P2(1,2)*v1(2)
Dále spočítáme střední hodnotu celkového výnosu ve 2. kroku pro strategii 1, je-li linka
v opravě:
v2_oprava_s1= q1(2)+P1(2,1)*v1(1)+P1(2,2)*v1(2)
a totéž pro strategii 2:
v2_oprava_s2= q2(2)+P2(2,1)*v1(1)+P2(2,2)*v1(2)
Vypočítáme vektor v2:
v2=[max(v2_provoz_s1, v2_provoz_s2); max(v2_oprava_s1, v2_oprava_s2)]
(Vidíme, že první složka vektoru v2 odpovídá strategii 2 a druhá složka rovněž.)
Spočítáme střední hodnotu celkového výnosu ve 3. kroku pro strategii 1, je-li linka v provozu:
v3_provoz_s1= q1(1)+P1(1,1)*v2(1)+P1(1,2)*v2(2)
a totéž pro strategii 2:
v3_provoz_s2= q2(1)+P2(1,1)*v2(1)+P2(1,2)*v2(2)
Dále spočítáme střední hodnotu celkového výnosu ve 3. kroku pro strategii 1, je-li linka
v opravě:
v3_oprava_s1= q1(2)+P1(2,1)*v2(1)+P1(2,2)*v2(2)
a totéž pro strategii 2:
v3_oprava_s2= q2(2)+P2(2,1)*v2(1)+P2(2,2)*v2(2)
Vypočítáme vektor v3:
v3=[max(v3_provoz_s1, v3_provoz_s2); max(v3_oprava_s1, v3_oprava_s2)]
(Vidíme, že první složka vektoru v3 odpovídá strategii 2 a druhá složka rovněž.)
Výsledek: V 1., 2. a 3. kroku je vektor optimálních strategií 





2
2
.
Nepovinný úkol: Vytvořte v MATLABu funkci, která bude pomocí rekurentní metody hledat
optimální strategii pro n prvních kroků .
Příklad 2.: Závod produkuje nějaký spotřební výrobek, u něhož lze rozeznat dva stavy: stav 0
– výrobek je úspěšný s dobrým odbytem a cenou, stav 1 – výrobek je neúspěšný, odbyt vázne
a cena je nízká. Při 1. strategii vedení závodu neinvestuje ani do technického rozvoje ani do
reklamy. Při této strategii je matice přechodu 





=
6,04,0
5,05,01
P a matice výnosů






−
=
73
391
R . Při 2. strategii vedení závodu zajistí technický rozvoj a investuje do reklamy.
Matice přechodu: 





=
3,07,0
2,08,02
P , matice výnosů: 





−
=
191
442
R . (Při 2. strategii se vyšší
náklady promítnou do zisku, proto výnos 2
r00 musí být nižší než 1
r00, stejně tak 2
r11 musí být
nižší než 1
r11.) Pomocí iterační metody je třeba zjistit, jakou strategii doporučit vedení závodu,
aby střední hodnota celkového výnosu byla maximální.
Návod na řešení v MATLABu pomocí iterační metody:
Použijeme funkci howardn.m (vytvořil Jakub Buček) – je uloženy v ISu v Učebních
materiálech ve složce programy.
Výsledek: Větší zisk přinese ta strategie, která zahrnuje náklady na technický rozvoj a
reklamu výrobku.
Příklad 3.: U souboru dopravních letadel určitého typu byly získány informace, na jejichž
základě bylo možno specifikovat z celé řady různých situací, v nichž se letadla nacházejí,
následující 4 stavy: stav 1 – let, stav 2 – oprava, stav 3 – revize, stav 4 – čekání.
Potřebné údaje pro odhad matice přechodu byly získány z dispečerských záznamů, které se
vedou pro jednotlivá letadla. Dále bylo možné u stavů oprava, revize a čekání rozlišit různé
alternativy.
Ve stavu oprava byly uvažovány alternativy „oprava bez dílčích agregátů“ a „oprava s
výměnou agregátů“.
Rozhodujícím kritériem pro rozlišení alternativ ve stavu revize byla délka trvání revizí. Byly
užity alternativy „krátkodobá revize“ a „dlouhodobá revize“.
V případě stavu čekání byly zvoleny alternativy „čekání bez zvláštní péče“ a „čekání
v pohotovosti“.
Pravděpodobnosti přechodu u jednotlivých stavů i alternativ a údaje o ocenění přechodů, které
byly získání z expertních odhadů, jsou uvedeny v tabulce:
Stav alternativa Pravděpodobnosti přechodu Ocenění
1 1 0,4 0 0,1 0,5 10 0 1 2
2 1 0,1 0,8 0 0,1 7 -3 0 -2
2 0,15 0,7 0 0,15 8 -4 0 -3
3 1 0,15 0 0,8 0,05 6 0 -3 -2
2 0,05 0 0,9 0,05 9 0 -2 -2
4 1 0,15 0 0,05 0,8 5 0 -2 -1
2 0,3 0 0 0,7 4 0 0 -2
Pomocí funkce howardn.m (autor Jakub Buček) najděte vektor optimálních strategií.
10. cvičení
Příklad 1.: Částice se pohybuje po třech drahách 1, 2, 3, které jsou umístěny mezi
odrážejícími stěnami. Na počátku sledování je částice na 2. dráze. Částice může změnit svoji
dráhu v libovolném okamžiku. Je známo, že během krátkého časového intervalu o délce h
(přitom 0 < h < 0,5) částice může buď zůstat na dráze, na níž se právě nachází nebo může
přeskočit na sousední dráhu s pravděpodobností 2h. Pravděpodobnosti přeskoků na další
dráhy jsou zanedbatelně malé.
a) Popište polohu částice na jednotlivých drahách pomocí HMŘ se spojitým časem.
b) Najděte matici intenzit přechodu a nakreslete přechodový diagram.
c) Najděte stacionární rozložení tohoto řetězce a interpretujte ho.
Výsledek: a = (1/3 1/3 1/3)
Příklad 2.: Uvažme provoz malé půjčovny aut, která má 4 auta. Doba mezi dvěma požadavky
na zapůjčení auta je náhodná veličina, která má exponenciální rozložení se střední hodnotou
polovina dne a doba výpůjčky je náhodná veličina s exponenciálním rozložením se střední
hodnotou třetina dne.
a) Popište počet vypůjčených aut pomocí HMŘ se spojitým časem.
b) Najděte matici intenzit přechodu a nakreslete přechodový diagram.
c) Najděte stacionární rozložení tohoto řetězce a interpretujte ho.
Nápověda: Pravděpodobnost, že počet zapůjčených aut se během intervalu ( ht,t + zvětší o
1, je stále λh (λ = 2) a pravděpodobnost, že počet zapůjčených aut se v intervalu ( ht,t +
zmenší o 1, je úměrná počtu zapůjčených aut s koeficientem úměrnosti µ (µ = 3).
Výsledek: a = (0,5137 0,3425 0,1142 0,0254 0,0042)
Příklad 3.: Nechť { }Tt;Xt ∈ je HMŘ se spojitým časem a množinou stavů
{ }m,,n,,1,0J ……= , kde pro čísla m a n platí mn1 ≤≤ . Intenzity přechodu jsou dány vztahy:



≤≤µ
<<µ
=−
mjpronn
nj0proj
q 1j,j , ( )λ−=+ jmq 1j,j pro 0 ≤ j ≤ m.
Vypočtěte stacionární rozložení tohoto řetězce pro n = 2, m = 5, λ = 4, µ = 12.
Výsledek: a = (0,2198 0,3664 0,2442 0,1221 0,0407 0,0068)
Příklad 4.: Nechť { }Tt;Xt ∈ je HMŘ se spojitým časem, množinou stavů { }3,2,1J = , maticí
intenzit přechodu










−
−
−
=
220
231
022
Q a vektorem počátečních pravděpodobností
( ) ( )0,1,00p = . Pomocí Laplaceovy transformace najděte vyjádření pro vektor absolutních
pravděpodobností.
Výsledek: ( ) ( )t5t5t5
e22,e32,e1
5
1
tp −−−
−+−=
11. cvičení
Příklad 1.: Proud zákazníků směřujících do banky tvoří Poissonův proces s parametrem λ. Je
známo, že během jedné hodiny přijdou do banky v průměru 2 zákazníci. Jaká je
pravděpodobnost, že
a) přijdou právě 2 zákazníci během prvních 20 minut, kdy má banka otevřeno,
b) přijde aspoň jeden zákazník během prvních 20 minut?
Výsledek: ad a) 0,1141, ad b) 0,4866
Příklad 2.: Předpokládáme, že poruchy určité součástky tvoří Poissonův proces. V průměru
připadá jedna porucha na 200 hodin provozu, tj. na 25 osmihodinových směn. Na skladě jsou
dvě náhradní součástky. Po době odpovídající 60 směnám budou dodány další. Jaká je
pravděpodobnost, že stroj nebude pro nedostatek náhradních součástek vyřazen z provozu do
dodávky dalších náhradních součástek?
Výsledek: 0,5697
Příklad 3.: Předpokládáme, že na telefonní ústřednu přicházejí v určité denní době hovory
s neměnnou intenzitou 3 hovory za 1 minutu.
a) Jaká je pravděpodobnost, že za 1 minutu dojde na ústřednu méně než 5 hovorů?
b) Určete střední hodnotu délky intervalu mezi dvěma po sobě následujícími příchody hovorů.
c) Jaká je pravděpodobnost, že délka intervalu mezi dvěma po sobě následujícími příchody
hovorů je delší než 1 minuta?
Výsledek: ad a) 0,8153, ad b) 20 s, ad c) 0,0498
Příklad 4.: Uvažme Poissonův proces s intenzitou λ, který popisuje náhodné a navzájem
nezávislé příchody zákazníků do fronty. Již bylo odvozeno, že počet zákazníků ve frontě
v okamžiku t se řídí rozložením ( )tPo λ .
Předpokládejme, že 1=λ . Pro časový interval ( 10,0 nakreslete do jednoho obrázku průběh
pravděpodobností, že v okamžiku t bude ve frontě právě j zákazníků, j = 0, 1, 2, 3.
Řešení pomocí MATLABu:
lambda=1;t=[0:0.1:10]‘;
p0=exp(-lambda*t);
p1=(lambda*t).*exp(-lambda*t);
p2=(1/2)*(lambda*t).^2.*exp(-lambda*t);
p3=(1/6)*(lambda*t).^3.*exp(-lambda*t);
plot(t,p0,t,p1,t,p2,t,p3)
0 1 2 3 4 5 6 7 8 9 10
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
j=0
j=1
j=0
j=2
j=3
Simulace Poissonova procesu
Zadání:
V sobotu v době od 8 do 20 h sledujeme provoz v klidné ulici ve vilové čtvrti města. V tomto
období vjíždějí auta do této ulice v průměru každých 8 minut. Předpokládejme, že intervaly
mezi příjezdy aut se řídí exponenciálním rozložením. Pomocí MATLABu simulujte vjezd 20
aut do této ulice.
a) Zjistěte celkovou dobu simulace.
b) Vypočtěte průměrnou, maximální a minimální délku intervalu mezi vjezdy dvou aut.
c) Vypočtěte směrodatnou odchylku délek intervalů.
d) Porovnejte tvar histogramu délek intervalů (volte 5 třídicích intervalů) s tvarem
hustoty exponenciálního rozložení s patřičným parametrem.
e) Znázorněte nasimulovaný Poissonův proces graficky.
Návod:
Zavedeme Poissonův proces { }Tt;Xt ∈ , kde jXt = , když v intervalu ( t,0 vjede do ulice
právě j aut, j = 0, 1, 2, … Parametr
8
1
=λ .
Pomocí funkce exprnd vygenerujeme 20 náhodných čísel z exponenciálního rozložení
s parametrem 1/8:
x=exprnd(8,20,1);
Upozornění: Pokud bychom neměli k dispozici statistický toolbox MATLABu, postupujeme
takto:
r = unifrnd(0,1,20,1);
Proměnnou r transformujeme vztahem ( )r1ln
1
x −
λ
−= :
x = -8*log(1-r);
V proměnné x jsou nyní uloženy délky intervalů mezi vjezdy aut.
Celková doba simulace:
doba = sum(x)
Průměrná délka intervalu:
prumer = mean(x)
Maximální délka intervalu:
maximum = max(x)
Minimální délka intervalu:
minimum = min(x)
Směrodatná odchylka délek intervalů:
so = std(x)
(Teoretická celková doba simulace by měla být 20.8 = 160 min, průměr = 8 min, směrodatná
odchylka = 8 min.)
Histogram délek intervalů s pěti třídicími intervaly znázorníme příkazem hist(x,5).
Znázornění hustoty exponenciálního rozložení s parametrem 1/8:
plot([0:0.01:maximum],exppdf([0:0.01:maximum],8))
Znázornění nasimulovaného Poissonova procesu:
Do proměnné počet uložíme celkový počet aut:
pocet = [1:20]’;
Do proměnné t uložíme kumulované délky intervalů:
t = cumsum(x);
Pomocí funkce stairs znázorníme Poissonův proces:
stairs(t,pocet)
Celý postup můžeme zopakovat s větším počtem aut a sledovat, jak se zvyšujícím se počtem
simulací se empirické charakteristiky procesu blíží teoretickým.
12. cvičení
Příklad 1.: Erlangův proces má množinu stavů J = {0, 1, 2, 3, 4} a parametry λ = 2, µ = 3.
a) Napište matici přechodu a nakreslete přechodový diagram.
b) Najděte stacionární rozložení a interpretujte ho.
Výsledek:
Ad b) Po odeznění vlivu počátečních podmínek bude proces asi 51,37 % celkové doby ve
stavu 0, 34,25 % doby ve stavu 1, 11,42 % doby ve stavu 2, 2,54 % doby ve stavu 3 a 0,42 %
doby ve stavu 4.
Příklad 2.: Benzínová stanice má dvě čerpadla. U každého čerpadla může čerpat benzín jen
jedno auto. Když jsou obě čerpadla obsazena, další přijíždějící auta nečekají a odjíždějí.
Průměrná doba čerpání benzínu je 2 min a průměrně přijíždí 40 aut za 1 h.
a) Kolik procent doby bude benzínová stanice nevyužitá?
b) S jakou pravděpodobností nebude přijíždějící auto obslouženo?
c) Jaká je střední hodnota počtu obsazených čerpadel?
Návod: Počet obsazených čerpadel modelujte Erlangovým procesem.
Výsledek:
Ad a) Benzínová stanice je nevyužitá asi po 31 % celkové doby.
Ad b) Přijíždějící auta nebudou obsloužena s pravděpodobností asi 0,28.
Ad c) Střední hodnota počtu obsazených čerpadel je asi 0,97.
Příklad 3.: Při sledování provozu telefonní ústředny bylo zjištěno, že za 1 min se vyskytne
průměrně 5 požadavků na spojení a jeden hovor trvá průměrně 2 min. Kolik linek by
minimálně měla mít tato TÚ, aby pravděpodobnost, že volající zastihne všechny linky
obsazené, byla nanejvýš 0,5?
Návod: Počet obsazených linek modelujte Erlangovým procesem.
Výsledek: Minimální počet linek je 6.
Využití funkce Erlang.m
function [a]=Erlang(m,lambda,mi)
% funkce na vypocet stacionarniho rozlozeni Erlangova procesu
% syntaxe: [a]=Erlang(m,lambda,mi)
% vstupni parametry:
% m ... nejvyssi poradove cislo v mnozine stavu
% lambda ... intenzita vzniku
% lambda ... intenzita zaniku
% vystupni parametr
% a ... vektor stacionarnich pravdepodobnosti
V příkladu 2:
a=Erlang(2,2/3,1/2)
V bodě (a) nás zajímá 1. složka vektoru a, v bodě (b) 3. složka. Střední hodnotu v bodě (c)
vypočteme jako [0 1 2]*a
V příkladu 3: Zde je lambda 5 a mi 0,5. Za m postupně dosazujeme 1,2,3,4,5,6 a sledujeme
poslední složku vektoru a.
Využití funkce lpvz.m
function [M,S,P]=lpvz(lambda, mi, tau,k0)
% funkce lpvz ilustruje vlastnosti linearniho procesu vzniku a zaniku
% lambda je intenzita vzniku, mi intenzita zaniku
% tau je konecny cas, k0 rozsah souboru v case t=0
% M je vektor strednich hodnot rozsahu souboru v case t=0 az tau
% S je vektor smerodatnych odchylek rozsahu souboru v case t=0 az tau
% P je pravdepodobnost zaniku souboru v case t=0 az tau
Praktická aplikace:
Nechť je dán lineární proces vzniku a zániku, v němž intenzita vzniku odpovídá roční míře
porodnosti v ČSSR v r. 1983 (λ = 0,0148) a intenzita zániku odpovídá roční míře úmrtnosti
v ČSSR v r. 1983 (µ = 0,0121). Předpokládáme, že v čase t = 0 má soubor rozsah k0 = 100.
a) Pro t = 0, 1, 2, …, 100 vypočtěte a graficky znázorněte střední hodnotu a směrodatnou
odchylku rozsahu souboru.
b) Pro t = 0, 1, 2, …, 100 vypočtěte a graficky znázorněte pravděpodobnost vyhynutí.
Výsledek:
Graf závislosti střední hodnoty rozsahu souboru na čase:
0 10 20 30 40 50 60 70 80 90 100
100
105
110
115
120
125
130
135
Graf závislosti směrodatné odchylky rozsahu souboru na čase:
0 10 20 30 40 50 60 70 80 90 100
0
5
10
15
20
25
Graf závislosti pravděpodobnosti vyhynutí na čase
0 10 20 30 40 50 60 70 80 90 100
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
13. cvičení
Příklad 1.: Byl proveden průzkum úspěšnosti přijetí na jistou prestižní VŠ. Z průzkumu
vyplynula následující zjištění:
Z uchazečů, kteří navštěvovali přípravný kurz, 60 % bylo přijato, 5 % se rozhodlo kurz
opakovat a zkusit přijímací zkoušky příští rok, 15 % se rozhodlo na další přijímačky připravit
jen samostudiem a 20 % snahu dostat se na tuto školu vzdalo.
Z uchazečů, kteří se na zkoušku připravovali samostudiem, 20 % bylo přijato, 50 % zůstává u
samostudia, 20 % volí přípravný kurz a 10 % příští přijímací zkoušku již nechce absolvovat.
a) Modelujte situaci pomocí HMŘ s množinou stavů J = {1, 2, 3, 4}, kde stav 1 znamená
návštěvu přípravného kurzu, stav 2 samostudium, stav 3 přijetí a stav 4 konec snah o přijetí.
Sestavte matici přechodu a nakreslete přechodový diagram.
b) Ukažte, že řetězec je absorpční.
c) Vypočtěte matici přechodu do absorpčních stavů a interpretujte její prvky.
d) Vypočtěte vektor středních hodnot počtu kroků před absorpcí a interpretujte jeho prvky.
Výsledky:
Ad a)














=
1000
0100
1,02,05,02,0
2,06,015,005,0
P
Ad b) Řetězec má dva trvalé stavy, a to stavy 3 a 4, oba jsou absorpční, řetězec je tedy
absorpční.
Ad c) 





=
3034,06966,0
2584,07416,0
B .
Bude-li uchazeč navštěvovat přípravný kurz, tak s pravděpodobností 0,7416 bude přijat a
s pravděpodobností 0,2584 rezignuje na přijetí.
Bude-li se uchazeč připravovat samostudiem, tak s pravděpodobností 0,6966 bude přijat a
s pravděpodobností 0,3034 rezignuje na přijetí.
Ad d) 





=
5843,2
4607,1
t .
Navštěvuje-li uchazeč v daném okamžiku přípravný kurz, tak v průměru za 1,5 roku bude
přijat nebo snahu o přijetí vzdá.
Připravuje-li se uchazeč v daném okamžiku samostudiem, tak v průměru za 2,6 roku bude
přijat nebo snahu o přijetí vzdá.
Příklad 2.: Uvažme systém, v němž je v provozu velké množství předmětů téže funkce, např.
talíře v jídelně. Předpokládáme, že předměty pocházejí od tří různých výrobců (říkáme, že
jsou tří různých typů) a že doby životnosti předmětů od různých výrobců jsou stochasticky
nezávislé náhodné veličiny s rozložením Ex(λi), i = 1, 2, 3. Provádíme cyklickou záměnu typů
podle schématu 1 → 2 → 3 → 1. Zvolíme jedno místo v provozu a zavedeme HMŘ
{ }Tt;Xt ∈ se spojitým časem, kde Xt = j, když v okamžiku t je na tomto místě zařazen
předmět typu j, j = 1, 2, 3.
Najděte matici intenzit přechodu a stanovte stacionární rozložení.
Výsledky:










λ−λ
λλ−
λλ−
=
33
22
11
0
0
0
Q
323121
32
1a
λλ+λλ+λλ
λλ
= ,
323121
31
2a
λλ+λλ+λλ
λλ
= ,
323121
21
3a
λλ+λλ+λλ
λλ
= .
Příklad 3.: Nechť X je náhodná veličina se střední hodnotou E(X) = µ a rozptylem D(X) =
σ2
. Nechť T = R. Zavedeme stochastický proces { }Tt;Xt ∈ , kde Xt = tX. Najděte
a) trend
b) rozptyl
c) autokovarianční funkci
d) autokorelační funkci tohoto stochastického procesu. O čem svědčí vypočtená hodnota
autokorelační funkce?
e) Je tento proces slabě stacionární? Své rozhodnutí zdůvodněte.
Výsledky:
Ad a) ( ) µ=µ tt
Ad b) ( ) 222
tt σ=σ
Ad c) ( ) 2
2121X ttt,t σ=γ
Ad d) ( ) 1t,t 21X =ρ
Protože autokorelační funkce nabývá hodnoty 1, znamená to, že mezi libovolnými dvěma
složkami stochastického procesu existuje úplná přímá lineární závislost.
Ad e) Daný proces není slabě stacionární, protože trend není konstantní, rozptyl není konečný
a autokovarianční funkce není závislá pouze na rozdílu argumentů t1 – t2.
Příklad 4.: Provádíme posloupnost náhodných pokusů. V 1. pokusu nastane úspěch
s pravděpodobností 0,5. Pokud byl pokus úspěšný, pak v následujícím pokusu nastane úspěch
s pravděpodobností 0,7, v opačném případě nastane úspěch s pravděpodobností jen 0,6.
Určete pravděpodobnost úspěchu n-tého pokusu.
Výsledek:
Hledaná pravděpodobnost je
610
1
3
2
n
⋅
− .