4. Homogenní markovské řetězce s diskrétním časem



4.1. Definice: Definice homogenního markovského řetězce (s diskrétním časem)


4.2. Příklad: Na okružní trase je umístěno 2m bodů. Mezi nimi převáží auto náklady. Náklad se
z každého bodu převáží do následujícího s pravděpodobností p nebo do předchozího s pravděpodobností
q = 1 – p. Zavedeme stochastický proces , kde X[n] = j, když v okamžiku n je auto v bodě j, j = 0,
1, ..., 2m. Ukažte, že tento stochastický proces je homogenní markovský řetězec a najděte jeho
matici přechodu.


Řešení: Daný stochastický proces je markovský řetězec, protože jeho budoucí stav závisí pouze na
stavu přítomném a nikoliv na stavech minulých. Je to homogenní markovský řetězec, protože
pravděpodobnosti přechodu 1. řádu nezávisí na okamžiku n.

.


4.3. Věta: Vlastnosti homogenního markovského řetězce


4.4. Příklad: Je dán homogenní markovský řetězec  s množinou stavů J = {0,1,2}, vektorem
počátečních pravděpodobností p(0) = (1/2, 1/6, 1/3) a maticí přechodu . Určete vektor absolutních
pravděpodobností po čtyřech krocích.

Řešení:

4.5. Poznámka: Přechodový diagram v rozvinutém a nerozvinutém tvaru.


4.6. Příklad: Nechť  je homogenní markovský řetězec  s množinou stavů J = {0,1,2} a maticí přechodu
. Nakreslete přechodový diagram.

4.7. Příklad: Najděte matici přechodu k danému přechodovému diagramu.


4.8. Příklad: Model havarijního pojištění

Počet výskytů pojistné události v n-tém pojistném období je náhodná veličina Y[n], n = 1, 2, ….
Předpokládáme, že náhodné veličiny Y[n] jsou stochasticky nezávislé a všechny se řídí rozložením
Po(λ). Existují tři kategorie pojistného: 0 … základní pojistné, 1 … pojistné s bonusem 30%, 2 …
pojistné s bonusem 50%. V prvním pojistném období platí klient základní pojistné. Jestliže pojistné
období má bezeškodní průběh, je klient v dalším pojistném období zařazen o kategorii výše. Pokud
uplatní jeden pojistný nárok, je v příštím období zařazen o kategorii níže. Při uplatnění dvou a
více pojistných událostí je zařazen o dvě kategorie níže. Nechť náhodná veličina X[n] značí
kategorii pojistného v n-tém pojistném období. Lze snadno odvodit, že platí

Stochastický proces  s množinou stavů J = {0, 1, 2} je markovský řetězec, protože jeho budoucí stav
závisí pouze na stavu přítomném a nikoliv na stavech minulých. Protože pravděpodobnosti přechodu 1.
řádu nezávisí na okamžiku n, jde o homogenní markovský řetězec.

a) Najděte vektor počátečních pravděpodobností a matici přechodu. (Návod: využijte toho, že matice
přechodu je stochastická matice.

b) Nakreslete přechodový diagram.