11. Markovské řetězce s oceněním přechodů



   11.1. Definice: Definice markovského řetězce s oceněním přechodů.

   

   11.2. Věta: Rekurentní vztah pro střední hodnotu celkového výnosu po n krocích.

   

   11.3. Příklad: Sledujeme provoz výrobní linky, která se může nacházet ve dvou stavech –
   v provozu (stav 0) nebo v opravě (stav 1). Dlouhodobým sledováním byla stanovena matice
   přechodu: P = . Jednotlivým přechodům jsou přiřazena určitá ocenění (tj. výnosy nebo ztráty)
   prostřednictvím matice výnosů R = . Pro i = 0, 1 položíme v[i](0) = 0. Pro oba stavy vypočtěte
   střední hodnotu celkového výnosu, který se získá za n = 1, 2, 3 období.

   

   Řešení: Nejprve vypočteme střední hodnotu výnosu při jednom přechodu ze stavu 0 resp. 1.

   q = , v(0) = , v(n) = q + Pv(n-1)

   n = 1: v(1) =  +  =

   n = 2: v(2) =  +  = 

   n = 3: v(3) =  +  =

   Interpretace např. pro n = 3: Pokud bude linka na počátku sledování v provozu, tak po třech
   obdobích bude zisk 12,6 jednotek. Bude-li však linka na počátku v opravě, bude po třech
   obdobích zisk pouze 3,72 jednotek.

   Pro zajímavost uveďme tabulku středních hodnot celkových výnosů pro n = 1, 2, ..., 6.

   Tabulka:

   +--------------------------------------------------------------------------------------------+
   |n               |1         |2          |3          |4           |5            |6            |
   |----------------+----------+-----------+-----------+------------+-------------+-------------|
   |v[0](n)         |7         |10         |12,6       |15,16       |17,716       |20,2716      |
   |----------------+----------+-----------+-----------+------------+-------------+-------------|
   |v[1](n)         |-1        |1,2        |3,72       |6,272       |8,8278       |11,38272     |
   |----------------+----------+-----------+-----------+------------+-------------+-------------|
   |v[0](n)- v[1](n)|8         |8,8        |8,88       |8,888       |8,8888       |8,88888      |
   +--------------------------------------------------------------------------------------------+

   

   Vidíme, že s rostoucím n se rozdíl v[0](n)- v[1](n) blíží konstantě . Znamená to, že když je
   na počátku sledování linka v provozu, tak se v každém období získá výnos vyšší o  jednotek než
   v případě, kdy je linka na počátku v opravě.

   

   11.4. Věta: Vyjádření vytvořující funkce posloupnosti vektorů středních hodnot celkových
   výnosů po n krocích.

   

   11.5. Příklad: Pro zadání z příkladu 11.3. najděte vyjádření pro vektor v(n) pomocí
   vytvořujících funkcí.

   

   Řešení: Z věty 11.4. plyne, že .

   det(I-zP) =

   

   

    je vytvořující funkce posloupnosti a[n] = n, n = 0, 1, 2, ...

    je vytvořující funkce posloupnosti a[n] = , n = 0, 1, 2, ...

    je vytvořující funkce posloupnosti a[n] = , n = 0, 1, 2, ...

   Celkem:

   Tedy .

   Pro dostatečně velká n se výraz 0,1^n bude blížit nule. Když ho zanedbáme, získáme přibližné
   vyjádření:

   v[0](n) ≈ 2,5555 n + 4,9383, v[1](n) ≈ 2,5555 n - 34,9506.

   

   11.6. Věta: Přibližné vyjádření vektoru středních hodnot celkových výnosů po n krocích pomocí
   limitní matice přechodu.

   

   11.7. Příklad: Pro zadání z příkladu 11.3. najděte přibližné vyjádření pro vektor v(n).

   

   Řešení: Z příkladu11.3. plyne, že A = . Dále q = , (I – (P – A))^-1 =

   , tedy

   v(n) ≈ (n-1). Dospěli jsme ke stejnému výsledku jako v příkladu 11.5.

   

   Tabulka:

   +--------------------------------------------------------------------------------------------+
   |n            |1            |2            |3           |4           |5          |6           |
   |-------------+-------------+-------------+------------+------------+-----------+------------|
   |v[0](n)      |7,4938       |10,0494      |12,609      |15,1605     |17,716     |20,2716     |
   |-------------+-------------+-------------+------------+------------+-----------+------------|
   |v[1](n)      |-1,3951      |1,1605       |3,716       |6,2716      |8,8272     |11,3827     |
   +--------------------------------------------------------------------------------------------+

   

   11.8. Definice: Definice markovského řetězce s diskontovaným oceněním přechodů.

   

   11.9. Věta: Rekurentní vztah pro vektor středních hodnot diskontovaných celkových výnosů po n
   krocích.

   

   11.10. Věta: Vyjádření pro vytvořující funkci posloupnosti vektorů středních hodnot
   diskontovaných celkových výnosů po n krocích.

   

   11.11. Příklad: V příkladu 11.3. předpokládejme, že diskontní faktor β =  1/2 značí
   pravděpodobnost, že proces bude dále pokračovat. Pomocí vytvořujících funkcí najděte vyjádření
   pro vektor v(n).

   

   Řešení:

   Z věty 9.10. plyne, že .

   det(I-zP) =

   

   

   

   je vytvořující funkce posloupnosti a[n] = 2, n = 0, 1, 2, ...

   je vytvořující funkce posloupnosti a[n] = , n = 0, 1, 2, ...

   

    je vytvořující funkce posloupnosti a[n] = , n = 0, 1, 2, ...

    je vytvořující funkce posloupnosti a[n] = , n = 0, 1, 2, ...

   Celkem:

   Tedy .