8. Absorpční homogenní markovské řetězce



   8.1. Definice: Definice absorpčního stavu.

   

   8.2. Věta: Věta o vztahu mezi absorpčním stavem a trvalým stavem.

   

   8.3. Definice: Definice absorpčního homogenního markovského řetězce.

   

   8.4. Příklad: Nechť  je homogenní markovský řetězec s množinou stavů
   J = {0,1, ..., 5} a maticí přechodu . Zjistěte, zda jde o absorpční řetězec.

   

   Řešení:

   Přechodový diagram

   J[T] = {3,4}{5}, J[P] = {0, 1, 2}.

   Stavy 3 a 4 jsou trvalé, ale nejsou absorpční. Řetězec tedy není absorpční.

   

   8.5. Definice: Definice fundamentální matice absorpčního řetězce.

   

   8.6. Poznámka: Význam součtu prvků v i-tém řádku fundamentální matice M.

   

   8.7. Příklad: Dva hráči A a B dali dohromady do hry vklad 4 Kč. Hráč A hází mincí. Když padne
   líc, vyhrává 1 Kč, když rub, prohrává 1 Kč. Hra trvá tak dlouho, až je jeden z hráčů
   zruinován.

   a) Popište situaci pomocí homogenního markovského řetězce. Najděte matici přechodu a
   nakreslete přechodový diagram.

   b) Ukažte, že řetězec je absorpční.

   c) Najděte fundamentální matici a interpretujte její prvky.

   b) Vypočtěte střední hodnotu počtu kroků, které řetězec stráví v neabsorpčních stavech.

   

   Řešení:

   ad a) Zavedeme homogenní markovský řetězce  s množinou stavů
   J = {0,1, 2, 3, 4}, přičemž X[n] = j, když v n-tém kroku hry má hráč A právě j Kč.

   Matice přechodu:

   Přechodový diagram:

   

   ad b) J[T] = {0}{4}, J[P] = {1, 2, 3}. Trvalé stavy 0 a 4 jsou absorpční, řetězec je tedy
   absorpční.

   

   ad c) Matice přechodu v kanonickém tvaru:

   .

   Interpretace: Podívejme se např. na druhý řádek matice M. Má-li hráč A v daném okamžiku 2 Kč,
   pak lze očekávat, že před skončením hry bude mít v průměru jedenkrát 1 Kč, dvakrát 2 Kč a
   jedenkrát 3 Kč.

   

   ad d) Podle poznámky 8.6. dostáváme:

   t = Me = .

   Interpretace: Má-li hráč A v daném okamžiku buď 1 Kč nebo 3 Kč, tak v průměru po třech krocích
   hra skončí. Má-li hráč A v daném okamžiku 2 Kč, pak v průměru po čtyřech krocích hra skončí.

   

   8.8. Věta: Věta o pravděpodobnostech přechodu do absorpčních stavů.

   

   8.9. Definice: Definice matice přechodu do absorpčních stavů daného absorpčního řetězce.

   

   8.10. Příklad: Pro zadání z příkladu 8.7. vypočtěte matici přechodu do absorpčních stavů a
   interpretujte její prvky.

   

   Řešení:

   B = MR =.

   Interpretace: Má-li hráč A v daném okamžiku 1 Kč, pak bude s pravděpodobností  3/4 zruinován
   on a s pravděpodobností  1/4 bude zruinován hráč B. Má-li hráč A v daném okamžiku 2 Kč, pak
   bude s pravděpodobností  1/2  zruinován on a s pravděpodobností  1/2  bude zruinován hráč B.
   Má-li hráč A v daném okamžiku 3 Kč, pak bude s pravděpodobností  1/4  zruinován on a
   s pravděpodobností  3/4 bude zruinován hráč B.