7. Rozložitelné a nerozložitelné homogenní markovské řetězce

   

   7.1. Definice: Definice dosažitelných a sousledných stavů.

   

   7.2. Příklad: Je dán homogenní markovský řetězec  s množinou stavů
   J = {1, 2, ..., 5} a maticí přechodu .

   Nakreslete přechodový diagram a sestavte tabulku dosažitelných stavů a tabulku sousledných
   stavů.

   

   Řešení:

   Přechodový diagram

   Tabulka dosažitelných stavů

   +-----------------------------------------------+
   |stav     |dosažitelný stav                     |
   |         |-------------------------------------|
   |         |1      |2      |3      |4     |5     |
   |---------+-------+-------+-------+------+------|
   |1        |+      |+      |-      |-     |-     |
   |---------+-------+-------+-------+------+------|
   |2        |+      |+      |-      |-     |-     |
   |---------+-------+-------+-------+------+------|
   |3        |+      |+      |+      |+     |+     |
   |---------+-------+-------+-------+------+------|
   |4        |+      |+      |+      |+     |+     |
   |---------+-------+-------+-------+------+------|
   |5        |-      |-      |-      |-     |+     |
   +-----------------------------------------------+

   

   Tabulka sousledných stavů

   +---------------------------------------------+
   |stav     |sousledný stav                     |
   |         |-----------------------------------|
   |         |1      |2     |3     |4     |5     |
   |---------+-------+------+------+------+------|
   |1        |+      |+     |-     |-     |-     |
   |---------+-------+------+------+------+------|
   |2        |+      |+     |-     |-     |-     |
   |---------+-------+------+------+------+------|
   |3        |-      |-     |+     |+     |-     |
   |---------+-------+------+------+------+------|
   |4        |-      |-     |+     |+     |-     |
   |---------+-------+------+------+------+------|
   |5        |-      |-     |-     |-     |+     |
   +---------------------------------------------+

   

   7.3. Definice: Definice třídy trvalých stavů a třídy přechodných stavů.

   

   7.4. Příklad: Pro homogenní markovský řetězec z příkladu 7.2. najděte třídy trvalých a
   přechodných stavů.

   

   Řešení:

   

   7.5. Poznámka: Poznámka o podřetězci homogenního markovského řetězce.

   

   7.6. Důsledek: Důsledek pro třídu trvalých stavů a pro třídu přechodných stavů.

   

   7.7. Věta: Kritérium pro stanovení třídy trvalých stavů.

   

   7.8. Definice: Definice rozložitelného a nerozložitelného homogenního markovského řetězce.

   

   7.9. Příklad: Uvažme náhodnou procházku s pohlcujícími stěnami, tj. homogenní markovský
   řetězec  s množinou stavů J = {0,1, ..., N-1, N} a přechodovým diagramem

   Zjistěte, zda tento řetězec je rozložitelný. Pokud ano, najděte třídy trvalých a přechodných
   stavů.

   

   Řešení: Z přechodového diagramu okamžitě vyplývá, že stavy 0 a N jsou sousledné jenom samy se
   sebou. Ostatní stavy 1, 2, ..., N-1 jsou sousledné, řetězec je tedy rozložitelný a .

   

   7.10. Definice: Definice stavů stejného typu.

   

   7.11. Věta: Věta o sousledných stavech.

   

   7.12. Důsledek: Důsledek pro nerozložitelný homogenní markovský řetězec.

   

   7.13. Věta: Věta o množině stavů dosažeitelných z trvalého stavu.

   

   7.14. Poznámka: poznámka o rozkladu množiny stavů J a o kanonickém tvaru matice přechodu.

   7.15. Příklad: Je dán homogenní markovský řetězec  s množinou stavů
   J = {0,1, ..., 5} a maticí přechodu . Najděte kanonický tvar matice P.

   

   Řešení:

   Přechodový diagram

   

   J[1] = {0}, J[2] = {3, 4, 5}, J[P] = {1, 2}.

   

   Kanonický tvar matice přechodu:

   

   .

   Vidíme tedy, že

   .

   

   7.16. Definice: Definice fundamentální matice nerozložitelného homogenního markovského
   řetězce.

   

   7.17. Věta: Věta o výpočtu středních hodnot dob prvních vstupů řetězce do stavu j za
   předpokladu, že vychází ze stavu i.