6. Klasifikace stavů homogenního markovského řetězce



   6.1. Označení: Označení prvků matice P^n

   

   6.2. Definice: Definice doby prvního návratu do stavu j.

   

   6.3. Označení: Označení pravděpodobnostní funkce doby prvního návratu do stavu j.

   

   6.4. Definice: Definice trvalého a přechodného stavu.

   

   6.5. Věta: Kritérium pro klasifikaci trvalých a přechodných stavů.

   

   6.6. Příklad: Provádíme posloupnost opakovaných nezávislých hodů kostkou. Nechť náhodná
   veličina X[n] udává maximální číslo dosažené v prvních  n hodech, n = 1, 2, 3, ... Zavedeme
   homogenní markovský řetězec  s množinou stavů J = {1, 2, ..., 6}, kde X[n] = j, když v prvních
   n hodech bylo nejvyšší dosažené číslo j. Najděte matici přechodu P a  klasifikujte stavy na
   trvalé a přechodné.

   

   Řešení:

   Zajímají nás jen diagonální prvky matice P^n, protože zkoumáme řadu .

   Obecně: , j = 1, ..., 6

   Řada  absolutně konverguje pro j = 1, 2, 3, 4, 5 a diverguje pro j = 6. Tedy J[T] = {6}, J[P]
   = {1, 2, 3, 4, 5}.

   

   6.7. Definice: Definice trvalého nenulového stavu a trvalého nulového stavu.

   

   6.8. Důsledek: Kritérium pro klasifikaci trvalých nenulových stavů a trvalých nulových stavů.

   

   6.9. Poznámka: Lze ukázat, že homogenní markovský řetězec s konečnou množinou stavů nemůže mít
   trvalé nulové stavy.

   

   6.10. Definice: Definice periodického stavu, neperiodického stavu, ergodického stavu.

   

   6.11. Příklad: Na úsečce délky 5 jsou vyznačeny body 0, 1, ..., 5. V bodě 3 se nachází
   kulička. Kulička koná náhodnou procházku po úsečce tak, že s pravděpodobností p se posune o
   jednotku napravo a s pravděpodobností q = 1 – p se posune o jednotku nalevo. Dosáhne-li bodu 0
   nebo bodu 5, setrvá tam. Popište proces pomocí homogenního markovského řetězce a klasifikujte
   stany na periodické a neperiodické.

   

   Řešení: Zavedeme homogenní markovský řetězec  s množinou stavů J = {0, 1, 2, 3, 4, 5}, kde
   X[n] = j, když v okamžiku n je kulička v bodě j.

   

   

   

   

   

    

   

   p[00](n) = 1 pro  stav 0 je neperiodický.

   p[55](n) = 1 pro  stav 5 je neperiodický.

   p[11](1) = 0, p[11](2) = pq, p[11](3) = 0, p[11](4) = pqp, ... Největší společný dělitel čísel
   2, 4, 6, ... je 2, tedy stav 1 je periodický s periodou 2. Stejně to dopadne se stavy 2, 3, 4.

   

   6.12. Věta: Výpočet střední hodnoty doby prvního návratu do ergodického stavu j a trvalého
   nenulového periodockého stavu j.

   

   6.13. Příklad: Nechť je dán homogenní markovský řetězec  s množinou stavů 
   J = {0, 1, 2} a maticí přechodu . Vypočtěte střední hodnoty dob 1. návratů do stavů 0, 1, 2.

   

   Řešení: Jelikož matice P je regulární matice, bude matice P^n konvergovat k limitní matici
   (viz věta 4.10. c)), jejíž všechny řádky jsou stejné a jsou rovny stacionárnímu vektoru a
   matice P.

   (a[0], a[1], a[2]) = (a[0], a[1], a[2])

    = , μ =

   

   

   6.14. Věta: Rekurentní vyjádření pravděpodobnostní funkce doby 1. návratu do stavu j pomocí
   pravděpodobností přechodu.

   

   6.14. Příklad: Nechť  je homogenní markovský řetězec s maticí přechodu . Je-li vektor
   počátečních pravděpodobností p(0) = (1, 0), vypočtěte pravděpodobnost, že doba 1. návratu do
   stavu 0 bude n, n = 1, 2, 3, ... a vypočtěte pravděpodobnost, že řetězec se vůbec někdy vrátí
   do stavu 0.

   

   Řešení: P^2 =

   P^3 =

   f[0](1) = p[00] = 1 – α

   f[0](2) = p[00](2) – p[00]f[0](1) = (1 – α)^2 + αβ – (1 – α)^2 =
   αβ

   f[0](3) = p[00](3) – p[00](2)f[0](1) – p[00]f[0](2) = (1 – α)^3 + 2(1 –
   α)αβ + (1 – β)αβ – [(1 – α)^2 + αβ](1 –
   α) – (1 – α)αβ = (1 – α)^3 + 2(1 – α)αβ + (1 –
   β)αβ – (1 – α)^3 – (1 – α)αβ – (1 –
   α)αβ = (1 –β)αβ

   Obecně: