3. Markovské řetězce s diskrétním časem

   

   3.1. Definice: Definice markovského řetězce s diskrétním časem

   

   3.2. Věta: Věta o simultánní pravděpodobnostní funkci markovského řetězce s diskrétním časem

   

   3.3. Příklad: Nechť Y[1], Y[2], ... jsou stochasticky nezávislé náhodné veličiny, které
   nabývají hodnot z množiny {..., -2, -1, 0, 1, 2, ...} (jde o tzv. celočíselné náhodné
   veličiny). Položme . Dokažte, že stochastický proces  je markovský řetězec.

   Řešení: Dokážeme, že levá strana v markovské vlastnosti se rovná pravé straně.

   Levá strana:

   .

   Jevy zapsané pomocí náhodných veličin X[0], X[1], ..., X[n] se budeme snažit zapsat pomocí
   náhodných veličin Y[1], Y[2], ..., Y[n],  které jsou stochasticky nezávislé.

   X[0] = 0, X[1] = X[0] + Y[1]  Y[1] = X[1] - X[0],  X[2] = X[1] + Y[2]  Y[2] = X[2] – X[1],
   ..., X[n] = X[n-1] + Y[n]  Y[n] = X[n] – X[n-1], tedy

   Dále

   .

   Po dosazení do levé strany:

   Pravá strana:

   

   Protože levá strana se rovná pravé straně, je daný stochastický proces  markovský řetězec.

   Speciální případ – náhodná procházka na přímce.

   

   3.4. Příklad: Galtonův – Watsonův proces větvení

   

   3.5. Označení

   

   3.6. Věta: Věta o vlastnostech markovského řetězce s diskrétním časem

   

   3.7. Poznámka: Zápis vlastností markovského řetězce s diskrétním časem v maticovém tvaru

   3.8. Příklad: Nechť je dán markovský řetězec  s množinou stavů J = {0,1}. Pravděpodobnosti
   přechodu 1. řádu jsou dány maticí . Vektor absolutních pravděpodobností v okamžiku n je p(n) =
   . Jaká je pravděpodobnost, že po jednom kroku bude řetězec ve stavu 0 (resp. 1)?

   

   Řešení: Podle zákona evoluce máme: p(n+1) = p(n) P(n,n+1) =

   Po jednom kroku tedy bude řetězec ve stavu 0 s pravděpodobností 0,4583 a ve stavu 1
   s pravděpodobností 0,5417.

   

   3.9. Definice: Definice stochastického vektoru a stochastické matice