M a r kovový řetězce
■
Uvažujme nějakou soustavu, kterou sledujeme v diskrétních časových okamžicích t = 0,1, 2,... a která se může nacházet v n různých stavech, které reprezentujeme hodnotami 1, 2,..., n. Při posunu z jednoho časového okamžiku do okamžiku následujícího může soustava přejít ze stávajícího stavu do jiného stavu. Předpokládejme, že pro libovolná i J G {1, 2,..., n} pravděpodobnost toho, že soustava v jednom kroku přejde ze stavu / do stavu j, je rovna hodnotě p,j. To znamená, že tato pravděpodobnost závisí pouze na tom, v jakém stavu je soustava v přítomném okamžiku, nezávisí tedy na tom, jakými stavy soustava prošla v minulosti. Tato pravděpodobnost rovněž nezávisí na tom, ve kterém časovém okamžiku k uvažovanému přechodu dochází. V této situaci mluvíme o homogenním Markovově řetězci s diskrétním časem.
Pro pravděpodobnosti přechodu p,j homogenního Markovova řetězce platí, že 0 ^ Pij ^ 1 pro všechna i J G {1, 2,..., n} a p,i + p/2 + ■ ■ ■ + Pin = 1 pro každé / G {1,2,..., n}. Tyto pravděpodobnosti můžeme sestavit do čtvercové matice
/Pii
Pl2 P22
Pln\ P2n
P21
\Pa71
Pn2
PnnJ
Tuto matici nazýváme maticí pravděpodobností přechodu. Prvky této matice jsou nezáporná čísla a součet prvků v každém řádku je roven jedné. Matice s touto vlastností nazýváme stochastické matice.
Nechť pro libovolný časový okamžik t = 0,1, 2,... a pro libovolný stav
/ G {1, 2,... .n} je pravděpodobnost toho, že soustava se v čase t nachází ve
stavu / dána hodnotou p,(r). Pak ovšem pro všechna / G {1, 2,... .n} platí
0 ^ Pi{t) ^ 1 a také platí pi(ŕ) + P2(r) + ■ ■ ■ + Pn(t) = 1. Tyto pravděpodobnosti
zapisujeme ve tvaru pravděpodobnostího vektoru
P(r) = (Pi(t),P2(t),...,Pn(t)). Součet všech složek tohoto vektoru je roven jedné.
Zkoumejme nyní, jak se složky vektoru p(r + 1) vypočtou pomocí složek vektoru p(ŕ) a pomocí matice pravděpodobností přechodu P. Pro každé j G {1, 2,... .n}
platí, že pj(t + 1) = Pi{t)pij + P2{t)P2j H-----1- Pn(t)pnj- Zapsáno pomocí
násobení vektorů a matic to znamená, že platí
P(ř+i) = p(ř)-p.
Tento postup lze iterovat. Analogicky dostáváme, že platí
P(ř) = p(ř-i)-p.
Odtud a z předchozího vztahu plyne, že
p(r + 1) = p(ŕ - 1) • P • P = p(ŕ - 1) • P2.
Takto lze pokračovat dále. Nakonec tímto způsobem obdržíme, že pro každý časový okamžik t = 1, 2,... platí
p(ř) = p(0) • Př.
Abychom tedy mohli určit složky vektoru p(r), musíme vedle matice pravděpodobností přechodu P znát také vektor počátečních pravděpodobností
p(0) = (p1(0),p2(0),...,pA?(0)),
tedy pravděpodobností toho, v jakém stavu se soustava nachází v okamžiku 0.