P8 - Spojité Markovovy řetězce 2. Markovovy řetězce se spojitým časem 2.1 Obecné vlastnosti náhodných procesů se spojitým časem Předpokládáme-li, že se přechody mezi jednotlivými stavy mohou uskutečnit v libovolně blízkých časových okamžicích, můžeme vystihnout případy změn ve spojitém čase. Mluvíme potom o Markovově resp. markovském procesu se spojitým časem. Náhodné proměnné nabývají stejně jako u (diskrétních) Markovových řetězců hodnoty, které jsou přiřazeny určitým stavům. V daném okamžiku se může vyskytnout jeden ze stavů . Okamžiky se liší o veličinu , která se blíží k nule[1]. Dochází-li ke změnám v okamžicích, které se liší o , potom pro tento interval musíme sledovat i pravděpodobnosti přechodu. Nechť existují limity měnících se pravděpodobností, které znamenají pravděpodobnosti přechodu v době , podmíněné situací, která nastala v době ve tvaru (2.1) V řadě situací vystačíme předpokladem, že tyto pravděpodobnosti přechodu jsou konstantní, tedy nezávislé na tedy . Pravděpodobnost setrvání v daném j-tém stavu v limitně neomezeně malé době by se ovšem blížila k jedné. Proto zavádíme (v limitě) její doplněk do 1, tedy (2.2) Limita (2.1) představuje intenzitu pravděpodobnosti přechodu ze stavu i do stavu j), limita (2.2) představuje intenzitu výstupu ze stravu j (kamkoliv jinam). Matici pravděpodobností přechodu, zachycující podmíněné pravděpodobnosti výskytu určitých stavů v době podmíněné výskytem určitých stavů v době lze psát ve tvaru Protože řádkové součty v matici jsou jednotkové , musí platit (2.3) a tedy součty prvků v řádcích matice jsou nulové. V důsledku toho lze řádky matice ) násobit libovolným nenulovým číslem, Matici nazýváme maticí intenzit pravděpodobností přechodu a s maticí souvisí tímto vztahem: (2.5) Pro absolutní pravděpodobnosti lze psát (2.4) . Vyjádříme-li absolutní pravděpodobnosti pomocí matice intenzit přechodu , můžeme zapsat . neboli po úpravě (2.6) Přejdeme li k limitnímu vyjádření pro neomezeně se zmenšující , dostaneme (2.7) a odtud z (2.8) . Jestliže průběh náhodného procesu nezávisí na době, která uplynula od počátku procesu, mluvíme opět o homogenních Markovových procesech, v opačném případě o nehomogenních Markovových procesech. Matici intenzit přechodu značíme v případě homogenního procesu s konečným počtem stavů , kde nyní již intenzity nezávisejí na čase. Pak můžeme vztah (2.8) vyjádřit ve tvaru (2.9) . Z formálně matematického hlediska představuje vztah (2.8) soustavu diferenciálních rovnic pro veličiny , kterou lze zapsat následovně (2.9A) , resp. . Jako řešení této soustavy dostáváme: resp. , kde za můžeme jako počáteční podmínku voli vektor , takže máme zápis (2.10) , ve kterém je exponenciální maticová funkce definována jako mocninný rozvoj (2.11) .[2] Ukazuje se, že veličiny budou – až na výchozí vektor - dány určitým typem mocninné řady. Existuje-li limitní (=stacionární) rozdělení pravděpodobností, pak platí (2.4) , takže z toho plyne a tedy Pro rozdělení limitních pravděpodobností lze psát dle (2.9) (2.10) . Protože platí – až na konstantu - , je limitní rozdělení stejné jako v případě, že pracujeme s procesy (řetězci) s nespojitým časem. 2.2 Vytvořující funkce pro spojité Markovovy procesy Analogií vytvořující funkce bude pro spojitý Markovův proces funkce (2.12) . Tento tvar vytvořující funkce odpovídá Laplaceově transformaci. Podobně jako u vytvořující funkce u diskrétních Markovových řetězců (z-transformace) existuje i zde jednoznačná korespondence mezi původní funkcí a její transformací . U jednoduchých situací obvykle vystačíme při použití této transformace s tím, že užijeme „slovníku“ transformací. Nejčastěji užívané funkce obsahuje následující tabulka: 1 T . Použijeme-li k analýze systému vztah (2.10), tvoříme Laplaceovu transformaci pro původní funkci, jíž je vektor Označme Laplaceovu transformaci tohoto vektoru symbolem , pak máme (2.13) . Užijeme-li vztah (2.10), pak pro vektor platí (2.14) . Protože pro maticové funkce lze v řadě případů využít podobné vztahy jako pro funkce skalárních proměnných, můžeme provést analogický výpočet integrálu[3]: . Můžeme tedy pro funkci psát (2.15) . Matice je analogií matice , která byla použita při analýze stacionárního rozdělení stavů diskrétního Markovova řetězce. Příklad 2.1 Stanovte vektor absolutních pravděpodobností ,má-li matice intenzit přechodu tvar . řešení: sestrojíme inverzní matici k matici : . ( Její determinant je ). Proto . Dále uplatníme rozklad součinu ve jmenovateli na parciální zlomky se jmenovateli a . Dostaneme , tj. , odkud máme , s řešením Dostáváme tedy . Transformované funkci odpovídá původní funkce rovná 1 a funkci odpovídá původní funkce . Vektor lze tedy psát jako . Odtud je patrné, že se analyzovaný systém ustálí ve stacionární situaci (dané vektorem , přičemž rychlost směřování k tomuto ustálenému stavu je úměrná výrazu [4] ________________________________ [1] Zápis ve svém důsledku znamená, že náhodný proces jsme schopni pozorovat v kterémkoliv časovém okamžiku z intervalu . [2] Vyplývá to z Taylorova rozvoje exponenciální funkce pro maticový argument [3] K je v tomto případě matice rozměrů MxM. [4] Význam druhého členu postupně odezní, protože zřejmě pro matici B s konečně velkými prvky.