P5 - Absorpční stavy 1.14 Absorpční stavy Definice 16 (Trvalý) Stav je nazýván absorpční [absorbing state], jestliže platí (1.36) což znamená, že pokud někdy proces navštíví stav , zůstane v něm již navždy. Jestliže je absorpční stav, potom pravděpodobnost přechodu [passage probability] ze stavu do stavu je nazývána pravděpodobností absorpce v , pokud vycházíme ze stavu . Když v řetězci existují dva nebo více absorpčních stavů a když je zřejmé, že proces bude dříve či později absorbován v jednom z těchto stavů, je žádoucí nalézt tyto pravděpodobnosti absorpce.Tyto pravděpodobnosti lze nalézt řešením soustavy lineárních rovnic. Předpokládejme, že Markovův řetězec je takový, že se s určitostí jednoho z jeho absorpčních stavů dosáhne. Jestliže stav je absorpční, potom množina absorpčních pravděpodobností vyhovuje soustavě rovnic: (1.37) pro , tedy (1.37A) pro za podmínek , , jestliže stav je trvalý a jestliže . Absorpční pravděpodobnosti jsou důležité mj. v „náhodných procházkách“. Náhodná procházka je Markovův řetězec s vlastností, že když je proces ve stavu , potom během jednoho přechodu proces buď zůstane v nebo se přemístí do jednoho ze stavů, které jsou bezprostředně sousedící s . Příklad: Předpokládáme dva hráče, každý mající 2 dolary, kteří se domluvili na odehrání hry a sázejí po 1 dolaru v každé hře do té doby, než je jeden z nich bez peněz. Peněžní obnos, který má hráč A po odehrání n partií hry vytváří Markovův řetězec s maticí pravděpodobností přechodu očíslování stavů 0 1 2 3 4 5 (1.38) Jestliže představuje pravděpodobnost hráče A k výhře v jedné partii, potom pravděpodobnost absorpce ve stavu 0 (kdy hráč A prohraje všechny své peníze) může být získána z předešlé soustavy rovnic (1.37). Lze ukázat, že tyto rovnice pak vyústí v alternativní výrazy (obecnější, než je pro M = 4 jako v tomto příkladě). Stanovme pravděpodobnosti přechodu u jednotlivých stavů: : , , ....., , perioda neperiodický stav. , pro , zřejmě (přijímáme Zřejmě platí stav je tedy trvalý . : , , ....., , perioda neperiodický stav. , pro , zřejmě (přijímáme Stavy 0 a 5 jsou zřejmě absorpční, tedy trvalé, nenulové neperiodické tj. ergodické : , , , ...., , , , , pro stav 1 je přechodný (přijímáme konvencí ) : , , , ...., , Shodně by tomu bylo pro pravděpodobnosti přechodu , stavy 1,2,3,4 jsou stavy přechodné Stavy 1,2,3,4: (největší společný dělitel sudých čísel je 2) perioda periodický stav. ************************************************************************************************* (1.39) pro , kde Pro případ a je pravděpodobnost konečné prohry hráče A dána podílem (1.40) . Pro případ a je pravděpodobnost konečné prohry hráče A dána podílem (1.40) . 1.15 Pravděpodobnosti přechodu do absorpčních stavů Absorpčními řetězci nazveme ty Markovské řetězce, v nichž se vedle přechodných stavů vyskytují absorpční stavy, tj. takové, pro které je pravděpodobnost setrvání v daném stavu rovna 1[1]. Abychom vytvořili v matici pravděpodobností přechodu absorpčního řetězce kompaktní bloky, přečíslujeme jednotlivé stavy tak, že vhodným způsobem změníme pořadí řádků a sloupců matice pravděpodobností přechodu příslušného absorpčního řetězce. Dostaneme tak blokově vyjádřenou MPP ve tvaru (1.41) , v dimenzích Je-li celkový počet stavů , počet přechodných stavů a počet absorpčních stavů , potom je jednotková matice řádu . je matice pravděpodobností přechodu mezi přechodnými stavy o rozměru , je nulová matice o rozměrech a je matice pravděpodobností přechodu mezi přechodnými a absorpčními stavy o rozměru Střední počet průchodů přechodnými stavy U absorpčních řetězců často sledujeme charakteristiky, které lze vyvodit pomocí fundamentální matice mající tvar (1.42) , v dimenzích Inverzní matice v (1.42) existuje, konverguje-li maticová posloupnost s neomezeně rostoucím k nulové matici a lze-li pro ni psát (1.43) Prvky fundamentální matice takto udávají, kolikrát se proces v průměru ocitne v přechodných stavech. Označíme-li jednotlivé prvky fundamentální matice , pak bude vyjadřovat střední hodnotu počtu průchodů stavem , pokud proces na počátku vyšel ze stavu , kde jsou oba přechodné stavy. Budeme-li předpokládat, že se průchody přechodnými stavy uskutečňují v jednotkových časových intervalech, můžeme zkoumat průměrné doby strávené v jednotlivých přechodných stavech.[2] Tyto doby obecně závisí na tom, z jakého stavu proces na počátku vyšel. Pokud proces vyšel ze stavu absorpčního, je tato doba zřejmě nulová.[3] Vyjde-li proces z -tého přechodného stavu, můžeme střední dobu (střední počet průchodů) strávenou v přechodných stavech vyjádřit jako , kde doba vyjadřuje počet průchodů všemi přechodnými stavy dosažitelnými ze stavu . Soustavu veličin pro různá i lze vyjádřit sloupcovým vektorem Tento sloupcový vektor je tvořen řádkovými součty prvků fundamentální matice definované v (1.42). Vektor získáme také vynásobením fundamentální matice zprava sloupcovým vektorem složeným ze samých jedniček Označíme-li ho , pak lze psát , v dimenzích (1.44) Jedním z cílů sledování může být určení pravděpodobností přechodu do absorpčních stavů. Přechod z přechodných do absorpčních stavů může být uskutečněn přímo nebo může proběhnout přes řadu přechodných stavů. Jako označíme pravděpodobnost přechodu z přechodného stavu do absorpčního stavu . Můžeme ji vyjádřit jako (1.45) , zde T označuje množinu přechodných stavů. kde značí přímý přechod do absorpčního stavu, druhý člen pak označuje všechny možné přechody nepřímé (přes jiné přechodné stavy). V maticové formě můžeme tyto pravděpodobnosti vyjádřit vztahem , resp. po úpravě (1.46) , . Řádkové součty matice , která vyjadřuje pravděpodobnosti přechodu ze stavů přechodných do stavů absorpčních, jsou rovny jedné. Je to zřejmé z povahy absorpčních stavů, ve kterých (resp. v jednom z nich) musí proces skončit. V absorpčním řetězci nás také mohou zajímat pravděpodobnosti (dočasného) setrvání v okruhu přechodných stavů. Pravděpodobnosti přechodu mezi přechodnými stavy můžeme v maticovém tvaru vyjádřit jako (1.47) , , kde je matice pravděpodobností přechodu mezi přechodnými stavy a je inverzní matice k fundamentální matici, obsahující pouze diagonální prvky. ________________________________ [1] Předpokládáme zde, že jde o konečný řetězec neobsahující jiné trvalé stavy než absorpční. [2] Zde opět musíme mít na mysli situaci do té doby, než proces vstoupí do některého z trvalých stavů. [3] Formulace musí být upravena takto: Pokud se proces nacházel na počátku v absorpčním stavu, je pravděpodobnost vstupu do přechodného stavu nulová a tudíž střední doba průchodu stavem je nulová.