Nieredukowalny łańcuch Markowa

Nieredukowalność jest atrybutem dyskretnych łańcuchów Markowa , który po prostu stwierdza, że ​​łańcucha nie można rozbić (zredukować) na kilka pojedynczych łańcuchów podzbiorów pierwotnej przestrzeni stanów. Oprócz aperiodyczności, nieredukowalność jest jedną z ważnych właściwości łańcuchów Markowa, która jest ważna dla zbieżności w kierunku rozkładu stacjonarnego . Ponieważ łańcuch Markowa zawsze można przedstawić za pomocą wykresu przejścia , używany jest również równoważny termin przechodniość. Mówiąc prościej, przechodniość oznacza, że ​​istnieje ścieżka z każdego stanu do każdego innego stanu.

definicja

Niech będzie (czasowo jednorodnym) łańcuchem Markowa na dyskretnej przestrzeni stanów . Następnie Łańcuch Markowa nazywamy nieredukowalną wtedy i tylko wtedy, gdy jest dla wszystkich jeden tam, więc ${\ Displaystyle (X_ {t}) \; t \ in \ mathbb {N} _ {0}}$${\ Displaystyle S = \ {s_ {1}, s_ {2}, s_ {3}, \ ldots \}}$${\ displaystyle s_ {i}, s_ {j} \ in S}$${\ Displaystyle n \ in \ mathbb {N}}$

${\ Displaystyle P (X_ {n} = s_ {i} | X_ {0} = s_ {j})> 0}$

Dlatego każdy stan musi być dostępny z każdego innego stanu z dodatnim prawdopodobieństwem.

Równoważne definicje

Odpowiedniki to:

1. Łańcuch Markowa jest nieredukowalny
2. Dotyczy wszystkich stanów . Jest czas oczekiwania od stanu początkowego do pierwszego osiągnięcia${\ Displaystyle P (\ tau _ {ij} <\ infty)> 0}$${\ displaystyle i, j}$${\ displaystyle \ tau _ {ij}}$${\ displaystyle i}$${\ displaystyle j}$
3. Wszystkie stany przestrzeni stanów komunikują się ze sobą .
4. Każdy stan ma jakiegokolwiek innego państwa z dostępem${\ displaystyle i}$${\ displaystyle j}$
5. Jest tylko jedna klasa komunikacji

Jeśli przestrzeń stanów jest skończona, listę można rozszerzyć o następujące punkty:

1. Wykres przejściowy łańcucha Markowa jest silnie połączone .
2. Macierz transformacji , która opisuje łańcuch Markowa jest nierozkładalny .

Niektórzy autorzy najpierw definiują nieredukowalność podzbioru przestrzeni stanów (również przy użyciu powyższych kryteriów), a następnie nazywają łańcuch Markowa nieredukowalnym, jeśli cała przestrzeń stanów jest zbiorem nieredukowalnym.

Słaba nieredukowalność

Istnieje również koncepcja słabej nieredukowalności. Łańcuch Markowa nazywany jest słabo nieredukowalnym wtedy i tylko wtedy, gdy

${\ Displaystyle P (\ tau _ {ij} <\ infty) + P (\ tau _ {ji} <\ infty)> 0}$dotyczy czasu oczekiwania określonego powyżej.${\ displaystyle \ tau _ {ij}}$

cechy

Wykres przejścia z macierzą przejść. Wykres się rozpada, macierz ulega redukcji

• Nieredukowalne łańcuchy Markowa są okresowe lub aperiodyczne , ponieważ wszystkie stany mają ten sam okres.
• Nieredukowalne łańcuchy Markowa nie mają żadnych stanów absorbujących .
• Nieredukowalne łańcuchy Markowa są przejściowe lub powtarzające się , ponieważ ta właściwość zawsze występuje we wszystkich ich stanach w tym samym czasie.
• Jeśli przestrzeń stanów jest skończona, a macierz przejść łańcucha Markowa, to istnieje następujące kryterium nieredukowalności: Jeśli istnieje takie, że jest prawdziwe, to łańcuch Markowa jest nieredukowalny i aperiodyczny. Znak większe niż należy rozumieć jako składnik.${\ displaystyle M}$${\ Displaystyle n \ in \ mathbb {N}}$${\ displaystyle M ^ {n}> 0}$
• W przypadku skończonej przestrzeni stanów nieredukowalność skutkuje pozytywną rekurencją.

Przykłady

Rozważmy na przestrzeni stanów poprzez macierz przejścia ${\ Displaystyle S = \ {1, 2, 3, 4 \}}$

${\ Displaystyle M_ {1} = {\ początek {pmatrix} 1/2 i 1/2 i 0 i 0 \\ 0 i 1/2 i 1/2 i 0 \\ 0 i 0 i 1/2 i 1/2 \\ 1/2 i 0 i 0 i 1/2 \ koniec {pmatrix}}}$

zdefiniowany łańcuch. Jeśli ten łańcuch jest w stanie i, przeskakuje do i + 1 z prawdopodobieństwem 50%, w przeciwnym razie pozostaje w stanie i (jeśli i = 4, przeskakuje z powrotem do 1 z prawdopodobieństwem 50%). Oczywiście łańcuch może przejść z dowolnego stanu do dowolnego innego w trzech krokach, więc wszystkie stany są połączone. Ten łańcuch Markowa jest zatem nieredukowalny.

Inny przykład: rozważ macierz w tej samej przestrzeni stanów

${\ Displaystyle M_ {2} = {\ rozpocząć {pmatrix} 1/2 i 0 i 1/2 i 0 \\ 0 i 1/3 i 0 i 2/3 \\ 1/2 i 0 i 1/2 i 0 \\ 0 i 2/3 i 0 i 1/3 \ koniec {pmatrix}}}$.

Tutaj przechodzisz tylko ze stanu 1 do stanu 3, a stamtąd tylko z powrotem do stanu 1. Do stanów 2 i 4 nie można dotrzeć z 1 i 3, nawet w dowolnej liczbie kroków i odwrotnie. Więc S jest podzielony na klasy równoważności i . W tym przykładzie łańcuch można podzielić na dwa oddzielne łańcuchy w dwóch klasach równoważności i macierzach ${\ displaystyle \ {1,3 \}}$${\ displaystyle \ {2,4 \}}$

${\ displaystyle {\ begin {pmatrix} 1/2 i 1/2 \\ 1/2 i 1/2 \\\ end {pmatrix}}}$jak również demontować. ${\ displaystyle {\ begin {pmatrix} 1/3 i 2/3 \\ 2/3 i 1/3 \\\ end {pmatrix}}}$

literatura

• Albrecht Irle: Teoria prawdopodobieństwa i statystyki: Podstawy - Wyniki - Zastosowania. Teubner, Wiesbaden 2005.
• Kai Lai Chung: Łańcuchy Markowa ze stacjonarnymi prawdopodobieństwami przejścia . Springer, Berlin 1967.
• Esa Nummelin: Ogólne nieredukowalne łańcuchy Markowa i operatory nieujemne . Cambridge University Press, Cambridge 2004.
• Hans-Otto Georgii: Stochastics: Wprowadzenie do teorii prawdopodobieństwa i statystyki , wydanie 4, de Gruyter, 2009. ISBN 978-3-110-21526-7
• Achim Klenke: Teoria prawdopodobieństwa . 3. Wydanie. Springer-Verlag, Berlin Heidelberg 2013, ISBN 978-3-642-36017-6 , doi : 10.1007 / 978-3-642-36018-3 . 
• David Meintrup, Stefan Schäffler: Stochastics . Teoria i zastosowania. Springer-Verlag, Berlin Heidelberg New York 2005, ISBN 978-3-540-21676-6 , doi : 10.1007 / b137972 . 

Indywidualne dowody

1. ↑ Meintrup, Schäffler: Stochastics. 2005, s. 242.
2. ↑ Klenke: Teoria prawdopodobieństwa. 2013, s. 377.