マルコフ再生過程

マルコフ再生過程（）は、確率過程の一つであり、ジャンプ型マルコフ過程（Markov jump process）の考え方を一般化したものである。マルコフ連鎖やのような一部の確率過程、およびはマルコフ再生過程の特別な場合として導出することができる。

定義サムネイル|600x600ピクセル|マルコフ再生過程の実例

状態空間を、（連続的な）時刻の集合をとする。いま、確率変数の系列を考える。ここではジャンプ時刻 (jump time) 、は対応するマルコフ連鎖の状態である (図を参照）。また、到着間時刻 (inter-arrival time) をと表記する。次の条件を満たすとき、系列はマルコフ再生過程と呼ばれる。

準マルコフ過程に対しを満たす確率過程を定義する。これは準マルコフ過程 (semi-Markov process) と呼ばれる確率過程となる。MRP と準マルコフ過程の違いは、前者は状態と時刻の組で定義されるのに対し、後者は時間発展する実際の時系列の確率過程であり、実現値が任意の時刻における状態の値として定義される点である。

この確率過程は全体を見ればマルコフ性を持たない（すなわち無記憶性を持たない）が、ジャンプする瞬間に限りマルコフ性を持つ。これが準マルコフという名前の理論的根拠である。も参照されたい。

（上に定義した）準マルコフ過程のうち、保持時間 (holding time) が指数分布で表されるものを連続時間マルコフ連鎖、または連続時間マルコフ過程 (continuous-time Markov chain/process; CTMC) と呼ぶ。言い換えると、到着間時間が指数分布に従い、かつある状態における待ち時間 (waiting time) と次に遷移する状態が独立であれば準マルコフ過程は CTMC となる。

他の確率過程との関係系列は離散時間マルコフ連鎖となる。すなわち、時間変数を無視すれば MRP は離散時間マルコフ連鎖として扱うことができる。

系列が独立かつ同一の分布に従い、かつそれらの分布が状態に依存しないのであれば、対応する確率過程はとなる。したがって、状態を無視したときに得られる独立同分布の時間系列は再生過程として扱うことができる。

出典

参考文献

マルコフ再生過程

Źródło i licencja