3.1 马尔可夫链的定义

3.1.1 马尔可夫性

Markov性:

令$A=\{S_{n_0}=i_0,...,S_{n_{k-1}}=i_{k-1}\}$代表过去,$B=\{S_{n_k}=i\}$代表现在,$C=\{S_{n_{k+1}}=j\}$代表将来

则马尔可夫性可以表示为:

$$ P(C|AB)=P(C|B) $$

已知到现在为止的所有信息来预测将来,则只与现在状态有关,与过去状态无关

也可以这样理解:

$$ P(AC|B)=P(A|B)P(C|AB)\\=P(A|B)P(C|B) $$

即:在已知现在状态的条件下,过去与将来相互独立

马尔可夫链:离散的马尔可夫过程

Untitled

3.1.2 转移概率、转移矩阵

转移概率:

第一种:直接从m转移到n

Untitled

第二种:m经过n步之后到m+n

Untitled

转移矩阵: