Markov性:
令$A=\{S_{n_0}=i_0,...,S_{n_{k-1}}=i_{k-1}\}$代表过去,$B=\{S_{n_k}=i\}$代表现在,$C=\{S_{n_{k+1}}=j\}$代表将来
则马尔可夫性可以表示为:
$$ P(C|AB)=P(C|B) $$
已知到现在为止的所有信息来预测将来,则只与现在状态有关,与过去状态无关
也可以这样理解:
$$ P(AC|B)=P(A|B)P(C|AB)\\=P(A|B)P(C|B) $$
即:在已知现在状态的条件下,过去与将来相互独立。
马尔可夫链:离散的马尔可夫过程
转移概率:
第一种:直接从m转移到n
第二种:m经过n步之后到m+n
转移矩阵: