第二章 随机过程的概念

2.1 随机过程定义

  1. 随机过程定义：设$S$是样本空间，$T$为一参数集，$T\subset R$，如果对任何$t\in T$，$X(t)$是$S$上的随机变量，则称$\{X(t);t\in T\}$是$S$上的随机过程

  2. $\{X(t);t\in T\}$可以看作是定义在$T\times S$上的二元函数，记为$X(t,e)$或$X(t,\omega)$

    1. $X(t,\bullet)$是随机变量
    2. $X(\bullet,c)$是$t$的函数，称为样本函数

    对过程的一次具体观察结果就是一条样本函数

  3. $X(t)$表示在$t$时刻过程所处的状态，$X(t)$的所有可能的状态取值所构成的集合称为随机过程的状态空间

2.2 随机过程的有限维分布

  1. 设随机过程$\{X(t);t\in T\}$，对每一固定的$t\in T$，随机变量$X(t)$的分布函数与$t$有关，记为$F_X(x,t)=P\{X(t)\leq x\},~x\in R$，称为$\{X(t);t\in T\}$的一维分布函数，$\{F_X(x,t),t\in T\}$称为一维分布函数族

  2. 对任意$n(n=2,3,...)$个不同的时刻，$t_1,t_2,...,t_n\in T$，$n$维随机变量$(X(t_1),X(t_2),...,X(t_n))$，其分布函数记为：$F_X(x_1,x_2,...,x_n;t_1,t_2,...,t_n)=P\{X(t_1)\leq x_1,X(t_2)\leq x_2,...,X(t_n)\leq x_n\},x_i\in R,i=1,2,...,n$ 称为$\{X(t);t\in T\}$的$n$维分布函数

    $\{F_X(x_1,x_2,...,x_n;t_1,t_2,...,t_n),t_i\in T\}$称为$n$维分布函数族，它完全确定了随机过程的统计特性

  3. 均值函数和协方差函数：给定随机过程$\{X(t),t\in T\}$，记

    $\mu_X(t)=E[X(t)]$——均值函数

    $\psi^2_X(t)=E[X^2(t)]$——均方值函数

    $\sigma^2_X(t)=D_X(t)=D[X(t)]$——方差函数

    $\sigma_X(t)=\sqrt{\sigma^2_X(t）}$——标准差函数

    $R_X(t_1,t_2)=E[X(t_1)X(t_2)]$——自相关函数

    $C_X(t_1,t_2)=Cov[X(t_1),X(t_2)]=E\{[X(t_1)-\mu_X(t_1)][X(t_2)-\mu_X(t_2)]\}$——自协方差函数

    各数字特征之间的关系如下：

    $\psi^2_X(t)=R_X(t,t)$

    $C_X(t_1,t_2)=R_X(t_1,t_2)-\mu_X(t_1)\mu_X(t_2)$——通过自相关函数和均值函数可以求出自协方差函数

    $\sigma^2_X(t)=C_X(t,t)=R_X(t,t)-\mu_X^2(t)$——通过自协方差函数可以求出方差函数

  4. 正态过程：$\{X(t);t\in T\}$是一随机过程，对任意整数$n\geq 1$及任意$t_1,t_2,...,t_n\in T$，$(X(t_1),X(t_2),...,X(t_n))$服从n维正态分布，则称$\{X(t),t\in T\}$是正态过程

    正态过程的全部统计特征完全由它的均值函数和自协方差函数所确定

2.3 多个随机过程之间的关系

  1. 两个随机过程之间的关系：设$X(t),Y(t)$是依赖于同一参数$t\in T$的随机过程，称$\{X(t),Y(t)~t\in T\}$为二维随机过程

    $t_1,t_2,...,t_n;t_1',t_2',...,t_m'$是$T$中任意两组实数，则$n+m$维随机变量$(X(t_1),X(t_2),...,X(t_n);Y(t_1'),Y(t_2'),...,Y(t_m'))$的分布函数：$F(x_1,x_2,...,x_n;t_1,t_2,...,t_n;y_1,y_2,...,y_m;t_1',t_2',...,t_m')$称为二维随机过程的$n+m$维分布函数

  2. 对任意的正整数$n,m$，任意的数组$t_1,t_2,...,t_n\in T;~t_1',...,t_m'\in T$，若n维随机变量$(X(t_1),X(t_2),...,X(t_n))$与m维随机变量$(Y(t_1'),Y(t_2'),...,Y(t_m'))$相互独立，则称随机过程$\{X(t)\}$和$\{Y(t)\}$相互独立

  3. 互相关函数：t与下标对应

    $R_{XY}(t_1,t_2)=E[X(t_1)Y(t_2)]~t_1,t_2\in T$

    $R_{YX}(t_1,t_2)=E[Y(t_1)X(t_2)]~t_1,t_2\in T$

    互协方差函数：

    $C_{XY}(t_1,t_2)=Cov(X_{t_1},Y_{t_2})=R_{XY}(t_1,t_2)-\mu_X(t_1)\mu_Y(t_2)~t1,t2\in T$

    $C_{YX}(t_1,t_2)=R_{YX}(t_1,t_2)-\mu_Y(t_1)\mu_X(t_2)$

  4. 如果对任意的$t_1,t_2\in T$，恒有$C_{XY}(t_1,t_2)=0$，则称随机过程$\{X(t)\}$和$\{Y(t)\}$是不相关的

第三章 马尔可夫链

3.1 马尔可夫链的定义

  1. 马尔可夫定义：如果$\{X_n,n=0,1,2,...\}$是状态离散的随机过程，并且具有Markov性（即对任何$k\geq1$，任何状态$i_0,...,i_{j-1},i,j$，有$P\{X_{k+1}=j|X_0=i_0,...,X_{k-1}=i_{k-1},X_k=i\}=P\{X_{k+1}=j|X_k=i\}$，则称$\{X_n:n=0,1,...\}$是马尔可夫链 (Markov chain)
  2. 转移概率：