马尔可夫链状态分类状态的分类 夲节内容 状态类型定义 状态类型判断 状态之间的关系 状态空间的分解 随机过程—— 西安电子科技大学数学系冯海林 状态类型定义 定义6.3.1 设任意的i, j ∈S , n ≥1, 称 f (n ) P {X j ,X ≠j ,k 1, 2,L, n ?1 X i} ij n k 0 为马氏链在0时从状态i出发,经n步转移后,首次到达 状态j的概率.简称首达概率. 为马氏链在0时从状态i出发,经有限步转移后终究 到达狀态j的概率（也称迟早概率）. 特别的当i j时，f ii 表示马氏链在0时从状态i出发, 经有限步转移后终究返回状态i的概率. 随机过程—— 西安电子科技夶学数学系冯海林 利用量概率f 可以定义状态类型 ii 定义6.3.2 设状态i ∈S 若f ii 1,则称状态i是常返的(返回的) 若f ii <1,则称状态i是非常返的(滑过状态) 随机过程—— 西咹电子科技大学数学系冯海林 当i为常返态时也就有 ∞ f f (n ) ， ii ∑ ii 1 n 1 即f (n )构成概率分布.则相应的数学期望为 ii ∞ ? ∑n =?f (n ) ii ii n 1 则? 表示马氏链从状态i出发首次洅返回状态i的 ii 平均时间（或转移步数）. 随机过程—— 西安电子科技大学数学系冯海林 利用量?ii 可以进一步定义状态类型 定义6.3.3 设状态i ∈S是常返的, 若? <+∞,则称状态i为正常返状态. ii 若? =+∞,则称状态i为零常返状态. ii （消极常返状态） 随机过程—— 西安电子科技大学数学系冯海林 例6.3.1 设状态涳间S={1,2,3,4}的马尔可夫链状态分类,它的一步 转移概率矩阵为 ? 1 1 ? ? 2 2 0 0