马尔可夫链：n 步转移、状态分类和平稳分布

已知一步的转移矩阵，n 步以后在各状态的概率是多少？哪些状态是常返的、周期是多少？

CAS MAS-IIFoA CS2按输入的参数计算

公式

\displaystyle p_{ij}^{(m+n)}=\sum_k p_{ik}^{(m)}p_{kj}^{(n)},\ \ \mathbf P^{(n)}=\mathbf P^n

\displaystyle \boldsymbol\pi=\boldsymbol\pi\mathbf P,\ \sum_j\pi_j=1,\ \lim_{n\to\infty}p_{ij}^{(n)}=\pi_j\ (\text{不可约、非周期})

\displaystyle m_{jj}=\frac1{\pi_j}

\displaystyle d(i)=\gcd\{n:p_{ii}^{(n)}>0\}

\displaystyle \text{可逆}\iff\pi_ip_{ij}=\pi_jp_{ji},\ Q_{ij}=\frac{\pi_jp_{ji}}{\pi_i}

对过的标准答案: 5 条
覆盖的考试公式: 3 个
参数: 6 个
开源库: 1 个

01当场运行

改一个参数，当场重算

打开页面时用默认参数算了一次。改一个参数，停一下，结果就会重算。

输入

转移矩阵

步数 n步

1 步500 步

起始状态

从 1 开始编号

112

关心的状态 j

从 1 开始编号

112

当前选项用不到的 2 个参数已隐藏，换了选项会显示出来。

没有用数据：按输入的参数计算

天气（晴、多云、雨，3 个状态，教学例子）

输出

用时 162 毫秒 · 11/14 22:24 运行

5 步转移概率 p_{1,1}^(5): 39.4%
长期在“晴”的比例 π_1: 38.89%
“晴”的平均回访时间 1/π_1: 2.57143步
互通类的个数: 1
不可约: 是
“晴”的周期: 1
时间可逆（细致平衡）: 否
细致平衡的最大偏差 max|π_i p_ij − π_j p_ji|: 0.0166667
两种算法的平稳分布最大差: 4.16×10⁻¹⁵

从“晴”出发每一步在各状态的概率

晴
多云
雨

纵轴：概率

n 步转移概率矩阵nstep3 行 · 4 列

结果表 n 步转移概率矩阵
从	到晴	到多云	到雨
晴	0.39401	0.33333	0.27266
多云	0.38718	0.33334	0.27948
雨	0.38377	0.33333	0.2829

从起始状态出发每一步的分布path6 行 · 4 列

结果表从起始状态出发每一步的分布
步数	晴	多云	雨
0	1	0	0
1	0.6	0.3	0.1
2	0.47	0.33	0.2
3	0.421	0.333	0.246
4	0.4017	0.3333	0.265
5	0.39401	0.33333	0.27266

时间反转链的转移矩阵reversed3 行 · 4 列

结果表时间反转链的转移矩阵
从	到晴	到多云	到雨
晴	0.6	0.257143	0.142857
多云	0.35	0.4	0.25
雨	0.14	0.36	0.5

状态的分类和平稳分布states3 行 · 7 列

结果表状态的分类和平稳分布
状态	互通类（状态编号）	常返或瞬态	周期	平稳分布 π（解方程）	P^N 第 start 行的极限	平均回访时间 1/π
晴	1、2、3	常返	1	0.388889	0.388889	2.57143
多云	1、2、3	常返	1	0.333333	0.333333	3
雨	1、2、3	常返	1	0.277778	0.277778	3.6

开源库numpy2.4.6· BSD-3-Clause

02标准答案

5 道有答案的题，上线前都算对了

每一条都写明答案的出处和允许的误差。点“代入这道题”，用题里的参数当场再算一次。

上面这次运行的参数和这些题都不一样。点“代入这道题”，用题里的参数算一次。

第 1 条

平台算出的数对得上

Loss Data Analytics 第 2 版 15.4 节：马来西亚系统 λ = 0.1，平稳分布 0.0952、…、0.6065；闭式解 π_0 = 1 − e^{−0.1}，π_5 = e^{−0.5}

参数每年的期望出险次数 λ 0.1 次/年转移矩阵马来西亚无赔款优待 6 级（出险回到 0 级，泊松出险）起始状态 1关心的状态 j 1其余用默认值

项	标准答案	平台算出
平稳分布 π（解方程）表 states · 第 1 行	0.095162582	0.095162582
P^N 第 start 行的极限表 states · 第 1 行	0.095162582	0.095162582
平稳分布 π（解方程）表 states · 第 6 行	0.60653066	0.60653066

允许误差 1×10⁻¹⁰ + 1×10⁻⁹×|答案|

第 2 条
平台算出的数对得上
两状态链的闭式解（手算）：a = 0.3，b = 0.2，p_11^(n) = b/(a+b) + a/(a+b)(1−a−b)^n = 0.4 + 0.6×0.5⁵，π_1 = 0.4，回访时间 1/0.4
参数转移矩阵 4 个数步数 n 5 步转移矩阵自己输入转移矩阵起始状态 1关心的状态 j 1其余用默认值
项标准答案平台算出
5 步转移概率 p_{1,1}^(5)p_n 0.41875 0.41875
长期在“晴”的比例 π_1pi_target 0.4 0.4
“晴”的平均回访时间 1/π_1recurrence 2.5 2.5
允许误差 1×10⁻⁹ + 1×10⁻⁹×|答案|

项	标准答案	平台算出
5 步转移概率 p_{1,1}^(5)p_n	0.41875	0.41875
长期在“晴”的比例 π_1pi_target	0.4	0.4
“晴”的平均回访时间 1/π_1recurrence	2.5	2.5

第 3 条

平台算出的数对得上

手算（分数精确解）：πP = π 消元得 π = (7, 6, 5)/18，代回验算 0.6×7 + 0.3×6 + 0.2×5 = 7；p_13^(2) = 0.6×0.1 + 0.3×0.3 + 0.1×0.5 = 0.2

参数步数 n 2 步转移矩阵天气（晴、多云、雨，3 个状态，教学例子）起始状态 1关心的状态 j 3其余用默认值

项	标准答案	平台算出
5 步转移概率 p_{1,1}^(5)p_n	0.2	0.2
平稳分布 π（解方程）表 states · 第 1 行	0.38888889	0.38888889
平稳分布 π（解方程）表 states · 第 2 行	0.33333333	0.33333333
平稳分布 π（解方程）表 states · 第 3 行	0.27777778	0.27777778

允许误差 1×10⁻⁹ + 1×10⁻⁹×|答案|

第 4 条
平台算出的数对得上
手算：4 个状态的环上对称随机游走，奇数步不能回到起点（周期 2），π 均匀 = 1/4，对称矩阵满足细致平衡
参数步数 n 3 步转移矩阵环上的随机游走（4 个状态，周期 2）起始状态 1关心的状态 j 1其余用默认值
项标准答案平台算出
5 步转移概率 p_{1,1}^(5)p_n 0 0
“晴”的周期period 2 2
长期在“晴”的比例 π_1pi_target 0.25 0.25
时间可逆（细致平衡）reversible 是是
允许误差 1×10⁻⁹ + 1×10⁻⁹×|答案|

项	标准答案	平台算出
5 步转移概率 p_{1,1}^(5)p_n	0	0
“晴”的周期period	2	2
长期在“晴”的比例 π_1pi_target	0.25	0.25
时间可逆（细致平衡）reversible	是	是

第 5 条

平台算出的数对得上

手算：双随机矩阵 π = (1/3, 1/3, 1/3)；π_1p_12 = 0.8/3 ≠ π_2p_21 = 0.2/3，不可逆；反转链 Q_12 = π_2p_21/π_1 = 0.2；最大的 |π_ip_ij − π_jp_ji| = 0.6/3 = 0.2

参数转移矩阵单向偏转的 3 状态链（不可逆）起始状态 1关心的状态 j 2其余用默认值

项	标准答案	平台算出
细致平衡的最大偏差 max\|π_i p_ij − π_j p_ji\|balance_gap	0.2	0.2
长期在“晴”的比例 π_1pi_target	0.33333333	0.33333333
时间可逆（细致平衡）reversible	否	否
到多云表 reversed · 第 1 行	0.2	0.2

允许误差 1×10⁻⁹ + 1×10⁻⁹×|答案|

03代码

同一段代码，智能体也在用

这是上面这次运行的代码，参数和页面上的一样。智能体在“运行分析”时调用的是同一个函数。

参数：6 个，和上面这次运行相同

运行的代码Python 12 行162 毫秒

1import json2from wi_actuarial.methods.stochastic import markov_chain34result = markov_chain.markov_chain(5    preset="weather",6    matrix=[0.7, 0.3, 0.2, 0.8],7    lam=0.1,8    n=5,9    start=1,10    target=1,11)12print(json.dumps(result, ensure_ascii=False))

开源库numpy2.4.6· BSD-3-Clause

01当场运行

改一个参数，当场重算

正在用默认参数运行，计算量大的方法最多要 20 秒。

04出处和说明

公式从哪里来，有什么限制

列出参考的教材、论文和考试公式条目。方法的限制和实现上的说明也写在这里。

参考

IFoA CS2 核心读物马尔可夫链：Chapman-Kolmogorov 方程、平稳分布、周期和不可约
Ross：Introduction to Probability Models第 4 章 Markov Chains：4.2–4.4、4.8 时间可逆链
Loss Data Analytics 第 2 版（Frees 等，CC BY 4.0）15.4 节：奖惩系统的平稳分布

覆盖的考试公式

STP-003离散马尔可夫链：Chapman-Kolmogorov 与 n 步转移MAS-ICS2
STP-004平稳分布MAS-ICS2
STP-011时间可逆马尔可夫链MAS-I

公式条目按精算考试的公式表整理，编号和中文名是平台自己的。

这个方法算什么

Chapman-Kolmogorov 方程求 n 步转移矩阵；按可达关系分出互通类，判断常返、瞬态和周期；平稳分布用两种算法（解线性方程、矩阵乘方的极限）互相核对；给出平均回访时间 1/π_j 和细致平衡的检验、时间反转链。

说明和限制

状态从 1 开始编号。自己输入时按行填 k×k 个数（最多 12 个状态），每行加起来要是 1（误差 10⁻⁶ 以内，再按行归一）。
平稳分布的两种算法：(1) 解 πP = π、Σπ = 1；(2) 把 P 反复平方到 P^N 不再变化，取各行。周期链 P^N 不收敛，改用相邻 d 个乘方的平均（d 是周期）。
链可约时每个闭类各有一个平稳分布。表里的 π 用起始状态最终进入各闭类的概率加权，就是 P^N 第 start 行的极限；瞬态状态的 π 是 0。
保险里的无赔款优待（NCD）链见 bonus_malus.bms；多状态寿险模型见 multistate.markov_chain。吸收概率和到达时间见 stochastic.absorbing_chain。

数据

没有用数据：按输入的参数计算

开源库和版本

numpy2.4.6BSD-3-Clause数值计算

05同族的方法

随机过程，还有 12 个方法

同一个方法族里的其他方法。在智能体里，用一句话就能调用这些方法。

在智能体里这样问“已知一步的转移矩阵，n 步以后在各状态的概率是多少？哪些状态是常返的、周期是多少？长期在各状态的比例和平均回访时间是多少？这条链时间可逆吗？”