定价模型的比较：GLM、GAM、GBM、神经网络在同一个测试集上

同一份车险数据上，GLM、GAM、梯度提升树、神经网络、CANN 哪个最好？

SOA PACAS MAS-IIFoA SP8

对过的标准答案: 2 条
覆盖的考试公式: 0 个
参数: 4 个
开源库: 1 个

01当场运行

改一个参数，当场重算

打开页面时用默认参数算了一次。改一个参数，停一下，结果就会重算。

输入

参与比较的模型至少选 1 个

统一费率（只有截距）GLM（年龄分 5 段、车型、地区）GAM（s(年龄) + 车型 + 地区）梯度提升树（100 棵，深度 2）神经网络（20-15-10，嵌入层）CANN（GLM + 神经网络）

双提升图的模型 A

双提升图的模型 B

分几组

220

演示数据，不是真实数据

演示数据，不是真实数据：按设定的相对数模拟的 30,000 张车险保单（固定种子）。设定的真值写在结果里，用来检验模型能不能还原它们。训练集 24,000 张（80%），测试集 6,000 张（20%），和 glm.lift_gini 相同

输出

用时 1.9 秒 · 11/14 22:23 运行

偏差最小的模型: 神经网络（20-15-10，嵌入层）
它的测试集平均偏差: 0.421626
设定的真值的测试集平均偏差: 0.421403
双提升图：模型 A 的平均 |实际 ÷ 预测 − 1|: 0.0733409
双提升图：模型 B 的平均 |实际 ÷ 预测 − 1|: 0.0964623

测试集的平均泊松偏差

纵轴：平均偏差

按预测分组的实际 ÷ 预测deciles60 行 · 6 列

结果表按预测分组的实际 ÷ 预测
模型	组	风险暴露	实际频率	预测频率	实际 ÷ 预测
统一费率（只有截距）	1	521.859	0.0977275	0.0975689	1.00163
统一费率（只有截距）	2	521.526	0.115047	0.0975689	1.17914
统一费率（只有截距）	3	522.32	0.0938122	0.0975689	0.961497
统一费率（只有截距）	4	521.934	0.0938816	0.0975689	0.962208
统一费率（只有截距）	5	521.737	0.116917	0.0975689	1.1983
统一费率（只有截距）	6	521.851	0.105394	0.0975689	1.0802
统一费率（只有截距）	7	522.185	0.111072	0.0975689	1.13839
统一费率（只有截距）	8	521.292	0.080569	0.0975689	0.825765
统一费率（只有截距）	9	522.067	0.0919422	0.0975689	0.942331
统一费率（只有截距）	10	522.793	0.107117	0.0975689	1.09786
GLM（年龄分 5 段、车型、地区）	1	521.6	0.0517638	0.0460824	1.12329
GLM（年龄分 5 段、车型、地区）	2	522.068	0.0593792	0.0563431	1.05389
GLM（年龄分 5 段、车型、地区）	3	521.756	0.082414	0.0694814	1.18613
GLM（年龄分 5 段、车型、地区）	4	522.063	0.0957739	0.0753686	1.27074
GLM（年龄分 5 段、车型、地区）	5	522.129	0.0823551	0.0798756	1.03104
GLM（年龄分 5 段、车型、地区）	6	522.09	0.0919382	0.0904726	1.0162
GLM（年龄分 5 段、车型、地区）	7	521.651	0.1016	0.0992755	1.02342
GLM（年龄分 5 段、车型、地区）	8	521.397	0.11124	0.104046	1.06914
GLM（年龄分 5 段、车型、地区）	9	522.249	0.116803	0.126918	0.920302
GLM（年龄分 5 段、车型、地区）	10	522.561	0.22007	0.227817	0.965994
GAM（s(年龄) + 车型 + 地区）	1	521.093	0.0575713	0.0457909	1.25726
GAM（s(年龄) + 车型 + 地区）	2	522.725	0.0554785	0.0560784	0.989302
GAM（s(年龄) + 车型 + 地区）	3	521.938	0.0804693	0.0699858	1.14979
GAM（s(年龄) + 车型 + 地区）	4	521.431	0.0978078	0.073868	1.32409
GAM（s(年龄) + 车型 + 地区）	5	522.136	0.0785236	0.0792556	0.990765
GAM（s(年龄) + 车型 + 地区）	6	522.358	0.0976342	0.0920534	1.06063
GAM（s(年龄) + 车型 + 地区）	7	521.184	0.0959354	0.0975372	0.983578
GAM（s(年龄) + 车型 + 地区）	8	522.176	0.116819	0.102825	1.1361
GAM（s(年龄) + 车型 + 地区）	9	522.364	0.107205	0.128131	0.836684
GAM（s(年龄) + 车型 + 地区）	10	522.159	0.225985	0.229363	0.985273
梯度提升树（100 棵，深度 2）	1	521.582	0.0556001	0.0497091	1.11851
梯度提升树（100 棵，深度 2）	2	522.144	0.0555402	0.0602255	0.922205
梯度提升树（100 棵，深度 2）	3	521.781	0.105408	0.0744963	1.41494
梯度提升树（100 棵，深度 2）	4	522.047	0.0708748	0.0793655	0.893018
梯度提升树（100 棵，深度 2）	5	521.807	0.0881552	0.0824608	1.06906
梯度提升树（100 棵，深度 2）	6	522.261	0.0861638	0.0926826	0.929666
梯度提升树（100 棵，深度 2）	7	522.059	0.0957746	0.0980253	0.97704
梯度提升树（100 棵，深度 2）	8	521.679	0.126515	0.1006	1.2576
梯度提升树（100 棵，深度 2）	9	521.486	0.101633	0.11718	0.867324
梯度提升树（100 棵，深度 2）	10	522.718	0.227656	0.214049	1.06357
神经网络（20-15-10，嵌入层）	1	521.557	0.0632721	0.0450902	1.40323
神经网络（20-15-10，嵌入层）	2	522.075	0.0517167	0.0583191	0.886788
神经网络（20-15-10，嵌入层）	3	521.437	0.0901355	0.0717114	1.25692
神经网络（20-15-10，嵌入层）	4	521.94	0.0708894	0.0784619	0.903487
神经网络（20-15-10，嵌入层）	5	521.827	0.0862355	0.0843776	1.02202
神经网络（20-15-10，嵌入层）	6	522.669	0.0994894	0.0921767	1.07933
神经网络（20-15-10，嵌入层）	7	521.297	0.0997512	0.0992433	1.00512
神经网络（20-15-10，嵌入层）	8	521.889	0.118799	0.106838	1.11196
神经网络（20-15-10，嵌入层）	9	522.753	0.109038	0.121109	0.900331
神经网络（20-15-10，嵌入层）	10	522.12	0.224086	0.221928	1.00973
CANN（GLM + 神经网络）	1	521.729	0.0613345	0.0437697	1.4013
CANN（GLM + 神经网络）	2	521.686	0.0575059	0.0580632	0.990402
CANN（GLM + 神经网络）	3	521.543	0.0690259	0.0670159	1.02999
CANN（GLM + 神经网络）	4	521.909	0.0823898	0.075811	1.08678
CANN（GLM + 神经网络）	5	522.177	0.0938379	0.0852852	1.10028
CANN（GLM + 神经网络）	6	521.866	0.105391	0.0914396	1.15258
CANN（GLM + 神经网络）	7	521.82	0.0939021	0.0977442	0.960692
CANN（GLM + 神经网络）	8	522.83	0.101371	0.10833	0.935767
CANN（GLM + 神经网络）	9	521.789	0.13607	0.128363	1.06004
CANN（GLM + 神经网络）	10	522.215	0.212556	0.226736	0.937459

双提升图double10 行 · 5 列

结果表双提升图
组	A ÷ B（组内几何平均）	风险暴露	实际 ÷ A	实际 ÷ B
1	0.767501	521.481	0.990426	0.766768
2	0.923306	521.615	1.05986	0.986921
3	0.973825	522.47	1.09046	1.06941
4	0.990134	521.529	0.960454	0.958112
5	1.01465	522.64	1.14045	1.16485
6	1.04737	521.259	0.910639	0.960953
7	1.06827	522.117	1.01704	1.09341
8	1.08288	522.432	0.989056	1.07871
9	1.10872	521.301	1.08233	1.20859
10	1.17979	522.72	0.806151	0.977584

测试集上的指标metrics7 行 · 6 列

结果表测试集上的指标
模型	平均泊松偏差	基尼系数	实际 ÷ 预测	最高组 ÷ 最低组（实际频率）	分组的平均 \|实际 ÷ 预测 − 1\|
统一费率（只有截距）	0.438607	-0.0100133	1.03875	1.09608	0.100372
GLM（年龄分 5 段、车型、地区）	0.422347	0.213734	1.03856	4.25143	0.0887545
GAM（s(年龄) + 车型 + 地区）	0.422019	0.210378	1.03948	3.9253	0.114227
梯度提升树（100 棵，深度 2）	0.421658	0.207701	1.04595	4.09453	0.133443
神经网络（20-15-10，嵌入层）	0.421626	0.210271	1.03483	3.54163	0.11977
CANN（GLM + 神经网络）	0.422196	0.215393	1.03134	3.46552	0.100666
设定的真值（演示数据才有）	0.421403	0.219673	1.0735	5.35344	0.116163

开源库numpy2.4.6· BSD-3-Clause

02标准答案

2 道有答案的题，上线前都算对了

每一条都写明答案的出处和允许的误差。点“代入这道题”，用题里的参数当场再算一次。

上面这次运行的参数和这些题都不一样。点“代入这道题”，用题里的参数算一次。

第 1 条
平台算出的数对得上
statsmodels 0.15.0：只有截距的泊松 GLM 和 3 个因子的泊松 GLM（同一个训练集）在测试集上的平均偏差
参数参与比较的模型统一费率（只有截距）、GLM（年龄分 5 段、车型、地区）其余用默认值
项标准答案平台算出
平均泊松偏差表 metrics · 第 1 行 0.43860694 0.43860694
平均泊松偏差表 metrics · 第 2 行 0.42234743 0.42234743
允许误差 0.000001 + 1×10⁻⁹×|答案|
第 2 条
平台算出的数对得上
一致性：glm.lift_gini（target = frequency）的模型 A 在同一个测试集上的基尼系数 0.2137（另一份代码算出的）
参数双提升图的模型 A GLM（年龄分 5 段、车型、地区）双提升图的模型 B GLM（年龄分 5 段、车型、地区）参与比较的模型 GLM（年龄分 5 段、车型、地区）其余用默认值
项标准答案平台算出
基尼系数表 metrics · 第 1 行 0.21373447 0.21373447
允许误差 0.000001 + 1×10⁻⁸×|答案|

项	标准答案	平台算出
平均泊松偏差表 metrics · 第 1 行	0.43860694	0.43860694
平均泊松偏差表 metrics · 第 2 行	0.42234743	0.42234743

项	标准答案	平台算出
基尼系数表 metrics · 第 1 行	0.21373447	0.21373447

03代码

同一段代码，智能体也在用

这是上面这次运行的代码，参数和页面上的一样。智能体在“运行分析”时调用的是同一个函数。

参数：4 个，和上面这次运行相同

运行的代码Python 10 行1.9 秒

1import json2from wi_actuarial.methods.validation import compare34result = compare.model_comparison(5    models=["flat", "glm", "gam", "gbm", "nn", "cann"],6    model_a="gbm",7    model_b="glm",8    groups=10,9)10print(json.dumps(result, ensure_ascii=False))

开源库numpy2.4.6· BSD-3-Clause

01当场运行

改一个参数，当场重算

正在用默认参数运行，计算量大的方法最多要 20 秒。

04出处和说明

公式从哪里来，有什么限制

列出参考的教材、论文和考试公式条目。方法的限制和实现上的说明也写在这里。

参考

Noll、Salzmann、Wüthrich (2018) Case Study: French Motor Third-Party Liability Claims（SSRN 3164764）表 11 各模型的比较
Wüthrich、Merz：Statistical Foundations of Actuarial Learning and its Applications（2023）4.1 样本外损失，7.4.2 自校准
Goldburd、Khare、Tevet、Guller：Generalized Linear Models for Insurance Rating（CAS Monograph 5，第 2 版）7.2 提升图、双提升图、Gini

这个方法算什么

所有模型都在车险演示数据的同一个训练集上训练（各自方法的默认设置），在同一个测试集（6,000 张保单）上比较：平均泊松偏差（越小越好）、基尼系数（排序能力）、总的实际 ÷ 预测、按预测分 10 组的实际 ÷ 预测，以及两个模型的双提升图。演示数据知道设定的真值，所以还能看每个模型离"最好可能"有多远。

说明和限制

这里的结论只对这份演示数据成立：频率设定了年龄的曲线和"18–24 岁 × 高性能车"的交互作用，能学到它们的模型（GAM、GBM、神经网络）偏差更小。
偏差差别很小（千分之几）也有意义：测试集有 6,000 张保单，同质模型和真值之间也只差 0.017。
基尼系数只看排序，不看水平。一个模型所有的预测都乘 2，基尼系数不变，但偏差和实际 ÷ 预测会变差。所以要和偏差、校准一起看（Wüthrich 2023）。
双提升图按两个模型预测之比排序：比值高的组里，模型 A 认为风险比 B 高，看实际更接近哪个模型。

数据

看参数里选的数据：选平台的数据集时是真实数据或公开样例，填自己的数时只用输入的数。上面运行的输出里写明这一次用的是哪种。

开源库和版本

numpy2.4.6BSD-3-Clause数值计算

05同族的方法

模型评估与校准，还有 3 个方法

同一个方法族里的其他方法。在智能体里，用一句话就能调用这些方法。

在智能体里这样问“同一份车险数据上，GLM、GAM、梯度提升树、神经网络、CANN 哪个最好？偏差、基尼系数、分组的实际 ÷ 预测和双提升图分别说明什么？”