置换重要性:打乱一个变量,测试集的偏差变差多少

一个定价模型最依赖哪些变量?不同模型(GLM、GAM、GBM、神经网络)对同一个变量的依赖程度一样吗?

SOA PAIFoA SP8
对过的标准答案
2 条
覆盖的考试公式
0 个
参数
3 个
开源库
1 个

01当场运行

改一个参数,当场重算

正在用默认参数运行,计算量大的方法最多要 20 秒。

04出处和说明

公式从哪里来,有什么限制

列出参考的教材、论文和考试公式条目。方法的限制和实现上的说明也写在这里。

参考

  • Breiman (2001) Random forests, Machine Learning 45置换重要性
  • Fisher、Rudin、Dominici (2019) All models are wrong, but many are useful, JMLR 20模型依赖度(model reliance)
  • Wüthrich、Merz:Statistical Foundations of Actuarial Learning and its Applications(2023)第 9 章 可解释性

这个方法算什么

对车险演示数据的测试集,把一个变量的取值在保单之间随机打乱(其他变量不动),重新预测,看平均泊松偏差增加多少;重复几次取平均。增加得越多,模型越依赖这个变量。梯度提升树另外给出分裂增益的重要性。

说明和限制

  • 4 个模型都只用年龄、车型、地区,区县没有进模型,它的置换重要性正好是 0,可以作对照。
  • 变量之间相关时(例如年轻人更常开高性能车),打乱一个变量会造出现实里少见的组合,重要性可能被高估。
  • 置换重要性看的是测试集上的预测能力;分裂增益看的是训练时偏差的减少,两者的排序不一定相同。

数据

看参数里选的数据:选平台的数据集时是真实数据或公开样例,填自己的数时只用输入的数。上面运行的输出里写明这一次用的是哪种。

开源库和版本

  • numpy2.4.6BSD-3-Clause数值计算