部分依赖图(PDP)和个体条件期望(ICE)
模型预测的出险频率怎么随一个变量变化(其他变量按组合的分布平均掉)?
- 对过的标准答案
- 2 条
- 覆盖的考试公式
- 0 个
- 参数
- 4 个
- 开源库
- 1 个
01当场运行
改一个参数,当场重算
正在用默认参数运行,计算量大的方法最多要 20 秒。
04出处和说明
公式从哪里来,有什么限制
列出参考的教材、论文和考试公式条目。方法的限制和实现上的说明也写在这里。
参考
- Friedman (2001) Greedy function approximation: a gradient boosting machine, Annals of Statistics 298.2 部分依赖图
- Goldstein、Kapelner、Bleich、Pitkin (2015) Peeking inside the black box: visualizing statistical learning with plots of individual conditional expectation, JCGS 24
- Wüthrich、Merz:Statistical Foundations of Actuarial Learning and its Applications(2023)第 9 章 可解释性
这个方法算什么
把测试集每张保单的一个变量都改成同一个值 v,其余不动,预测的频率取平均就是部分依赖 PDP(v);每张保单单独一条就是 ICE 曲线。GLM 是乘法模型,ICE 曲线在对数尺度上平行;GBM、神经网络有交互作用时 ICE 曲线的形状会不同。
说明和限制
- PDP 是对测试集里其他变量的实际分布取平均,不是"其他变量取平均值"。变量之间相关时,PDP 会用到现实里少见的组合。
- "相对基准"一列 = PDP(v) ÷ PDP(基准水平)。GLM 是乘法模型,这个比值正好是 GLM 的相对数 exp(β)。
- ICE 的保单按固定种子随机选。ICE 曲线的形状差别大,说明这个变量和其他变量有交互作用(演示数据设定了 18–24 岁 × 高性能车的交互)。
数据
看参数里选的数据:选平台的数据集时是真实数据或公开样例,填自己的数时只用输入的数。上面运行的输出里写明这一次用的是哪种。
开源库和版本
- numpy2.4.6BSD-3-Clause数值计算
05同族的方法
可解释性,还有 2 个方法
同一个方法族里的其他方法。在智能体里,用一句话就能调用这些方法。
在智能体里这样问“模型预测的出险频率怎么随一个变量变化(其他变量按组合的分布平均掉)?每张保单的曲线形状一样吗(有没有交互作用)?”