校准检验：保序再校准和 Murphy 分解

参考

• Gneiting、Resin (2023) Regression diagnostics meets forecast evaluation: conditional calibration, reliability diagrams, and coefficient of determination, Electronic Journal of Statistics 17
• Denuit、Charpentier、Trufin (2021) Autocalibration and Tweedie-dominance for insurance pricing with machine learning, IME 101
• Wüthrich、Merz：Statistical Foundations of Actuarial Learning and its Applications（2023）4.1 样本外损失，7.4.2 自校准

这个方法算什么

把实际值对预测做保序回归（PAV 算法），得到再校准的预测；预测本来就校准好时，保序回归几乎不改变它。平均得分 S 分解成 S = MCB − DSC + UNC：MCB（校准误差）= S − S(再校准)，DSC（区分能力）= S(常数) − S(再校准)，UNC（不确定性）= S(常数)。得分用平均泊松偏差或平方误差。给出可靠性图（按预测分组的实际 vs 预测）。

说明和限制

• 保序回归按预测排序后把实际值"拉平"成不减的阶梯，是不加任何参数形式的最好的单调再校准（Gneiting、Resin 2023）。
• 预测并列（相同）的保单拿同一个再校准值。泊松偏差时 y 是频率、按风险暴露加权，相当于按次数和期望次数算偏差。
• 把预测整体乘一个数，DSC（区分能力）不变，MCB（校准误差）变大：这说明基尼系数一类只看排序的指标看不出水平的错误。
• MCB 在测试集上总是 ≥ 0；样本小的时候保序回归会过拟合，MCB 偏大。

数据

看参数里选的数据：选平台的数据集时是真实数据或公开样例，填自己的数时只用输入的数。上面运行的输出里写明这一次用的是哪种。

开源库和版本

• numpy2.4.6BSD-3-Clause数值计算