二分类回归:logistic、probit、cloglog 和 ROC 曲线

一件事发生没发生(出险、退保、通过考试)和哪些因素有关?比值比是多少,模型分得开 0 和 1 吗,阈值取多少?

SOA SRMSOA PACAS MAS-IIFoA CS1
对过的标准答案
4 条
覆盖的考试公式
2 个
参数
9 个
开源库
2 个

01当场运行

改一个参数,当场重算

正在用默认参数运行,计算量大的方法最多要 20 秒。

04出处和说明

公式从哪里来,有什么限制

列出参考的教材、论文和考试公式条目。方法的限制和实现上的说明也写在这里。

参考

  • Frees:Regression Modeling with Actuarial and Financial Applications第 11 章 Categorical dependent variables
  • Greene:Econometric Analysis二元选择模型,Spector-Mazzeo 的例子
  • James、Witten、Hastie、Tibshirani:An Introduction to Statistical Learning4.3 Logistic Regression;4.4.2 ROC

覆盖的考试公式

  • REG-022二项响应的连接函数(logit/probit/cloglog)与比值比SRMPAMAS-ICS1
  • REG-026GLM 似然比检验、伪 R² 与 Wald 检验SRMMAS-I

公式条目按精算考试的公式表整理,编号和中文名是平台自己的。

这个方法算什么

用 IRLS 拟合二项分布的广义线性模型,连接函数可选 logit、probit、cloglog(车险数据用 ln 风险暴露作偏移量,cloglog 正好对应泊松出险)。给出系数、比值比和置信区间、似然比检验、伪 R²、AIC,在选定的阈值上算混淆矩阵、灵敏度、特异度、精确率、F1,画 ROC 曲线并算 AUC。

说明和限制

  • 比值比 e^β 只对 logit 连接有这个解释。probit 和 cloglog 的系数没有比值比的含义,表里不列。
  • 车险数据:y = 一年内是否出险,ln(风险暴露) 作偏移量。cloglog 连接时 P(出险) = 1 − exp(−e·λ),λ = exp(xβ),系数和泊松频率模型的含义相同。
  • 混淆矩阵、ROC 和 AUC 都在拟合用的数据上算(样本内),会偏乐观。模型比较用 glm.lift_gini 的测试集。
  • AUC 用秩算(Mann-Whitney),相同的分数算一半。

数据

看参数里选的数据:选平台的数据集时是真实数据或公开样例,填自己的数时只用输入的数。上面运行的输出里写明这一次用的是哪种。

开源库和版本

  • scipy1.17.1BSD分布拟合、统计检验
  • numpy2.4.6BSD-3-Clause数值计算

05同族的方法

广义线性模型,还有 21 个方法

同一个方法族里的其他方法。在智能体里,用一句话就能调用这些方法。

在智能体里这样问“一件事发生没发生(出险、退保、通过考试)和哪些因素有关?比值比是多少,模型分得开 0 和 1 吗,阈值取多少?”