过度离散的次数模型:拟泊松、负二项、零膨胀和 hurdle
出险次数(或门诊次数)的方差比均值大很多、0 特别多时,泊松模型错在哪里?
- 对过的标准答案
- 3 条
- 覆盖的考试公式
- 1 个
- 参数
- 8 个
- 开源库
- 2 个
01当场运行
改一个参数,当场重算
正在用默认参数运行,计算量大的方法最多要 20 秒。
04出处和说明
公式从哪里来,有什么限制
列出参考的教材、论文和考试公式条目。方法的限制和实现上的说明也写在这里。
参考
- Cameron、Trivedi:Regression Analysis of Count Data第 3–4 章
- Frees:Regression Modeling with Actuarial and Financial Applications第 12 章 Count dependent variables
- Cameron、Trivedi (1990) Regression-based tests for overdispersion in the Poisson model
覆盖的考试公式
- REG-029过度离散:拟似然、负二项、零膨胀与 hurdle 模型SRMPAMAS-I
公式条目按精算考试的公式表整理,编号和中文名是平台自己的。
这个方法算什么
对同一份次数数据拟合泊松、拟泊松、负二项 NB2、零膨胀泊松(ZIP)和 hurdle 泊松,比较对数似然、AIC、BIC 和预测的 0 次的个数;做 Pearson 离散度、Cameron-Trivedi 检验和负二项对泊松的边界似然比检验;列出选定模型的系数和各次数的实际/预测频数。
说明和限制
- 拟泊松的系数和泊松相同,标准误乘 √φ̂。它没有似然,不参加 AIC 的比较。
- 负二项 NB2 对 ln α 做一维最大似然,给定 α 时用 IRLS 解 β。α → 0 时退化为泊松,所以似然比检验的原假设在边界上,p 值取 χ²₁ 尾概率的一半。
- ZIP 和 hurdle 的区别:ZIP 的 0 来自两处(结构性的 0 和泊松的 0),hurdle 的 0 只来自跨栏的那一部分。截距模型时两者的似然和预测的 0 的个数相同。
- Cameron-Trivedi 检验:((y − μ̂)² − y)/μ̂ 对 μ̂ 做不带截距的回归,系数的 t 检验 α = 0。
- RAND 数据取原数据每 10 行的 1 行(2,019 人),控制运行时间。
数据
看参数里选的数据:选平台的数据集时是真实数据或公开样例,填自己的数时只用输入的数。上面运行的输出里写明这一次用的是哪种。
05同族的方法
广义线性模型,还有 21 个方法
同一个方法族里的其他方法。在智能体里,用一句话就能调用这些方法。
在智能体里这样问“出险次数(或门诊次数)的方差比均值大很多、0 特别多时,泊松模型错在哪里?拟泊松、负二项、零膨胀泊松、hurdle 模型哪个更合适?”
- GLM 费率相对数每个风险因子让费率高多少、低多少?
- 方差分析:单因素、双因素和协方差分析(ANCOVA)几组的均值有没有差别?两个因子和它们的交互作用各自显著吗?扣掉一个连续变量的影响以后,组间还有没有差别?5条标准答案
- BLUP 和信度:随机效应模型给出 Bühlmann-Straub 的信度保费Bühlmann-Straub 的信度保费和线性混合模型的 BLUP 是什么关系?用同一份数据算出来一样吗?4条标准答案
- Box-Cox 变换:因变量取什么幂次最合适因变量右偏、方差随均值变大时,取对数、开方还是别的幂次,回归的残差才接近正态和同方差?2条标准答案
- GLM 加信度:费率因子用 GLM,水平很多的因子用信度区县、车型代码这种水平很多、很多水平数据很少的因子,怎么和 GLM 的费率因子一起定价?4条标准答案
- 指数分散族:θ、b(θ)、方差函数和典则连接泊松、伽马、Tweedie 这些分布怎么写成指数分散族?均值、方差和 b(θ) 是什么关系,各自的典则连接是什么?6条标准答案
- 广义线性模型的拟合和检验:偏差、似然比、Wald、AIC选定分布和连接函数以后,GLM 的系数和相对数是多少?模型拟合得好不好,每个因子该不该留,和只有截距的模型比强多少?4条标准答案
- 交互作用的发现:哪两个因子不是简单相乘乘法费率表假设各因子的效应互相独立。哪两个因子之间有交互作用(例如年轻人开高性能车特别危险),要不要加进模型?2条标准答案
- 迭代加权最小二乘(IRLS):广义线性模型怎么算出来广义线性模型的系数没有闭式解,计算机是怎么一步一步迭代出来的?每一步的工作变量和权重是什么,几步收敛?3条标准答案
- 定价模型的检验:提升图、双提升图、洛伦兹曲线和基尼系数新的定价模型比现在的好吗?它能不能把高风险和低风险分开,按预测分组以后实际和预测对得上吗?1条标准答案
- 线性回归:最小二乘、t 检验、F 检验和 ANOVA 表因变量和几个解释变量是什么线性关系?每个系数显著吗,模型解释了多少变化,新的点预测多少、区间多宽?5条标准答案
- 线性混合模型的协方差结构:对角、复合对称、AR(1)、随机斜率同一个风险几期的观测,按不同的模型假设,协方差矩阵和相关系数是什么样?4条标准答案
- 二分类回归:logistic、probit、cloglog 和 ROC 曲线一件事发生没发生(出险、退保、通过考试)和哪些因素有关?比值比是多少,模型分得开 0 和 1 吗,阈值取多少?4条标准答案
- 线性混合模型:随机截距、随机斜率和 BLUP数据按组(公司、车队、地区)分开,组内的观测相关时,怎么估计固定效应、方差成分和每组的随机效应?5条标准答案
- 多分类回归:多项 logit 和有序 logit(比例优势)结果有三类以上(例如理赔结案方式、风险等级、政党认同)时,解释变量怎么影响落在每一类的概率?类别有顺序时怎么用上顺序?3条标准答案
- GLM 费率表:相对数、基准水平、置信区间和实际/预期用 GLM 定好的费率表长什么样:基准水平是多少,每个因子水平的相对数和置信区间多少,和单因素分析差多少,按因子看实际和预期对得上吗?4条标准答案
- 回归诊断:杠杆值、Cook 距离、VIF、异方差和正态性检验线性回归的假设成立吗?哪些观测影响太大,变量之间是不是太共线,误差的方差相同吗、独立吗、正态吗?3条标准答案
- 正则化回归:岭回归、Lasso 和弹性网变量多、相互共线时,怎么把系数往 0 收缩来换更稳的预测?惩罚多大合适,Lasso 会留下哪些变量?5条标准答案
- 多项式和样条:连续变量的非线性效应一个连续变量(例如驾驶人年龄)和结果不是直线关系时,用多项式、回归样条还是平滑样条拟合,各用掉多少自由度?3条标准答案
- 变量选择:最优子集、逐步回归和交叉验证一堆候选的解释变量里,留哪几个?按 Cp、AIC、BIC、调整 R² 和交叉验证分别选出来的模型一样吗?3条标准答案
- 加权最小二乘:误差方差不相同时的回归误差的方差随解释变量变大(异方差)时,系数和标准误怎么算才对?2条标准答案