线性混合模型:随机截距、随机斜率和 BLUP

数据按组(公司、车队、地区)分开,组内的观测相关时,怎么估计固定效应、方差成分和每组的随机效应?

SOA SRMCAS MAS-II
对过的标准答案
5 条
覆盖的考试公式
6 个
参数
8 个
开源库
3 个

01当场运行

改一个参数,当场重算

正在用默认参数运行,计算量大的方法最多要 20 秒。

04出处和说明

公式从哪里来,有什么限制

列出参考的教材、论文和考试公式条目。方法的限制和实现上的说明也写在这里。

参考

  • Frees:Longitudinal and Panel Data(2004)第 3 章 Models with random effects;第 4 章 Prediction and Bayesian inference
  • Pinheiro、Bates:Mixed-Effects Models in S and S-PLUS(2000)2.4 Hypothesis tests and confidence intervals
  • Self、Liang (1987) Asymptotic properties of maximum likelihood estimators and likelihood ratio tests under nonstandard conditions

覆盖的考试公式

  • LMM-001线性混合模型与隐含边际模型MAS-II
  • LMM-003ML 与 REML 对数似然MAS-II
  • LMM-004固定效应 GLS 估计(BLUE)MAS-II
  • LMM-005随机效应的 EBLUP 与收缩均值MAS-II
  • LMM-006组内相关系数(ICC)MAS-II
  • LMM-007LMM 的似然比、Wald 与 F 检验(含边界混合卡方)MAS-II

公式条目按精算考试的公式表整理,编号和中文名是平台自己的。

这个方法算什么

对分组数据拟合线性混合模型(随机截距或随机截距加斜率),用 ML 或 REML 估计方差成分,给出固定效应的 GLS 估计和标准误、组内相关系数(ICC)、每组随机效应的 BLUP 和收缩系数,并用似然比检验判断随机效应是否需要(方差参数在边界上,用混合卡方分布)。

说明和限制

  • β 和 σ² 有显式解,只对 Ψ = D/σ² 的 Cholesky 因子做数值优化。随机截距的方差可以是 0(在边界上)。
  • REML 的对数似然和 statsmodels 的 MixedLM 用同一个写法:ℓ_REML = ℓ_ML(β̂) + (p/2) ln 2π − ½ ln|Σ X'V⁻¹X|,所以和 ML 的值不能直接比。
  • 比较固定效应不同的两个模型用 ML。REML 的似然只能比较固定效应相同、随机效应不同的模型。
  • 检验方差 = 0 时,原假设在参数空间的边界上,似然比统计量不服从 χ²(k)。p 值取 0.5 χ²(k−1) + 0.5 χ²(k) 的混合分布;用普通的 χ²(k) 会偏保守。
  • 只有随机截距时,BLUP 等于组内平均残差乘收缩系数 Z_i = m_i/(m_i + σ²/σ_u²),m_i 是组内权重的合计。这就是 Bühlmann-Straub 的信度因子(见 glm.blup_credibility)。
  • 固定效应的标准误用 σ̂²(Σ X'H⁻¹X)⁻¹,没有考虑方差参数估计的误差;组少时偏小。

数据

看参数里选的数据:选平台的数据集时是真实数据或公开样例,填自己的数时只用输入的数。上面运行的输出里写明这一次用的是哪种。

开源库和版本

  • statsmodels0.15.0BSD-3-Clause费率厘定:广义线性模型
  • scipy1.17.1BSD分布拟合、统计检验
  • numpy2.4.6BSD-3-Clause数值计算

05同族的方法

广义线性模型,还有 21 个方法

同一个方法族里的其他方法。在智能体里,用一句话就能调用这些方法。

在智能体里这样问“数据按组(公司、车队、地区)分开,组内的观测相关时,怎么估计固定效应、方差成分和每组的随机效应?”