回归诊断：杠杆值、Cook 距离、VIF、异方差和正态性检验

线性回归的假设成立吗？哪些观测影响太大，变量之间是不是太共线，误差的方差相同吗、独立吗、正态吗？

SOA SRMSOA PACAS MAS-I

公式

\displaystyle h_{ii}=x_i^\top(X^\top X)^{-1}x_i,\ \mathrm{Var}(e_i)=\sigma^2(1-h_{ii}),\ r_i=\frac{e_i}{s\sqrt{1-h_{ii}}},\ t_i=\frac{e_i}{s_{(i)}\sqrt{1-h_{ii}}},\ s_{(i)}^2=\frac{SSE-e_i^2/(1-h_{ii})}{n-p-1}

\displaystyle D_i=\frac{r_i^2}{p}\frac{h_{ii}}{1-h_{ii}},\ \mathrm{DFFITS}_i=t_i\sqrt{\frac{h_{ii}}{1-h_{ii}}}

\displaystyle \mathrm{VIF}_j=\frac{1}{1-R_j^2},\ \mathrm{se}(b_j)=\frac{s}{s_{x_j}}\sqrt{\frac{\mathrm{VIF}_j}{n-1}}

\displaystyle \mathrm{BP}=\tfrac12 SSR(e^{*2}\sim z)\sim\chi^2_q,\ e_i^{*2}=\frac{e_i^2}{SSE/n}

\displaystyle DW=\frac{\sum_{i\ge2}(e_i-e_{i-1})^2}{\sum e_i^2}

对过的标准答案: 3 条
覆盖的考试公式: 4 个
参数: 10 个
开源库: 2 个

01当场运行

改一个参数，当场重算

打开页面时用默认参数算了一次。改一个参数，停一下，结果就会重算。

输入

数据

解释变量至少选 1 个

空气流量冷却水温度酸浓度

Cook 距离的警戒线

乘以 4/n

0.55

当前选项用不到的 7 个参数已隐藏，换了选项会显示出来。

公开样例

Brownlee (1965) 化工厂的氨损失（stack loss）数据，21 次观测。statsmodels 自带，公有领域

输出

用时 1.0 秒 · 11/14 22:24 运行

观测数 n: 21
参数个数 p: 4
最大杠杆值: 0.412123
杠杆值的警戒线 2p/n: 0.380952
最大 Cook 距离: 0.692
被标出的观测数: 3
最大 VIF: 2.90648
Breusch-Pagan 统计量: 5.15299
Breusch-Pagan 的 p 值: 0.160931
Koenker 统计量 nR²: 4.89037
White 统计量: 15.0284
Durbin-Watson: 1.48513
Jarque-Bera 的 p 值: 0.932282

学生化残差

纵轴：t

逐个观测的诊断量obs21 行 · 10 列

结果表逐个观测的诊断量
观测	y	拟合值	残差 e	杠杆值 h	标准化残差 r	学生化残差 t	Cook 距离	DFFITS	标出
1	42	38.7654	3.23464	0.301555	1.19334	1.20947	0.15371	0.794721
2	37	38.9175	-1.91749	0.317841	-0.715803	-0.705139	0.0596831	-0.481323
3	37	32.4445	4.55553	0.174615	1.54602	1.6179	0.126414	0.744158
4	28	22.3022	5.69777	0.128505	1.88182	2.0518	0.130542	0.787884	大残差
5	18	19.7117	-1.71165	0.0522203	-0.542084	-0.530504	0.00404767	-0.124524
6	18	21.0069	-3.00694	0.0774874	-0.965257	-0.963204	0.0195652	-0.279156
7	19	21.3895	-2.38949	0.219237	-0.833777	-0.825947	0.0488016	-0.437672
8	20	21.3895	-1.38949	0.219237	-0.484842	-0.473652	0.0165019	-0.25099
9	15	18.1444	-3.14438	0.140184	-1.04553	-1.04859	0.0445558	-0.423399
10	14	12.7328	1.26719	0.200044	0.436832	0.426188	0.0119297	0.213123
11	14	11.3637	2.6363	0.155033	0.884258	0.878292	0.035866	0.376211
12	13	10.2205	2.77946	0.217176	0.968574	0.966707	0.0650658	0.509177
13	11	12.4286	-1.42856	0.157531	-0.479873	-0.468731	0.0107648	-0.202689
14	12	12.0505	-0.0504993	0.205823	-0.0174715	-0.01695	0.00001978	-0.00862896
15	8	5.63858	2.36142	0.190465	0.809207	0.800616	0.0385157	0.388342
16	7	6.09495	0.905051	0.131074	0.299355	0.291185	0.00337944	0.113093
17	8	9.51995	-1.51995	0.412123	-0.61121	-0.599586	0.0654731	-0.502021	高杠杆
18	8	8.45509	-0.455093	0.160593	-0.15315	-0.14868	0.00112184	-0.0650324
19	9	9.59826	-0.598257	0.174537	-0.203022	-0.197199	0.00217879	-0.0906776
20	15	13.5879	1.41215	0.0801859	0.453977	0.443117	0.00449165	0.130833
21	15	22.2377	-7.23771	0.284533	-2.63822	-3.33049	0.692	-2.1003	大残差、强影响

正态 Q-Q 图的点qq21 行 · 3 列

结果表正态 Q-Q 图的点
理论分位数（t 分布）	学生化残差（排序）	观测
-2.03449	-3.33049	21
-1.50057	-1.04859	9
-1.20145	-0.963204	6
-0.981038	-0.825947	7
-0.800239	-0.705139	2
-0.642874	-0.599586	17
-0.500512	-0.530504	5
-0.368067	-0.473652	8
-0.242118	-0.468731	13
-0.120121	-0.197199	19
0	-0.14868	18
0.120121	-0.01695	14
0.242118	0.291185	16
0.368067	0.426188	10
0.500512	0.443117	20
0.642874	0.800616	15
0.800239	0.878292	11
0.981038	0.966707	12
1.20145	1.20947	1
1.50057	1.6179	3
2.03449	2.0518	4

检验tests6 行 · 5 列

结果表检验
检验	统计量	自由度	p 值	原假设
Breusch-Pagan（原始，LM = SSR/2）	5.15299	3	0.160931	误差同方差
Breusch-Pagan（Koenker，nR²）	4.89037	3	0.180003	误差同方差
White（含平方项和交叉项）	15.0284	9	0.0901578	误差同方差
Durbin-Watson	1.48513	—	—	没有一阶自相关（DW ≈ 2）
Jarque-Bera	0.140241	2	0.932282	误差正态
Shapiro-Wilk	0.973986	—	0.818646	误差正态

方差膨胀因子 VIFvif3 行 · 5 列

结果表方差膨胀因子 VIF
变量	R²_j（对其他变量回归）	VIF	se：公式 s/s_x·√(VIF/(n−1))	se：直接算
空气流量	0.655942	2.90648	0.134858	0.134858
冷却水温度	0.611293	2.57263	0.368024	0.368024
酸浓度	0.250143	1.33359	0.156294	0.156294

开源库scipy1.17.1· BSD numpy2.4.6· BSD-3-Clause

02标准答案

3 道有答案的题，上线前都算对了

每一条都写明答案的出处和允许的误差。点“代入这道题”，用题里的参数当场再算一次。

其中 1 条用的正是上面这次运行的参数，下面直接对照算出的数。

第 1 条

平台算出的数对得上

手算：x = 1…5，y = 2, 4, 5, 4, 5。h_11 = 1/5 + (1 − 3)²/10 = 0.6，e_1 = −0.8，s² = 0.8，r_1 = −0.8/√(0.8 × 0.4) = −1.4142；s_(1)² = (2.4 − 0.64/0.4)/2 = 0.4，t_1 = −0.8/√(0.4 × 0.4) = −2；D_1 = 2/2 × 0.6/0.4 = 1.5；DFFITS = −2√1.5

参数数据自己输入的数据解释变量 x1 5 个数因变量 y 5 个数其余用默认值

项	标准答案	平台算出
Cook 距离表 obs · 第 1 行	1.5	1.5
DFFITS表 obs · 第 1 行	-2.4494897	-2.4494897
杠杆值 h表 obs · 第 1 行	0.6	0.6
标准化残差 r表 obs · 第 1 行	-1.4142136	-1.4142136
学生化残差 t表 obs · 第 1 行	-2	-2
杠杆值 h表 obs · 第 3 行	0.2	0.2

允许误差 1×10⁻⁸

第 2 条

这次算出的数对得上

statsmodels 独立计算：het_breuschpagan（robust=False 是原始 BP，True 是 Koenker），durbin_watson，OLSInfluence 的 Cook 距离和杠杆值

参数数据 Brownlee 氨损失（21 次观测，3 个变量）其余用默认值

项	标准答案	这次算出
Breusch-Pagan 统计量bp	5.1529931	5.1529931
Koenker 统计量 nR²bp_koenker	4.8903677	4.8903677
Breusch-Pagan 的 p 值bp_p	0.16093097	0.16093097
Durbin-Watsondw	1.485131	1.485131
杠杆值 h表 obs · 第 17 行	0.4121235	0.4121235
Cook 距离表 obs · 第 21 行	0.69199992	0.69199992

允许误差 1×10⁻⁸

上面这次运行用的就是这道题的参数

第 3 条

平台算出的数对得上

statsmodels variance_inflation_factor 独立计算（设计矩阵含截距列）：Longley 数据 6 个变量的 VIF

参数数据 Longley 宏观数据（16 年，6 个变量，严重共线）其余用默认值

项	标准答案	平台算出
VIF表 vif · 第 1 行	135.53244	135.53244
VIF表 vif · 第 2 行	1,788.5135	1,788.5135
VIF表 vif · 第 3 行	33.618891	33.618891
VIF表 vif · 第 4 行	3.5889302	3.5889302
VIF表 vif · 第 5 行	399.15102	399.15102
VIF表 vif · 第 6 行	758.9806	758.9806

允许误差 0 + 0.000001×|答案|

03代码

同一段代码，智能体也在用

这是上面这次运行的代码，参数和页面上的一样。智能体在“运行分析”时调用的是同一个函数。

参数：10 个，和上面这次运行相同

运行的代码Python 16 行1.0 秒

1import json2from wi_actuarial.methods.glm import diagnostics34result = diagnostics.regression_diagnostics(5    data="stackloss",6    x_stackloss=["AIRFLOW", "WATERTEMP", "ACIDCONC"],7    x_longley=["GNPDEFL", "GNP", "UNEMP", "ARMED", "POP", "YEAR"],8    x_statecrime=["hs_grad", "poverty", "single", "urban"],9    y=[5.1, 6, 9.2, 9.1, 12.8, 17.5, 13.2, 18.4, 19.1, 19],10    n_x="1",11    x1=[1, 2, 3, 4, 5, 6, 7, 8, 9, 10],12    x2=[3, 1, 4, 1, 5, 9, 2, 6, 5, 3],13    x3=[2, 7, 1, 8, 2, 8, 1, 8, 2, 8],14    cook_cut=1,15)16print(json.dumps(result, ensure_ascii=False))

开源库scipy1.17.1· BSD numpy2.4.6· BSD-3-Clause

01当场运行

改一个参数，当场重算

正在用默认参数运行，计算量大的方法最多要 20 秒。

04出处和说明

公式从哪里来，有什么限制

列出参考的教材、论文和考试公式条目。方法的限制和实现上的说明也写在这里。

参考

Frees：Regression Modeling with Actuarial and Financial Applications第 5 章 Variable selection and diagnostics
James、Witten、Hastie、Tibshirani：An Introduction to Statistical Learning3.3.3 Potential Problems
Breusch、Pagan (1979) A simple test for heteroscedasticity and random coefficient variation

覆盖的考试公式

REG-009残差、标准化与学生化残差、杠杆值SRMMAS-I
REG-010Cook 距离与 DFITSSRMMAS-I
REG-011方差膨胀因子与系数标准误SRMMAS-I
REG-013Breusch-Pagan 异方差检验与加权最小二乘SRM

公式条目按精算考试的公式表整理，编号和中文名是平台自己的。

这个方法算什么

对线性回归逐个观测算杠杆值 h_ii、标准化残差、学生化残差、Cook 距离、DFFITS 并标出可疑的点；算每个变量的方差膨胀因子 VIF；做 Breusch-Pagan、White 异方差检验，Durbin-Watson 自相关检验，Jarque-Bera 和 Shapiro-Wilk 正态性检验；给出 Q-Q 图的数据。

说明和限制

学生化残差 t_i 用去掉第 i 个观测后的 s_(i)（外部学生化），服从 t_{n−p−1}。DFFITS 也用 t_i（Belsley 等的标准写法）；有的公式表写成用 r_i。
标出的规则：h_ii > 2p/n（高杠杆）、|t_i| > 2（大残差）、Cook 距离 > 警戒线 × 4/n（强影响）。这些是经验规则，不是检验。
Breusch-Pagan 用原始的 LM = SSR/2（假设误差正态），解释方差的变量 z 取模型的全部解释变量；另给 Koenker 的 nR² 版本，误差不正态时更稳。
Durbin-Watson 只在观测有时间顺序时有意义。接近 2 表示没有一阶自相关。

数据

看参数里选的数据：选平台的数据集时是真实数据或公开样例，填自己的数时只用输入的数。上面运行的输出里写明这一次用的是哪种。

开源库和版本

scipy1.17.1BSD分布拟合、统计检验
numpy2.4.6BSD-3-Clause数值计算

05同族的方法

广义线性模型，还有 21 个方法

同一个方法族里的其他方法。在智能体里，用一句话就能调用这些方法。

在智能体里这样问“线性回归的假设成立吗？哪些观测影响太大，变量之间是不是太共线，误差的方差相同吗、独立吗、正态吗？”