线性回归：最小二乘、t 检验、F 检验和 ANOVA 表

因变量和几个解释变量是什么线性关系？每个系数显著吗，模型解释了多少变化，新的点预测多少、区间多宽？

SOA SRMSOA PACAS MAS-IIFoA CS1

公式

\displaystyle b=(X^\top X)^{-1}X^\top y

\displaystyle \widehat{\mathrm{Var}}(b)=s^2(X^\top X)^{-1}

\displaystyle s^2=\frac{SSE}{n-p}

\displaystyle H=X(X^\top X)^{-1}X^\top

\displaystyle SST=SSR+SSE,\ R^2=1-\frac{SSE}{SST},\ R_a^2=1-\frac{SSE/(n-p)}{SST/(n-1)}

\displaystyle t_j=\frac{b_j}{\mathrm{se}(b_j)},\ F=\frac{SSR/(p-1)}{SSE/(n-p)},\ F_{\text{嵌套}}=\frac{(SSE_R-SSE_F)/q}{SSE_F/(n-p)}

\displaystyle \hat y_*\pm t_{n-p}\,s\sqrt{x_*^\top(X^\top X)^{-1}x_*}\ (\text{均值}),\ \hat y_*\pm t_{n-p}\,s\sqrt{1+x_*^\top(X^\top X)^{-1}x_*}\ (\text{预测})

\displaystyle r(y,x_j\mid\cdot)=\frac{t_j}{\sqrt{t_j^2+n-p}}

对过的标准答案: 5 条
覆盖的考试公式: 6 个
参数: 12 个
开源库: 2 个

01当场运行

改一个参数，当场重算

打开页面时用默认参数算了一次。改一个参数，停一下，结果就会重算。

输入

数据

解释变量至少选 1 个

空气流量冷却水温度酸浓度

置信水平

0.50.999

预测点

当前选项用不到的 8 个参数已隐藏，换了选项会显示出来。

公开样例

Brownlee (1965) 化工厂的氨损失（stack loss）数据，21 次观测。statsmodels 自带，公有领域

输出

用时 987 毫秒 · 缓存 · 11/14 21:02 运行

观测数 n: 21
参数个数 p（含截距）: 4
R²: 0.913577
调整 R²: 0.898326
残差标准差 s: 3.24336
s²（MSE）: 10.5194
F 统计量: 59.9022
F 检验的 p 值: 3.02×10⁻⁹
SSR（回归平方和）: 1,890.41
SSE（残差平方和）: 178.83
SST（总平方和）: 2,069.24
帽子矩阵的迹 tr(H)（= p）: 4
预测点的拟合值 ŷ*: 17.5238
均值的标准误: 0.70776
预测的标准误: 3.31969
均值置信区间下限: 16.0306
均值置信区间上限: 19.0171
预测区间下限: 10.5199
预测区间上限: 24.5277

实际值和拟合值（按拟合值排序）

实际值
拟合值（对角线）

纵轴：氨损失（stack loss）

方差分析（ANOVA）表anova3 行 · 6 列

结果表方差分析（ANOVA）表
来源	自由度	平方和	均方	F	p 值
回归	3	1,890.41	630.136	59.9022	3.02×10⁻⁹
残差	17	178.83	10.5194	—	—
合计	20	2,069.24	103.462	—	—

系数的估计和检验coef4 行 · 8 列

结果表系数的估计和检验
变量	系数 b	标准误	t	p 值	95% 下限	95% 上限	偏相关系数
截距	-39.9197	11.896	-3.35572	0.00375031	-65.018	-14.8213	—
空气流量	0.71564	0.134858	5.30661	0.00005799	0.431114	1.00017	0.789659
冷却水温度	1.29529	0.368024	3.51957	0.00263005	0.518823	2.07175	0.649246
酸浓度	-0.152123	0.156294	-0.97331	0.344046	-0.481874	0.177629	-0.229748

预测点的均值置信区间和预测区间prediction2 行 · 5 列

结果表预测点的均值置信区间和预测区间
预测的对象	估计	标准误	95% 下限	95% 上限
均值 E[y \| x*]	17.5238	0.70776	16.0306	19.0171
个体的新观测 y*	17.5238	3.31969	10.5199	24.5277

逐个加入变量的嵌套 F 检验sequential3 行 · 7 列

结果表逐个加入变量的嵌套 F 检验
加入的变量	自由度 q	平方和的减少	F	p 值	加入前的 SSE	加入后的 SSE
空气流量	1	1,750.12	166.371	3.31×10⁻¹⁰	2,069.24	319.116
冷却水温度	1	130.321	12.3886	0.00262904	319.116	188.795
酸浓度	1	9.96537	0.947332	0.344046	188.795	178.83

开源库scipy1.17.1· BSD numpy2.4.6· BSD-3-Clause

02标准答案

5 道有答案的题，上线前都算对了

每一条都写明答案的出处和允许的误差。点“代入这道题”，用题里的参数当场再算一次。

其中 2 条用的正是上面这次运行的参数，下面直接对照算出的数。

第 1 条

平台算出的数对得上

NIST 统计参考数据集 StRD 的 Longley 认证值（Longley 1967，6 个变量全部进入，认证到 15 位有效数字）：7 个系数

参数数据 Longley 宏观数据（16 年，6 个变量，严重共线）其余用默认值

项	标准答案	平台算出
系数 b表 coef · 第 1 行	-3,482,258.6	-3,482,258.6
系数 b表 coef · 第 2 行	15.061872	15.061872
系数 b表 coef · 第 3 行	-0.035819179	-0.035819179
系数 b表 coef · 第 4 行	-2.0202298	-2.0202298
系数 b表 coef · 第 5 行	-1.0332269	-1.0332269
系数 b表 coef · 第 6 行	-0.051104106	-0.051104106
系数 b表 coef · 第 7 行	1,829.1515	1,829.1515

说明：双精度下 QR 分解能得到 8 位以上的有效数字，这里按 10⁻⁷ 的相对误差比较

允许误差 0 + 1×10⁻⁷×|答案|

第 2 条

平台算出的数对得上

NIST 统计参考数据集 StRD 的 Longley 认证值（Longley 1967，6 个变量全部进入，认证到 15 位有效数字）：标准误、残差标准差、R²、ANOVA 的平方和和 F 统计量

参数数据 Longley 宏观数据（16 年，6 个变量，严重共线）其余用默认值

项	标准答案	平台算出
F 统计量f	330.28534	330.28534
R²r2	0.995479	0.995479
残差标准差 ss	304.85407	304.85407
SSE（残差平方和）sse	836,424.06	836,424.06
SSR（回归平方和）ssr	184,172,400	184,172,400
标准误表 coef · 第 1 行	890,420.38	890,420.38
标准误表 coef · 第 2 行	84.914926	84.914926
标准误表 coef · 第 3 行	0.033491008	0.033491008
标准误表 coef · 第 7 行	455.4785	455.4785

允许误差 0 + 1×10⁻⁷×|答案|

第 3 条

平台算出的数对得上

手算：x = 1…5，y = 2, 4, 5, 4, 5。S_xx = 10，S_xy = 6，b = 0.6，a = 2.2，SSE = 2.4，s² = 0.8，Var(b) = s²/S_xx = 0.08，SST = 6，R² = 0.6，F = 3.6/0.8 = 4.5；x* = 3 时均值的标准误 √(0.8/5) = 0.4，预测的标准误 √(0.8 × 1.2)，t_{3, 0.975} = 3.182446

参数数据自己输入的数据预测点第一个解释变量取指定的值，其他取均值解释变量 x1 5 个数预测点：第一个解释变量的值 3因变量 y 5 个数其余用默认值

项	标准答案	平台算出
均值置信区间下限ci_lower	2.7270215	2.7270215
F 统计量f	4.5	4.5
帽子矩阵的迹 tr(H)（= p）hat_trace	2	2
预测区间上限pi_upper	7.1181478	7.1181478
R²r2	0.6	0.6
s²（MSE）s2	0.8	0.8
均值的标准误se_mean	0.4	0.4
预测的标准误se_pred	0.9797959	0.9797959
预测点的拟合值 ŷ*y_hat	4	4
系数 b表 coef · 第 1 行	2.2	2.2
系数 b表 coef · 第 2 行	0.6	0.6
标准误表 coef · 第 2 行	0.28284271	0.28284271

允许误差 0.000001

第 4 条

这次算出的数对得上

Brownlee (1965) 氨损失数据的标准结果（R 的 stackloss 帮助文档 lm(stack.loss ~ .) 的输出，4 位小数）：系数 −39.9197、0.7156、1.2953、−0.1521，残差标准误 3.243，R² 0.9136，调整 R² 0.8983，F 59.9

参数数据 Brownlee 氨损失（21 次观测，3 个变量）其余用默认值

项	标准答案	这次算出
F 统计量f	59.9	59.902226
R²r2	0.9136	0.9135769
调整 R²r2_adj	0.8983	0.89832577
残差标准差 ss	3.243	3.2433639
系数 b表 coef · 第 1 行	-39.9197	-39.919674
系数 b表 coef · 第 2 行	0.7156	0.7156402
系数 b表 coef · 第 3 行	1.2953	1.2952861
系数 b表 coef · 第 4 行	-0.1521	-0.15212252

说明：公开的结果只有 4 位小数，按 6×10⁻⁴ 的相对误差比较

允许误差 0 + 0.0006×|答案|

上面这次运行用的就是这道题的参数

第 5 条

这次算出的数对得上

独立计算（numpy）：偏相关系数 = 去掉空气流量后 y 和空气流量各自对其他变量回归的残差的相关系数；嵌套 F = (SSE_R − SSE_F)/q ÷ SSE_F/(n − p)，分别拟合每个嵌套模型

参数数据 Brownlee 氨损失（21 次观测，3 个变量）其余用默认值

项	标准答案	这次算出
偏相关系数表 coef · 第 2 行	0.78965933	0.78965933
F表 sequential · 第 1 行	166.37074	166.37074
F表 sequential · 第 2 行	12.388601	12.388601
F表 sequential · 第 3 行	0.94733191	0.94733191

允许误差 1×10⁻⁷

上面这次运行用的就是这道题的参数

03代码

同一段代码，智能体也在用

这是上面这次运行的代码，参数和页面上的一样。智能体在“运行分析”时调用的是同一个函数。

参数：12 个，和上面这次运行相同

运行的代码Python 18 行987 毫秒 · 缓存

1import json2from wi_actuarial.methods.glm import ols34result = ols.linear_regression(5    data="stackloss",6    x_stackloss=["AIRFLOW", "WATERTEMP", "ACIDCONC"],7    x_longley=["GNPDEFL", "GNP", "UNEMP", "ARMED", "POP", "YEAR"],8    x_statecrime=["hs_grad", "poverty", "single", "urban"],9    y=[5.1, 6, 9.2, 9.1, 12.8, 17.5, 13.2, 18.4, 19.1, 19],10    n_x="1",11    x1=[1, 2, 3, 4, 5, 6, 7, 8, 9, 10],12    x2=[3, 1, 4, 1, 5, 9, 2, 6, 5, 3],13    x3=[2, 7, 1, 8, 2, 8, 1, 8, 2, 8],14    level=0.95,15    predict_at="mean",16    x_star=0,17)18print(json.dumps(result, ensure_ascii=False))

开源库scipy1.17.1· BSD numpy2.4.6· BSD-3-Clause

01当场运行

改一个参数，当场重算

正在用默认参数运行，计算量大的方法最多要 20 秒。

04出处和说明

公式从哪里来，有什么限制

列出参考的教材、论文和考试公式条目。方法的限制和实现上的说明也写在这里。

参考

Frees：Regression Modeling with Actuarial and Financial Applications第 2–4 章
James、Witten、Hastie、Tibshirani：An Introduction to Statistical Learning第 3 章 Linear Regression
NIST：Statistical Reference Datasets, Linear Least Squares RegressionLongley

覆盖的考试公式

REG-001简单线性回归估计SRMPAMAS-ICS1
REG-002多元线性回归（矩阵形式）SRMMAS-ICS1
REG-003平方和分解、ANOVA 表与 R²SRMMAS-ICS1
REG-004系数 t 检验与 F 检验（整体与嵌套模型）SRMMAS-ICS1
REG-005均值响应置信区间与个体预测区间SRMMAS-ICS1
REG-012偏相关系数（由 t 统计量）SRM

公式条目按精算考试的公式表整理，编号和中文名是平台自己的。

这个方法算什么

简单和多元线性回归：用正规方程（QR 分解）算系数和标准误、t 检验、整体 F 检验、ANOVA 表、R² 和调整 R²、偏相关系数、逐个加入变量的嵌套 F 检验，以及均值的置信区间和个体的预测区间。可以用公开数据集或自己输入的数据。

说明和限制

系数用 QR 分解解正规方程 X'Xb = X'y。数学上和 (X'X)⁻¹X'y 相同。Longley 数据严重共线（条件数约 5×10⁹），直接求逆会丢掉一半的有效数字。
p 是参数的个数（含截距）。SRM 的写法用 p 表示解释变量的个数，那里的 n − p − 1 就是这里的 n − p。
逐个加入变量的嵌套 F 检验（第一类平方和）和变量的顺序有关。最后一个变量的 F 等于它的 t²。
预测区间假设误差独立、同方差、正态。检查这些假设用 glm.regression_diagnostics。

数据

看参数里选的数据：选平台的数据集时是真实数据或公开样例，填自己的数时只用输入的数。上面运行的输出里写明这一次用的是哪种。

开源库和版本

scipy1.17.1BSD分布拟合、统计检验
numpy2.4.6BSD-3-Clause数值计算

05同族的方法

广义线性模型，还有 21 个方法

同一个方法族里的其他方法。在智能体里，用一句话就能调用这些方法。

在智能体里这样问“因变量和几个解释变量是什么线性关系？每个系数显著吗，模型解释了多少变化，新的点预测多少、区间多宽？”