提升法（Boosting）：回归树的逐步拟合和收缩

提升法怎么把很多棵小树一点点加起来？学习率 λ、树的棵数 B、每棵树的分裂次数 d 怎么影响误差？

SOA SRMSOA PACAS MAS-II

对过的标准答案: 3 条
覆盖的考试公式: 1 个
参数: 8 个
开源库: 1 个

01当场运行

改一个参数，当场重算

打开页面时用默认参数算了一次。改一个参数，停一下，结果就会重算。

输入

数据

树的棵数 B

11,000

学习率（收缩）λ

0.0011

每棵树的分裂次数 d

交叉验证的折数

210

分折的随机种子

010 万

当前选项用不到的 2 个参数已隐藏，换了选项会显示出来。

公开样例

美国 50 个州和哥伦比亚特区 2009 年的犯罪率和人口特征（American Statistical Abstracts）。statsmodels 自带，公有领域

输出

用时 762 毫秒 · 11/14 22:21 运行

训练集的均方误差: 5,064.88
交叉验证的均方误差（B 棵树）: 5.516 万
交叉验证误差最小的 B: 41
它的交叉验证均方误差: 4.423 万
y 的方差（只用均值时的误差）: 4.242 万

训练误差和交叉验证误差

训练
5 折交叉验证

纵轴：均方误差

训练误差和交叉验证误差curve101 行 · 3 列

结果表训练误差和交叉验证误差
B	训练误差	交叉验证误差
1	193,518.48	196,431.25
4	148,618.33	154,734.51
7	115,114.59	123,384.67
10	90,066.06	100,562.4
13	71,268.17	83,390.21
16	57,122.08	70,968.41
19	46,456.27	62,149.62
22	38,377.23	55,412.54
25	32,230.51	51,066.32
28	27,543.53	47,539.24
31	23,947.51	46,397.32
34	21,169.07	45,269.9
37	19,015.76	44,337.93
40	17,331.28	44,446.92
43	16,002.92	44,536.28
46	14,929.54	44,382.55
49	14,053.22	44,846.4
52	13,330.93	45,447.58
55	12,728.49	45,366.76
58	12,217.67	45,644.36
61	11,786.01	45,958.12
64	11,414.9	46,546.85
67	11,093.61	46,829.71
70	10,815.26	47,369.17
73	10,571.01	47,928.33
76	10,351.04	48,031.24
79	10,150.48	48,682.37
82	9,964.42	48,841.45
85	9,789.55	48,896.53
88	9,626.16	49,235.88
91	9,468.72	49,534.78
94	9,319.52	49,759.01
97	9,178.32	50,044.41
100	9,042.44	50,317.9
103	8,913.83	50,405.2
106	8,789.33	50,727.31
109	8,670.32	50,879.52
112	8,555.85	50,854.67
115	8,446.77	51,316.79
118	8,341.91	51,385.17
121	8,241.16	51,419.55
124	8,144.65	51,582.6
127	8,051.68	51,524.58
130	7,962.86	51,636.5
133	7,875.98	51,987.87
136	7,791.61	52,052.62
139	7,710.12	52,011.12
142	7,630.83	52,411.71
145	7,553.2	52,507.96
148	7,478.3	52,949.6
151	7,405.29	52,899.76
154	7,333.8	52,972.74
157	7,263.03	52,992.88
160	7,195.36	52,959.59
163	7,128.93	53,172.48
166	7,063.67	53,249.81
169	7,000.12	53,407.25
172	6,937.23	53,410.55
175	6,876.75	53,482.07
178	6,817.19	53,620.16
181	6,758.9	53,715.48
184	6,702.27	53,850.2
187	6,646.3	53,802.76
190	6,591.18	53,833.72
193	6,537.45	53,724.7
196	6,484.34	54,001.54
199	6,431.76	54,010.62
202	6,381.18	53,931.6
205	6,330.59	53,982.88
208	6,280.72	54,177.08
211	6,232.32	54,275.04
214	6,184.39	54,119.52
217	6,137.86	54,193.11
220	6,091.13	54,108.8
223	6,045.51	54,251.51
226	6,000.15	54,173.57
229	5,956.1	54,270.23
232	5,912.1	54,295.23
235	5,868.98	54,335.7
238	5,826.6	54,337.88
241	5,784.47	54,395.2
244	5,742.8	54,360.54
247	5,701.86	54,435.95
250	5,661.71	54,509.69
253	5,621.72	54,483.43
256	5,582.36	54,684.49
259	5,543.98	54,565.35
262	5,505.96	54,615.26
265	5,468.82	54,702.88
268	5,431.4	54,611.34
271	5,395.28	54,824.42
274	5,359.12	54,775.07
277	5,323.22	54,731.71
280	5,288.2	54,907.78
283	5,253.26	54,960.49
286	5,219.44	54,900.68
289	5,185.37	54,902.18
292	5,151.96	55,037.2
295	5,119.17	54,964.62
298	5,086.52	54,972.06
300	5,064.88	55,156.38

第一棵树first3 行 · 6 列

结果表第一棵树
节点	深度	条件	观测数	拟合的残差	叶子
0	0	（根）	51	411.482
1	1	单亲家庭 % < 40.4	50	392.734	叶子
2	1	单亲家庭 % ≥ 40.4	1	1,348.9	叶子

开源库numpy2.4.6· BSD-3-Clause

02标准答案

3 道有答案的题，上线前都算对了

每一条都写明答案的出处和允许的误差。点“代入这道题”，用题里的参数当场再算一次。

上面这次运行的参数和这些题都不一样。点“代入这道题”，用题里的参数算一次。

第 1 条
平台算出的数对得上
手算一步：第一棵树桩拟合 y = 2、4、3、9、12、10，分裂点 x < 3.5，叶子 3 和 31/3；f̂ = 0.1 × 叶子，残差 1.7、3.7、2.7、239/30、329/30、269/30，均方误差 = (23.87 + 237723/900)/6 = 48.0011
参数每棵树的分裂次数 d 1数据自己输入 y 和 x（1 个变量）学习率（收缩）λ 0.1交叉验证的折数 2树的棵数 B 1其余用默认值
项标准答案平台算出
训练集的均方误差train_mse 48.001111 48.001111
拟合的残差表 first · 第 2 行 3 3
拟合的残差表 first · 第 3 行 10.333333 10.333333
允许误差 1×10⁻⁸
第 2 条
平台算出的数对得上
手算：λ = 1、B = 1 时提升法就是一棵 3 次分裂的树（最好优先）。先分 x < 3.5（残差平方和 262/3 → 20/3），候选的增益：左边 {2 | 4, 3} 降 1.5，右边 {9 | 12, 10} 降 8/3；先分右边，再比较左边（1.5）和 {12 | 10}（2），分 {12 | 10}。叶子 {2, 4, 3}、{9}、{12}、{10}，残差平方和 2，均方误差 2/6
参数每棵树的分裂次数 d 3数据自己输入 y 和 x（1 个变量）学习率（收缩）λ 1交叉验证的折数 2树的棵数 B 1其余用默认值
项标准答案平台算出
训练集的均方误差train_mse 0.33333333 0.33333333
允许误差 1×10⁻⁹
第 3 条
平台算出的数对得上
scikit-learn 1.9.1 GradientBoostingRegressor(n_estimators=300, learning_rate=0.05, max_leaf_nodes=3, max_depth=None, init="zero") 在同一份数据上的训练均方误差（最好优先、从 0 开始，和算法 8.2 相同）
参数每棵树的分裂次数 d 2其余用默认值
项标准答案平台算出
训练集的均方误差train_mse 1,059.4309 1,059.4309
允许误差 0.000001 + 1×10⁻⁸×|答案|

项	标准答案	平台算出
训练集的均方误差train_mse	48.001111	48.001111
拟合的残差表 first · 第 2 行	3	3
拟合的残差表 first · 第 3 行	10.333333	10.333333

项	标准答案	平台算出
训练集的均方误差train_mse	0.33333333	0.33333333

项	标准答案	平台算出
训练集的均方误差train_mse	1,059.4309	1,059.4309

03代码

同一段代码，智能体也在用

这是上面这次运行的代码，参数和页面上的一样。智能体在“运行分析”时调用的是同一个函数。

参数：8 个，和上面这次运行相同

运行的代码Python 14 行762 毫秒

1import json2from wi_actuarial.methods.boosting import boosting34result = boosting.least_squares_boosting(5    data="statecrime",6    y=[2, 4, 3, 9, 12, 10],7    x=[1, 2, 3, 4, 5, 6],8    n_trees=300,9    lam=0.05,10    d=1,11    n_folds=5,12    seed=1,13)14print(json.dumps(result, ensure_ascii=False))

开源库numpy2.4.6· BSD-3-Clause

01当场运行

改一个参数，当场重算

正在用默认参数运行，计算量大的方法最多要 20 秒。

04出处和说明

公式从哪里来，有什么限制

列出参考的教材、论文和考试公式条目。方法的限制和实现上的说明也写在这里。

参考

James、Witten、Hastie、Tibshirani：An Introduction to Statistical Learning（第 2 版）8.2.3 Boosting，算法 8.2
Hastie、Tibshirani、Friedman：The Elements of Statistical Learning（第 2 版）第 10 章 Boosting and additive trees

覆盖的考试公式

SML-007BoostingSRMPAMAS-II

公式条目按精算考试的公式表整理，编号和中文名是平台自己的。

这个方法算什么

按 ISLR 的算法 8.2：从 f̂ = 0、残差 r = y 开始，每一步用 d 次分裂的小树拟合当前的残差，把它乘上学习率 λ 加进模型，更新残差。给出训练误差和 K 折交叉验证误差随 B 的曲线、第一棵树、最后的预测。只有一个变量时画出预测的阶梯函数。

说明和限制

每棵树用最好优先的方式长到 d 次分裂（d + 1 片叶子）；d = 1 是树桩，模型是可加的（没有交互作用）。
学习率越小，需要的树越多，但通常泛化得更好。B 太大会过拟合，用交叉验证选 B（ISLR 图 8.11）。
按 ISLR 的写法从 f̂ = 0 开始（第一棵树拟合 y 本身）。很多软件从 ȳ 开始，B 大时结果几乎一样。

数据

看参数里选的数据：选平台的数据集时是真实数据或公开样例，填自己的数时只用输入的数。上面运行的输出里写明这一次用的是哪种。

开源库和版本

numpy2.4.6BSD-3-Clause数值计算

05同族的方法

提升树，还有 2 个方法

同一个方法族里的其他方法。在智能体里，用一句话就能调用这些方法。

在智能体里这样问“提升法怎么把很多棵小树一点点加起来？学习率 λ、树的棵数 B、每棵树的分裂次数 d 怎么影响误差？”