分类树：Gini 指数、交叉熵、误分率和剪枝

参考

• James、Witten、Hastie、Tibshirani：An Introduction to Statistical Learning（第 2 版）8.1 决策树的基础
• Breiman、Friedman、Olshen、Stone：Classification and Regression Trees（1984）第 3 章 最弱连接剪枝
• Hastie、Tibshirani、Friedman：The Elements of Statistical Learning（第 2 版）9.2 Tree-based methods

覆盖的考试公式

• SML-004回归树与分类树（RSS、Gini、交叉熵、偏差）SRMPAMAS-IICS2
• SML-002混淆矩阵指标（准确率、精确率、召回率、特异度、AUC）SRMPACS2

公式条目按精算考试的公式表整理，编号和中文名是平台自己的。

这个方法算什么

按选定的不纯度递归二分（节点的损失 = 观测数 × 不纯度），每片叶子预测多数类、给出各类的比例。按误分的个数做最弱连接剪枝，用 K 折交叉验证的误分率选子树。给出树、偏差 −2Σn ln p̂、混淆矩阵、准确率、精确率、召回率、特异度、F1 和 AUC。

说明和限制

• Gini 和熵对节点的纯度更敏感，适合长树；误分率适合剪枝和评估（ISLR 8.1.2）。剪枝的风险 R(t) 用节点作叶子时误分的个数。
• 混淆矩阵把 1 当作正类。anes96 的 1 是投给多尔，0 是投给克林顿；spector 的 1 是成绩提高。anes96 在测试集上算，其他数据在训练数据上算（样本内，偏乐观）。
• AUC 用叶子里正类的比例作分数，按秩算（相同的分数算一半）。树的分数只有叶子数那么多个不同的值，ROC 曲线是折线。
• 相同的增益按变量的顺序和分裂点从小到大取第一个。

数据

看参数里选的数据：选平台的数据集时是真实数据或公开样例，填自己的数时只用输入的数。上面运行的输出里写明这一次用的是哪种。

开源库和版本

• numpy2.4.6BSD-3-Clause数值计算