K 近邻：分类和回归、贝叶斯分类器和贝叶斯错误率
用离它最近的 K 个观测来预测一个新观测，K 取多大好？最好的分类器（贝叶斯分类器）能做到多低的错误率？
SOA SRMSOA PA按输入的参数计算
- 对过的标准答案
- 4 条
- 覆盖的考试公式
- 1 个
- 参数
- 12 个
- 开源库
- 2 个
01当场运行
改一个参数，当场重算
正在用默认参数运行，计算量大的方法最多要 20 秒。
04出处和说明
公式从哪里来，有什么限制
列出参考的教材、论文和考试公式条目。方法的限制和实现上的说明也写在这里。
参考
- James、Witten、Hastie、Tibshirani：An Introduction to Statistical Learning（第 2 版）2.2 评估模型的精度：偏差-方差权衡、贝叶斯分类器、K 近邻
- James 等 ISLR（第 2 版）练习 2.4.7 的 6 个观测（默认的自己输入的数据）
覆盖的考试公式
- SML-003KNN 分类与回归、贝叶斯错误率SRMPA
公式条目按精算考试的公式表整理，编号和中文名是平台自己的。
这个方法算什么
自己输入训练点时，列出到要预测的点的距离、K 个邻居和预测（多数投票或平均）。模拟数据（两类各服从一个正态分布）时，训练 K 近邻、在大的测试集上算错误率，随 1/K 画出训练和测试错误率，和闭式的贝叶斯错误率 Φ(−Δ/2) 比较，用留一交叉验证选 K。
说明和限制
- 距离是欧氏距离，变量没有标准化（量纲不同时要先标准化）。分类时两类票数相同，取最近的那个邻居的类别。
- K = 1 时训练错误率是 0，测试错误率却不低；K 太大时决策边界太平滑。测试错误率随 1/K 先降后升（ISLR 图 2.17）。
- 贝叶斯错误率是不可约的误差：两类都服从方差为 1 的正态分布、均值相距 Δ、先验各一半时，贝叶斯分类器按到两个均值的距离分类，错误率 Φ(−Δ/2)。
- 模拟时测试集 5,000 个观测，K 的范围 1–100（不超过训练集的观测数）。
数据
模拟的数据或自己输入的训练点
05同族的方法
统计学习，还有 9 个方法
同一个方法族里的其他方法。在智能体里，用一句话就能调用这些方法。
在智能体里这样问“用离它最近的 K 个观测来预测一个新观测，K 取多大好？最好的分类器（贝叶斯分类器）能做到多低的错误率？”
- Bagging 和随机森林：袋外误差和变量重要性一棵树太不稳定。在自助样本上种很多棵树再取平均（Bagging），每次分裂只看随机的几个变量（随机森林），误差能降多少？不用测试集怎么估计误差？2条标准答案
- 偏差-方差分解：测试误差为什么随复杂度先降后升模型越灵活，训练误差越小，可测试误差为什么会先降后升？测试误差里多少是方差、多少是偏差、多少是去不掉的噪声？3条标准答案
- 分类的评估：混淆矩阵、精确率、召回率、F1、ROC 和 AUC一个分类模型（例如预测是否出险、是否欺诈）好不好：在某个阈值下各类错了多少，精确率和召回率多少，换阈值时怎么取舍，AUC 多少？3条标准答案
- 分类树：Gini 指数、交叉熵、误分率和剪枝怎么用一棵树做分类？三种不纯度（Gini、熵、误分率）分出的树有什么不同？剪到多大，测试集上的混淆矩阵怎样？2条标准答案
- 成本复杂度剪枝：最弱连接和子树序列一棵长满的树怎么一步步剪小？给定惩罚 α，代价 R(T) + α|T| 最小的是哪棵子树？2条标准答案
- 层次聚类：完全、单、平均和重心连接不预先定类的个数，怎么一步步把最相近的观测和类合并成一棵树（谱系图）？不同的连接方式结果差在哪？3条标准答案
- K 均值聚类：类内平方和和肘部图怎么把观测分成 K 组，让组内尽量相似？分几组合适？2条标准答案
- 主成分分析：载荷、得分和方差解释比例（PVE）几个相关的变量能不能用少数几个综合指标概括？每个主成分是哪些变量的组合，解释了多少方差，要留几个？3条标准答案
- 回归树：递归二分、交叉验证剪枝（平方误差和泊松偏差）怎么用一棵二叉树把数据按变量切成几块、每块给一个预测？树长多大合适？出险频率能不能用树来分组？3条标准答案