主成分分析:载荷、得分和方差解释比例(PVE)
几个相关的变量能不能用少数几个综合指标概括?每个主成分是哪些变量的组合,解释了多少方差,要留几个?
- 对过的标准答案
- 3 条
- 覆盖的考试公式
- 1 个
- 参数
- 6 个
- 开源库
- 1 个
01当场运行
改一个参数,当场重算
正在用默认参数运行,计算量大的方法最多要 20 秒。
04出处和说明
公式从哪里来,有什么限制
列出参考的教材、论文和考试公式条目。方法的限制和实现上的说明也写在这里。
参考
- James、Witten、Hastie、Tibshirani:An Introduction to Statistical Learning(第 2 版)第 12 章 无监督学习
- Jolliffe:Principal Component Analysis(第 2 版)第 1–3 章
覆盖的考试公式
- SML-008主成分分析与方差解释比例(PVE)SRMPAMAS-IMAS-II
公式条目按精算考试的公式表整理,编号和中文名是平台自己的。
这个方法算什么
对(标准化的)数据做奇异值分解,给出每个主成分的载荷 φ、得分 z、方差解释比例 PVE 和累计 PVE,画碎石图。载荷的符号取"载荷之和为正"。
说明和限制
- 变量的量纲不同(例如 USArrests 的袭击数比谋杀数大一个数量级)时要标准化,否则第一主成分几乎只是方差最大的那个变量(ISLR 图 12.4)。
- 载荷向量的符号不唯一:φ 和 −φ 是同一个主成分。这里把每个主成分的载荷之和取为正。
- 得分表只列前 20 个观测。
数据
看参数里选的数据:选平台的数据集时是真实数据或公开样例,填自己的数时只用输入的数。上面运行的输出里写明这一次用的是哪种。
开源库和版本
- numpy2.4.6BSD-3-Clause数值计算
05同族的方法
统计学习,还有 9 个方法
同一个方法族里的其他方法。在智能体里,用一句话就能调用这些方法。
在智能体里这样问“几个相关的变量能不能用少数几个综合指标概括?每个主成分是哪些变量的组合,解释了多少方差,要留几个?”
- Bagging 和随机森林:袋外误差和变量重要性一棵树太不稳定。在自助样本上种很多棵树再取平均(Bagging),每次分裂只看随机的几个变量(随机森林),误差能降多少?不用测试集怎么估计误差?2条标准答案
- 偏差-方差分解:测试误差为什么随复杂度先降后升模型越灵活,训练误差越小,可测试误差为什么会先降后升?测试误差里多少是方差、多少是偏差、多少是去不掉的噪声?3条标准答案
- 分类的评估:混淆矩阵、精确率、召回率、F1、ROC 和 AUC一个分类模型(例如预测是否出险、是否欺诈)好不好:在某个阈值下各类错了多少,精确率和召回率多少,换阈值时怎么取舍,AUC 多少?3条标准答案
- 分类树:Gini 指数、交叉熵、误分率和剪枝怎么用一棵树做分类?三种不纯度(Gini、熵、误分率)分出的树有什么不同?剪到多大,测试集上的混淆矩阵怎样?2条标准答案
- 成本复杂度剪枝:最弱连接和子树序列一棵长满的树怎么一步步剪小?给定惩罚 α,代价 R(T) + α|T| 最小的是哪棵子树?2条标准答案
- 层次聚类:完全、单、平均和重心连接不预先定类的个数,怎么一步步把最相近的观测和类合并成一棵树(谱系图)?不同的连接方式结果差在哪?3条标准答案
- K 均值聚类:类内平方和和肘部图怎么把观测分成 K 组,让组内尽量相似?分几组合适?2条标准答案
- K 近邻:分类和回归、贝叶斯分类器和贝叶斯错误率用离它最近的 K 个观测来预测一个新观测,K 取多大好?最好的分类器(贝叶斯分类器)能做到多低的错误率?4条标准答案
- 回归树:递归二分、交叉验证剪枝(平方误差和泊松偏差)怎么用一棵二叉树把数据按变量切成几块、每块给一个预测?树长多大合适?出险频率能不能用树来分组?3条标准答案