多项式和样条:连续变量的非线性效应

一个连续变量(例如驾驶人年龄)和结果不是直线关系时,用多项式、回归样条还是平滑样条拟合,各用掉多少自由度?

SOA PACAS MAS-IIFoA CS1
对过的标准答案
3 条
覆盖的考试公式
1 个
参数
9 个
开源库
2 个

01当场运行

改一个参数,当场重算

正在用默认参数运行,计算量大的方法最多要 20 秒。

04出处和说明

公式从哪里来,有什么限制

列出参考的教材、论文和考试公式条目。方法的限制和实现上的说明也写在这里。

参考

  • Hastie、Tibshirani、Friedman:The Elements of Statistical Learning5.2 Piecewise polynomials and splines;5.4 Smoothing splines
  • Green、Silverman:Nonparametric Regression and Generalized Linear Models第 2 章 Reinsch 算法
  • James、Witten、Hastie、Tibshirani:An Introduction to Statistical Learning第 7 章 Moving Beyond Linearity

覆盖的考试公式

  • REG-018多项式、交互项与样条(平滑样条、GAM)PAMAS-ICS1

公式条目按精算考试的公式表整理,编号和中文名是平台自己的。

这个方法算什么

对一个连续变量同时拟合多项式回归、自然三次样条(回归样条,结点取分位数)和平滑样条(λ 用 GCV 选、按等价自由度定或自己给),比较等价自由度、加权残差平方和、GCV 和拟合曲线。车险演示数据带设定的真实曲线。

说明和限制

  • 自然三次样条在两端的结点以外是直线,K 个结点用 K 个参数(含截距)。K = 2 时就是直线。结点取 x 的等距分位数。
  • 平滑样条的结点是每个不同的 x。相同的 x 先合并:y 取加权平均,权重相加。λ 的量纲是 y² × x³,换了 x 的单位 λ 要跟着变。
  • 车险演示数据按年龄汇总,频率用风险暴露作权重做加权最小二乘。这是正态近似;严格的做法是泊松广义加性模型(加性模型方法族)。
  • 多项式在两端容易摆动,次数高时更明显。回归样条和平滑样条在两端更稳。

数据

看参数里选的数据:选平台的数据集时是真实数据或公开样例,填自己的数时只用输入的数。上面运行的输出里写明这一次用的是哪种。

开源库和版本

  • scipy1.17.1BSD分布拟合、统计检验
  • numpy2.4.6BSD-3-Clause数值计算

05同族的方法

广义线性模型,还有 21 个方法

同一个方法族里的其他方法。在智能体里,用一句话就能调用这些方法。

在智能体里这样问“一个连续变量(例如驾驶人年龄)和结果不是直线关系时,用多项式、回归样条还是平滑样条拟合,各用掉多少自由度?”