为了得到一般性的 \(Y\) 与 \(X\) 的曲线关系 \(f(x)\) 的估计， 可以使用样条函数。 三次样条函数将实数轴用若干个 节点 (knots) \(\{ z_k \}\) 分成几段， 每一段上 \(\hat f(x)\) 为三次多项式， 函数在节点处有连续的二阶导数。 样条函数是光滑的分段三次多项式。 通常我们使用“自然样条函数”， 在最左边和最右边这两段为线性函数。

用样条函数估计 \(f(x)\) 的准则是曲线接近各观测值点 \((x_i, y_i)\) ，同时曲线足够光滑。

在R中用 stats::smooth.spline 函数进行样条曲线拟合。 取每个自变量 \(x_i\) 处为一个节点， 对于给定的某个光滑度/模型复杂度系数值 \(\lambda\) ， 求函数 \(f(x)\) 使得 \[\begin{align} \min_{f(\cdot)} \left\{ \sum_i [y_i - f(x_i)]^2 + \lambda \int [f''(x)]^2 \,dx \right\} \tag{35.1} \end{align}\] 目标函数中第一项越小， 拟合误差越小， 但是也越容易产生过度拟合； 目标函数中第二项度量了函数 \(f(\cdot)\) 的不光滑性， 是一个对模型复杂度的惩罚项， \(\lambda\) 为调节参数， \(\lambda\) 越大， 惩罚越重，所得的曲线越光滑。 smooth.spline() 函数可以通过交叉验证方法自动取得一个对于预测最优的光滑参数 \(\lambda\) 值。

另一种非参数的拟合非线性回归曲线 \(f(x)\) 的方法是对每个自变量 \(x\) 处选一个局部的小邻域， 用这个小邻域附近的 \((x_i, y_i)\) 点拟合一个局部的零次、一次或二次多项式， 用拟合的局部多项式在 \(x\) 处的值作为回归函数在 \(x\) 处的值的估计。

局部零次多项式的方法叫做核回归， \hat f(x) = \frac{\sum\limits_{i = 1}^n {K\left( {\frac{{x - X_i }}{h}} \right)Y_i } } {\sum\limits_{i = 1}^n {K\left( {\frac{{x - X_i }}{h}} \right)} } 其中 \(K(\cdot)\) 称为核函数， 是类似标准正态密度这样的中间高两边低的可以用来加权的函数， 双三次核函数： K(x) = \left\{ {\begin{array}{*{20}c} {\left( {1 - \left| x \right|^3 } \right)^3 } & {\left| x \right| \leq 1} \\ 0 & \mbox{其它} \\ \end{array}} \right.

可以用指定节点集合的样条函数作为回归函数估计。 \(m\) 个节点的三次样条函数需要 \(m+4\) 个参数。 因为每段需要 \(4\) 个参数， \(m+1\) 段需要 \(4m+4\) 个参数， 而在 \(m\) 个节点上连续、一阶导数连续、二阶导数连续构成三个约束条件， 所以参数个数为 \(m+4\) 个。

自然样条函数假定函数在最左边一段和最右边一段为线性函数， 这样 \(m\) 个节点需要 \(m+2\) 个参数。 R的 lm() 函数中对自变量 x 指定 ns(x) 可以对输入的 x 指定作自然样条变换， 在 ns() 中可以用 df= 指定自由度作为曲线复杂度的度量。

给定输入 \((x_i, y_i)\) , \(i=1,2,\dots,n\) 后如何估计函数 \(f(\cdot)\) ？ 计算时，用了基函数的思想将问题转化成了线性模型。 根据 df 的值可以确定样条函数节点个数 \(K\) ， 然后可以选择 \(K\) 个节点 \(z_k, k=1,2,\dots,K\) ， = \beta_0 + \beta_1 x + \beta_2 x^2 + \beta_3 x^3 + \sum_{k=1}^K \beta_{k+3} h(x, z_k), h(x, z) = \begin{cases} (x - z)^3, & x > z, \\ 0, & x \leq z . \end{cases} 这样就可以用线性模型的估计方法估计出未知参数 \(\beta_0, \dots, \beta_{K+3}\) ， 从而得到样条函数估计。

如何决定节点个数 \(K\) 以及节点位置？ 节点越多， 函数 \(f(\cdot)\) 越复杂，计算量也越大。 lm() 中 ns() 和 bs() 函数可以用 df= 选项指定一个等效自由度， 等效自由度越大， 模型越复杂， 曲线光滑程度越低， df 值相当于多元线性回归中的自变量个数， 决定了节点的个数。 df=4 的复杂度类似于有4个自变量的线性回归模型， 它有3个内部节点， 将x轴分为4段， 拟合结果构成一个分4段的自然样条函数。 不人为指定时， 也可以通过交叉验证方法得到 df 的值。

节点的位置最好在回归曲线变化剧烈的位置多取， 在变化缓慢的地方少取， 但是这个要求很难实现， 所以实际上是在输入的 \(x\) 变量值中取等分位间隔的 df 个点。

例如，下面的程序中用了自由度为4和自由度为8的样条函数进行回归估计：

虽然在用 lm() 作多元回归时可以用 ns() 、 poly() 等函数引入非线性成分， 但需要指定复杂度参数。 对可加模型 Y = \sum_{j=1}^p f_j(x_j) + \varepsilon 最好能从数据中自动确定 \(f_j(\cdot)\) 的复杂度（光滑度）参数。

R扩展包mgcv的 gam() 函数可以执行这样的可加模型的非参数回归拟合。 模型中可以用 s(x) 指定 x 的样条平滑， 用 lo(x) 指定 x 的局部多项式平滑。 具体的计算是迭代地对每个自变量 \(x_j\) 进行， 估计 \(x_j\) 的平滑函数 \(f_j(\cdot)\) 时， 采用数据 \(\tilde y = Y - \sum_{k \neq j} f_k(x_k)\) ， 迭代估计到结果基本不变为止。

可加模型的优点是可以对多个自变量进行非线性的模型估计， 同时可加性使得每个自变量对因变量的解释很容易， 缺点是不容易考虑自变量之间的交互作用效应。 为了考虑交互作用效应可以使用基于树的随机森林或提升法(boosting)。

例如，MASS包的rock数据框是石油勘探中12块岩石样本分别产生4个切片得到的测量数据， 共48个观测， 因变量是渗透率(permeability)， 自变量为area, peri, shape。

先作线性回归：