统计学习基础——第七章 非线性模型

目录

一、多项式回归

1、定义

（1）特点

（2）与线性回归模型的异同

二、阶梯函数

1、定义

2、作用

3、与分段函数区别

4、步骤

三、基函数

1、原理

四、回归样条

1、分段多项式

（1） 定义

（2）结点

2、约束条件与样条

（1）约束条件的作用

（2）样条

3、样条基函数

（1）定义

（2）截断幂基函数

（3）自然样条

四、确定结点个数和位置

1、结点位置

2、结点个数

五、与多项式回归对比

1、回归样条得到的结果比多项式回归更好。

2、回归样条得到更稳定的估计结果。

---

一、多项式回归

1、定义

（1）特点

①阶数：次数，对于阶数较大的d，多项式回归呈现明显的非线性曲线。但是d的选择不宜过大，一般不大于3或4（因为d越大，多项式曲线越光滑，甚至会在X变量定义域的边界处呈现异常形状）；

②：回归系数；

③估计方法：最小二乘法；

④响应变量与预测变量之间是非线性关系；

⑤若，则变为一元线性回归函数，即一元线性回归是多项式函数的特例。

（2）与线性回归模型的异同

• 相同点

①用于反映响应变量和预测变量之间的关系；

②都使用最小二乘法；

• 不同点

①一个是线性关系，一个非线性关系；

②线性模型的阶数为1，而多项式回归模型阶数大于1；

③d=1时，多项式回归退化为线性回归模型。

二、阶梯函数

1、定义

将X的取值范围分成一些区间，每个区间拟合一个不同的常数。

2、作用

（1）得到局部模型；

（2）将连续变量转换成有序的分类变量。

3、与分段函数区别

分段函数是函数，但阶梯函数是常数

4、步骤

step1.设置初值，创建分割点c1,c2,···,ck；

step2.构造示性函数 I( · )，Ck(X)=I(ck≤X)，得到C0,C1,···,Ck；

step3.对C0,C1,···,Ck进行拟合；

step4.判断拟合效果。

注：①条件成立时，示性函数返回1，不成立返回0；

②由于X只能落入某一个区间，于是对任意X的取值，C(X)+C1(X)+···+Ck(X)=1；

③对于X的一个给定值，C(X),C1(X),···,Ck(X)中至多只有一项系数非0；

④当X<c1时，C(X)=C1(X)=···=Ck(X)=0，所以β0为X<c1时的Y的平均值；

当cj<X<c(j+1