多元线性回归模型的特征选择：全子集回归、逐步回归、交叉验证

最新推荐文章于 2025-06-16 21:04:14 发布

weixin_30478923

最新推荐文章于 2025-06-16 21:04:14 发布

阅读量8.7k

点赞数 9

CC 4.0 BY-SA版权

文章标签：数据结构与算法 python matlab

原文链接：http://www.cnblogs.com/lafengdatascientist/p/7168507.html

本文介绍了在多元线性回归中选择特征的三种方法：最优子集选择、逐步回归法和交叉验证法。最优子集选择考虑所有特征组合，计算量大但可能找到最优模型；逐步回归法在计算量较小的情况下找到较优模型，但可能不保证最优；交叉验证法用于评估模型，避免过拟合，选择验证误差最低的特征组合。通过实例展示了如何使用这些方法进行特征选择。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在多元线性回归中，并不是所用特征越多越好；选择少量、合适的特征既可以避免过拟合，也可以增加模型解释度。这里介绍3种方法来选择特征：最优子集选择、向前或向后逐步选择、交叉验证法。

最优子集选择

这种方法的思想很简单，就是把所有的特征组合都尝试建模一遍，然后选择最优的模型。基本如下：

对于p个特征，从k=1到k=p——
从p个特征中任意选择k个，建立C(p,k)个模型，选择最优的一个（RSS最小或R2最大）；
从p个最优模型中选择一个最优模型（交叉验证误差、Cp、BIC、Adjusted R2等指标）。

这种方法优势很明显：所有各种可能的情况都尝遍了，最后选择的一定是最优；劣势一样很明显：当p越大时，计算量也会越发明显地增大（2^p）。因此这种方法只适用于p较小的情况。

以下为R中ISLR包的Hitters数据集为例，构建棒球运动员的多元线性模型。

> library(ISLR)
> Hitters <- na.omit(Hitters)
> dim(Hitters) # 除去Salary做为因变量，还剩下19个特征
[1] 263  20
> library(leaps)
> regfit.full = regsubsets(Salary~.,Hitters,nvmax = 19) #选择最大19个特征的全子集选择模型
> reg.summary = summary(regfit.full) # 可看到不同数量下的特征选择
> plot(reg.summary$rss,xlab="Number of Variables",ylab="RSS",type = "l") # 特征越多，RSS越小
> plot(reg.summary$adjr2,xlab="Number of Variables",ylab="Adjusted RSq",type = "l")
> points(which.max(reg.summary$adjr2),reg.summary$adjr2[11],col="red",cex=2,pch=20) # 11个特征时，Adjusted R2最大
> plot(reg.summary$cp,xlab="Number of Variables",ylab="Cp",type = "l")
> points(which.min(reg.summary$cp),reg.summary$cp[10],col="red",cex=2,pch=20) # 10个特征时，Cp最小
> plot(reg.summary$bic,xlab="Number of Variables",ylab="BIC",type = "l")
> points(which.min(reg.summary$bic),reg.summary$bic[6],col="red",cex=2,pch=20) # 6个特征时，BIC最小
> plot(regfit.full,scale = "r2") #特征越多，R2越大，这不意外
> plot(regfit.full,scale = "adjr2")
> plot(regfit.full,scale = "Cp")
> plot(regfit.full,scale = "bic")

Adjust R2、Cp、BIC是三个用来评价模型的统计量（定义和公式就不写了），Adjust R2越接近1说明模型拟合得越好；其他两个指标则是越小越好。

注意到在这3个指标下，特征选择的结果也不同。这里以Adjust R2为例，以它为指标选出了11个特征：

以Adjusted R2在不同数量下做特征选择

从图中可见，当Adjusted R2最大（当然也就比0.5多一点，也不怎么样）时，选出的11个特征为：AtBat、Hits、Walks、CAtBat、CRuns、CRBI、CWalks、LeagueN、DivisionW、PutOuts、Assists。

可以直接查看模型的系数：

> coef(regfit.full,11)
 (Intercept)        AtBat         Hits        Walks       CAtBat 
 135.7512195   -2.1277482    6.9236994    5.6202755   -0.1389914 
       CRuns         CRBI       CWalks      LeagueN    DivisionW 
   1.4553310    0.7852528   -0.8228559   43.1116152 -111.1460252 
     PutOuts      Assists 
   0.2894087    0.2688277

可见这11个特征与图中一致，现在特征筛选出来了，系数也算出来了，模型就已经构建出来了。

逐步回归法

这种方法的思想可以概括为“一条路走到黑”，每一次迭代都只能沿着上一次迭代的方向继续进行，不能反悔，不能丢锅。以向前逐步回归为例，基本过程如下：

对于p个特征，从k=1到k=p——
从p个特征中任意选择k个，建立C(p,k)个模型，选择最优的一个（RSS最小或R2最大）；
基于上一步的最优模型的k个特征，再选择加入一个，这样就可以构建p-k个模型，从中最优；
重复以上过程，直到k=p迭代完成；
从p个模型中选择最优。

向后逐步回归法类似，只是一开始就用p个特征建模，之后每迭代一次就舍弃一个特征是模型更优。

这种方法与最优子集选择法的差别在于，最优子集选择法可以选择任意(k+1)个特征进行建模，而逐步回归法只能基于之前所选的k个特征进行(k+1)轮建模。所以逐步回归法不能保证最优，因为前面的特征选择中很有可能选中一些不是很重要的特征在后面的迭代中也必须加上，从而就不可能产生最优特征组合了。但优势就是计算量大大减小（p*(p+1)/2），因此实用性更强。