机器学习笔记--回归分析(3)

一、逐步回归

1.  分类：

• 向前引入法：从一元回归开始，逐步增加变量，使指标值达到最优为止
• 向后剔除法：从全变量回归方程开始，逐步删去某个变量，使指标值达到最优为止
• 逐步筛选法：综合上述两种方法、

在增加和删除变量时看如下指标的变化：

• RSS（残差平方和）与R²（相关系数平方）选择法：遍历所有可能的组合，选出使RSS最小，R²最大的模型
• AIC（Akaikeinformation criterion）赤池信息准则与BIC（Bayesian information criterion）准则 AIC=n ln(RSSp/n)+2p，n为变量总个数，p为选出的变量个数，AIC越小越好

2.  例子

其中swiss.lm为建立的模型，forward是向前引入法（backward、both），利用step函数自动完成

例如向后剔除法中，结果中对应的是每对应去掉一个变量他的RSS和AIC，所以减少Examination变量能够使AIC变小从而使得模型得到优化。

 

注：有时候通过step（）函数并不能得到最优解，