线性回归模型,只能通过变量添加特征、交互作用和变换来增加对数据特征的适应性和估计的可变性,
即使用高方差换取更小的偏差。
为了权衡控制偏差和方差,可以用L1和L2正则化。
- L1:也成Lasso,把系数变为0,做出了特征选择
- L2:也称Ridge,降低大部分有问题的特征系数,非常小,但>0.所有系数继续参与估计,但系数变得小所以无关。
通过超参数alpha控制正则化强度,区间为【0,1】,取值越大,正则化越强,对系数的减弱越大。
C=1/alpha,C用在逻辑回归和支持向量机中,所以C可以大于1,C越小,正则化越强。
tips:一般在使用正则化之前,需要对变量进行标准化,一般为【-1,1】之间
一、ridge(山脊正则化)
#通过网格搜索,选出正确的参数值
from sklearn.grid_search import GridSearchCV
from sklearn.linear_model import Ridge
ridge = Ridge(normalize=True)
search = GridSearchCV(estimator=ridge, param_grid={'alpha':np.logspace(-5,2,8)},
scoring='neg_mean_squared_error', n_jobs=1, refit=True, cv=10)
search.fit(polyX,y)
print ('Best parameters: %s' % search.best_params_)
print ('CV MSE of best parameters: %.3f' % abs(search.best_score_))

寻找到最优的alpha为0.01,此时的均方差为26.191
二、Lasso(套索)正则化
from sklearn.linear_model import Lasso
lasso = Lasso(normalize=True)
search = GridSearchCV(estimator=lasso, param_grid={'alpha':np.logspace(-5,2,8)},
scoring='neg_mean_squared_error', n_jobs=1, refit=True, cv=10)
search.fit(polyX,y)
print ('Best parameters: %s' % search.best_params_)
print ('CV MSE of best parameters: %.3f' % abs(search.best_score_))
![]()
最优alpha为0.001,均方差为24.271
三、利用规范化
通过调节alpha,选择特征
lasso = Lasso(normalize=True, alpha=0.01)
lasso.fit(polyX,y)
print (polyX.columns[np.abs(lasso.coef_)>0.0001].values)

最终选择的特征如上。
四、组合L1和L2
使用ElasticNET类,L1正则化倾向于选择特征,L2倾向于降低相关特征影响,
如果L1=0.就是ridge回归,如果L1=1,就是lasso回归
from sklearn.linear_model import ElasticNet
elastic = ElasticNet(normalize=True)
search = GridSearchCV(estimator=elastic, param_grid={'alpha':np.logspace(-5,2,8), 'l1_ratio': [0.25, 0.5, 0.75]},
scoring='neg_mean_squared_error', n_jobs=1, refit=True, cv=10)
# For l1_ratio = 0 the penalty is an L2 penalty. For l1_ratio = 1 it is an L1 penalty
search.fit(polyX,y)
print( 'Best parameters: %s' % search.best_params_)
print ('CV MSE of best parameters: %.3f' % abs(search.best_score_))
![]()
L1为0.5
1109



被折叠的 条评论
为什么被折叠?



