机器学习—回归模型—逻辑回归、最小二乘回归、岭回归、套索回归、弹性网回归

回归模型目标函数

一、岭回归模型

1、介绍
Ridge/RidgeCV：使用结构风险最小化=损失函数（平方损失）+正则化（L2范数）

Ridge 回归通过对系数的大小施加惩罚来解决 普通最小二乘法 的一些问题。 岭系数最小化的是带罚项的残差平方和，

其中，α≥0α≥0 是控制系数收缩量的复杂性参数： αα 的值越大，收缩量越大，这样系数对共线性的鲁棒性也更强。

这个惩罚项中lambda大于等于0，是个调整参数。各个待估系数越小则惩罚项越小，因此惩罚项的加入有利于缩减待估参数接近于0。重点在于lambda的确定，可以使用交叉验证或者Cp准则。

岭回归优于最小二乘回归的原因在于方差-偏倚选择。随着lambda的增大，模型方差减小而偏倚（轻微的）增加， 提高了估计精度．

岭回归缺点：在建模时，同