本文介绍了弹性网络回归，一种结合岭回归和Lasso回归优点的模型，通过λ和ρ参数控制正则化，利用坐标下降法求解。通过实例演示和代码实现，展示了其在特征选择与稳定性的平衡作用，并以音乐转谱应用举例。
阅读本文需要的背景知识点：岭回归、Lasso回归、一点点编程知识
最近笔者做了一个基于人工智能实现音乐转谱和人声分离功能的在线应用——反谱（Serocs），感兴趣的读者欢迎试用与分享，感谢您的支持！serocs.cn
一、引言
前面学习了岭回归与 Lasso 回归两种正则化的方法，当多个特征存在相关时，Lasso 回归可能只会随机选择其中一个，岭回归则会选择所有的特征。这时很容易的想到如果将这两种正则化的方法结合起来，就能够集合两种方法的优势，这种正则化后的算法就被称为弹性网络回归1 （Elastic Net Regression）
二、模型介绍
弹性网络回归算法的代价函数结合了 Lasso 回归和岭回归的正则化方法，通过两个参数 λ 和 ρ 来控制惩罚项的大小。
Cost ( w ) = ∑ i = 1 N ( y i − w T x i ) 2 + λ ρ ∥ w ∥ 1 + λ ( 1 − ρ ) 2 ∥ w ∥ 2 2 \operatorname{Cost}(w)=\sum_{i=1}^{N}\left(y_{i}-w^{T} x_{i}\right)^{2}+\lambda \rho\|w\|_{1}+\frac{\lambda(1-\rho)}{2}\|w\|_{2}^{2} Cost(w)=i=1∑N(yi−wTxi)2+λρ∥w∥1+2λ(1−ρ)∥w∥22
同样是求使得代价函数最小时 w 的大小：
w = argmin w ( ∑ i = 1 N ( y i − w T x i ) 2 + λ ρ ∥ w ∥ 1 + λ ( 1 − ρ ) 2 ∥ w ∥ 2 2 ) w=\underset{w}{\operatorname{argmin}}\left(\sum_{i=1}^{N}\left(y_{i}-w^{T} x_{i}\right)^{2}+\lambda \rho\|w\|_{1}+\frac{\lambda(1-\rho)}{2}\|w\|_{2}^{2}\right) w=wargmin(i=1∑
最低0.47元/天 解锁文章
扫一扫
3314
到【灌水乐园】发言
