本文总结了线性回归、岭回归和Lasso回归的异同，探讨了它们的目标函数，其中岭回归采用平方损失函数与L2正则化，而Lasso回归引入了L1正则化，以实现模型的稀疏性。此外，还提及逻辑回归的对数损失函数及其在梯度下降中的应用。
对于所有的模型和算法，都有一个目标方程，比较理想的目标方程应该有两部分构成：损失函数和正则项，一个用来衡量模型的拟合效果，一个用来尽可能保证模型的简单和稳定：
Obj(Θ)=L(Θ)+Ω(Θ)(2) (2) O b j ( Θ ) = L ( Θ ) + Ω ( Θ )
损失函数：
平方损失函数(Square loss)： l(yi,ŷ i)=(yi−ŷ i)2 l ( y i , y ^ i ) = ( y i − y ^ i ) 2
对数损失函数(Logistic loss)： l(
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
