理论
岭回归在最小二乘法的基础上加上了一个 l 2 l_2 l2惩罚项
假设函数： h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 + ⋯ + θ n x n h_\theta(x) = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + \cdots + \theta_n x_n hθ(x)=θ0+θ1x1+θ2x2+⋯+θnxn
损失函数： J ( θ ) = 1 2 m ∑ i = 1 m [ ( ( h θ ( x ( i ) ) − y ( i ) ) 2 + λ ∑ j = 1 n θ j 2 ) ] J\left(\theta \right)=\frac{1}{2m}\sum\limits_{i=1}^{m}{[({ {({h_\theta}({ {x}^{(i)}})-{ {y}^{(i)}})}^{2}}+\lambda \sum\limits_{j=1}^{n}{\theta _{j}^{2}})]} J(θ)=2m1i=1∑m[((hθ(x(i))−y(i))2+λj=1∑nθj2)]
损失函数的矩阵形式： J ( θ ) = ( y − X θ ) T ( y − X θ ) + λ θ T θ J(\theta)= (y - X\theta)^T (y - X\theta) + \lambda \theta^T \theta J(θ)=(y−Xθ)T(y−Xθ)+λθTθ
其中：
- y y
最低0.47元/天 解锁文章
扫一扫
512
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
