本文详细介绍了线性回归中的最小二乘法，通过求解梯度为零得到正规方程。接着探讨了岭回归，引入L2正则项以避免过拟合，同样推导出带有正则化的正规方程。
最小二乘法正规方程推导过程
问题描述
输入样本 X ∈ R m × n \textbf{X}\in \mathbb{R}^{m\times n} X∈Rm×n，输出 y ∈ R m × 1 \textbf{y}\in\mathbb{R}^{m\times 1} y∈Rm×1，需要学习的参数 w ∈ R n × 1 \textbf{w}\in \mathbb{R}^{n\times 1} w∈Rn×1。其中， m m m 为样本个数， n n n 为单个样本维度。
线性回归
最小化目标函数
J ( w ) = 1 2 ∥ y − Xw ∥ 2 2 J(\textbf{w}) = \frac{1}{2}\left\Vert\textbf{y}-\textbf{Xw}\right\Vert^2_2 J(w)=21∥y−Xw∥22
有对 w \textbf{w} w 求梯度等于零
∇ J ( w ) = 0 ∇ ( y − Xw ) T ( y − Xw ) = 0 ∇ ( y T y − y T Xw − ( Xw ) T y + ( Xw ) T Xw ) = 0 ∇ ( − 2 w T X T y + w T X T Xw ) = 0 − 2 X T y + ( X T X + ( X T X ) T
最低0.47元/天 解锁文章
扫一扫
13万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
