机器学习算法系列（一）：线性回归（损失函数（均方误差角度，概率分布角度）正规方程法梯度下降法求解线性回归）

最新推荐文章于 2025-06-08 14:27:40 发布

拙能胜巧nsq

最新推荐文章于 2025-06-08 14:27:40 发布

阅读量2.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习系列

本文链接：https://blog.youkuaiyun.com/qq_20106375/article/details/93996976

本文详细介绍了线性回归的基础知识，包括从均方误差和概率分布两个角度推导线性回归的损失函数，并探讨了正规方程法与梯度下降法在求解线性回归中的应用。通过比较，强调了梯度下降法在处理大规模数据时的高效性，以及在实际工程中的应用价值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

线性回归损失函数推导（均方误差角度，概率分布角度）正规方程法梯度下降法求解线性回归

从均方误差的角度推导线性回归的损失函数

线性回归是一种最基本的机器学习算法。基本形式为：
$y^=θ0x0+θ1x1+θ2x2+θ3x3+……=θTx \hat{y} = \theta_0x_0+\theta_1x_1+\theta_2x_2+\theta_3x_3+……=\mathbf{\theta^Tx}$
其中： $θ=[θ0,θ1,θ2,...θn]T\mathbf{\theta} = [\theta_0,\theta_1,\theta_2,...\theta_n]^T$ , $x=[1,x1,x2,x3...xn]T\mathbf{x}=[1,x_1,x_2,x_3...x_n]^T$ , $y^\hat{y}$ 是预测值。

对于回归问题，我们采用均方误差作为模型的评估标准。从向量的角度来计算：
$\frac{1}{2m}||\mathbf{X\theta-y}||_2^2 = \frac{1}{2m}(\mathbf{X\theta-y})^T(\mathbf{X\theta-y})=\frac{1}{2m}(\mathbf{\theta^TX^T-y^T})(\mathbf{X\theta-y})\\ =\frac{1}{2m}(\mathbf{\theta^TX^TX\theta}-\mathbf{\theta^TX^Ty}-\mathbf{y^TX\theta}+\mathbf{y^Ty})\\ =\frac{1}{2m}(\mathbf{\theta^TX^TX\theta}-2\mathbf{y^TX\theta}+\mathbf{y^Ty})$