【回故系列】线性回归的矩阵推导

最新推荐文章于 2025-07-29 20:38:16 发布

原创

最新推荐文章于 2025-07-29 20:38:16 发布 · 7.8k 阅读

·

7

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了线性回归模型的矩阵形式，并详细推导了使用最小二乘法优化均方误差损失函数的过程，通过解析法求解最优模型参数。讨论了矩阵求导和可逆条件在求解中的关键作用。

线性模型（Linear Model），是机器学习中的一类算法的总称，其形式化定义为：通过给定的样本数据集 $\large D$ ，线性模型试图学习到这样的一个模型，使得对于任意的输入特征向量 $\large x=(x_1, x_2, ..., x_n)^T$ ，模型的预测输出 $\large f(x)$ 能够表示为输入特征向量 $\large x$ 的线性函数，即满足：

$\large f(x)=w_1x_1+w_2x_2+...+w_nx_n+b)$

也可以写成矩阵的形式：

$\large f(x)=w^Tx+b$

其中， $\large w=(w_1, w_2, ... , w_n)^T$ 和 $\large b$ 称为模型的参数。

为了求解线性模型的参数 $w$ 和 $b$ ，首先我们定义损失函数，在回归任务中，常用的损失函数是均方误差：

$L\left ( w, b \right ) = \frac{1}{2} \sum_{i=1}^{m}\left (f(x^i)-y^i \right )^2$

优化损失函数就是我们的目标，基于均方误差损失函数来求解模型参数的方差

最低0.47元/天解锁文章

新学期VIP享超值加赠

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。