使用矩阵的迹推导最小二乘法的解(cs229-lecture2)

最新推荐文章于 2023-05-09 11:50:23 发布

原创

最新推荐文章于 2023-05-09 11:50:23 发布 · 2.1k 阅读

7 ·

CC 4.0 BY-SA版权

这篇博客介绍了如何使用矩阵的迹来推导最小二乘法的解，将此方法与神经网络的线性回归问题联系起来。通过假设函数和损失函数的设定，展示了从求解loss的导数到找到最小值的推导过程，利用矩阵的迹和几个关键的数学公式，最终得出与梯度下降法一致的最小二乘法解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前写了一篇最小二乘法进行曲线拟合，当时就觉得这个过程其实和神经网络的线性回归很像。是否可以用同样的方法来求解线性回归的问题，而不用梯度下降呢？后来在cs229的第二课中刚好看到了这个内容，感觉推导方式更加的精妙，这里记录一下推导过程方便以后回顾。

假设我们需要预测房价，有n个feature会影响房价，比如房子大小，修建年份，装修情况，房屋个数，所处位置等等。我们搜集了m组这些feature和房价之间的对应关系，得到m组样本 $(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})$ ，其中 $x^{(i)} = [x^{(i)}_0,x^{(i)}_1,...,x^{(i)}_n]^{T}$ 表示输入的feature有n+1个维度，其中 $x_0^{i}=1$ 是为了与偏置 $\theta_0$ 计算方便。