利用梯度下降实现线性拟合

• 作业要求

本作业题要求使用线性拟合，利用梯度下降法，求解参数使得预测和真实值之间的均方误差（MSE）误差最小。定义误差如下：

其中：学习率设定为0.3，最大迭代次数设定为50次.初始值可设定为0到1之间的任意数值，我们可以采用随机数进行生成。

• 理论推导

本作业题的目的是搜索LOSS的最小点。为此我们使用梯度下降法，使得LOSS沿着负梯度方向下降，从而在规定的迭代次数内搜索到相应的符合要求的点。

我们使用的负梯度下降法的一般公式为：

其中：

是一个正实数，称为步长。

1. 的含义是：给定一个搜索点，由此点出发，根据向量指定的方向和幅值运动，可以得到新点；之后不断迭代，到达终止条件即可。

梯度下降法的终止条件通常有以下几种：

1. 达到最大迭代次数：在训练模型时，通常会指定最大的迭代次数，到这个迭代次数时，梯度下降算法就会停止运行；
2. 目标函数的值达到一定精度：如可以指定目标函数的值在两次迭代之间的变化小于某个设定值时，算法停止运行；
3. 达到一定的运行时间：可以通过设定算法运行的最大时间来确定算法是否停止。例如，可以指定算法运行时间在某个时间段之后停止。

在本实验中：我们的目标函数LOSS定义为：

在使用梯度下降法时，我们需要分别计算LOSS关于w和b的偏导数的值，并更新它们的值

由此，我们可以实现梯度下降的迭代计算，达到迭代50次的题目要求后终止即可。

• 实验结果

表1记录了前30次迭代中w、b和 Loss 的值。

表1 前30次迭代中w、b与Loss的值

次数	w	b	Loss
1	1.0122	1.8359	13.674
2