7、神经网络学习中的导数与梯度下降详解

神经网络学习中的导数与梯度下降详解

1. 导数的直观理解

想象你面前有一个纸板箱，箱子上有两个小孔，分别伸出两根圆形的杆子，蓝色杆子伸出箱子 2 英寸，红色杆子伸出 4 英寸。已知这两根杆子是相连的，但连接方式未知，需要通过实验来探究。
当你将蓝色杆子向箱子内推进 1 英寸时，红色杆子也会向箱子内移动 2 英寸；把蓝色杆子向外拉出 1 英寸，红色杆子同样会向外拉出 2 英寸。由此可以发现，红色杆子移动的距离是蓝色杆子的两倍，即存在关系： red_length = blue_length * 2 。

这里引出了导数的概念，导数就是描述“当拉动一个部分时，另一个部分移动多少”。在红杆和蓝杆的例子中，“拉动蓝色杆子时红色杆子移动多少”的导数是 2。导数反映了两个变量之间的关系，若导数为正，改变一个变量时，另一个变量会朝相同方向移动；若导数为负，则朝相反方向移动。

例如， red_length 相对于 blue_length 的导数是 2，意味着它们会同向移动，且红色杆子移动距离是蓝色杆子的两倍；若导数为 -1，则红色杆子会反向移动相同的距离。

导数的两种常见解释如下：
- 理解函数中一个变量随另一个变量变化的情况。
- 导数是直线或曲线上某一点的斜率。实际上，绘制函数图像时，所绘直线的斜率就等同于“一个变量随另一个变量变化的程度”。

以函数 error = ((input * weight) - goal_pred) ** 2 为例，假设 goal_pred = 0.8