6、人工神经网络训练中的学习率调整与反向传播算法解析

人工神经网络训练中的学习率调整与反向传播算法解析

1. 学习率在ANN训练中的重要性

对于新手而言，人工神经网络（ANN）中的学习率是一大障碍。人们常常会问学习率对ANN训练有何影响，为何要使用学习率，以及学习率的最佳值是多少。下面通过一个简单的滤波器示例来解释学习率在训练ANN中的作用。

1.1 滤波器示例

该示例用公式2 - 6表示：
[
Y = activation(X) =
\begin{cases}
X, & X \leq 250 \
250, & X > 250
\end{cases}
]
如果输入小于等于250，输出与输入相同；如果输入大于250，输出将被截断为250。这就像一个滤波器，只允许小于250的输入通过，其他输入则被截断为250。其激活函数图像可参考相关图。

训练数据如表2 - 5所示：
| Input (X) | Output (Y) |
| — | — |
| 60 | 60 |
| 40 | 40 |
| 400 | 250 |
| 300 | 250 |
| -50 | -50 |
| -10 | -10 |

1.2 ANN架构

此ANN只有输入层和输出层。输入层有一个神经元接收单个输入，输出层有一个神经元生成输出。输出层神经元负责将输入映射到正确输出，同时对输出层神经元应用一个偏置b，输入为 +1，输入还有一个权重W。

1.3 激活函数

之前讨论的网络只能近