35、神经网络学习率与优化器详解

神经网络学习率与优化器详解

1. 构建二元分类器

1.1 数据与分类器结构

为了找到两个月牙形状数据之间的边界，我们构建一个二元分类器。使用约1500个训练数据点。由于只有两个类别，我们只需一个二元分类器，这样可以跳过标签的独热编码以及处理多个输出的步骤，仅使用一个输出神经元。若输出值接近0，输入属于一类；若接近1，则属于另一类。

分类器有两个隐藏层，每层有4个神经元，两个隐藏层均为全连接层。隐藏层神经元使用ReLU激活函数，输出神经元使用Sigmoid激活函数。

1.2 权重计算

计算网络中的权重数量：
- 两个输入分别连接4个神经元，有 (2×4 = 8) 个权重。
- 两层隐藏层之间，每层4个神经元，有 (4×4 = 16) 个权重。
- 4个神经元连接输出神经元，有4个权重。
- 总共 (8 + 16 + 4 = 28) 个权重。
- 每个神经元还有一个偏置项，9个神经元共9个偏置项。
- 网络总共有 (28 + 9 = 37) 个权重，初始化为小的随机数。

1.3 训练过程

训练过程如下：
1. 评估一个样本，计算误差。
2. 若误差不为零，使用反向传播计算增量（deltas），然后根据学习率更新权重。
3. 处理完训练集中的所有样本，完成一个训练周期（epoch）。

成功运行反向传播依赖于对权重进行小的更改，原因有二：
- 梯度仅在评估点附近准确，移动太远可能会增加误差而非减小。
- 网络起始部分的权重变化会引起后续层神经元输出的变化，进而改变它们的