8、深度学习中的全连接网络与超参数优化

深度学习中的全连接网络与超参数优化

1. 全连接网络训练要点

在训练全连接网络时，有一些关键技巧需要掌握。
- 正则化 ：$|\theta |_2$ 和 $|\theta |_1$ 分别表示 L1 和 L2 惩罚项。根据经验，对于深度模型而言，这些惩罚项的作用往往不如丢弃法（dropout）和提前停止（early stopping）。不过，仍有一些从业者会使用权重正则化，因此了解在调整深度网络时如何应用这些惩罚项是有必要的。
- 训练技巧
- 使用小批量数据（Minibatching） ：对于大型数据集，每次计算全量数据的梯度是不可行的。通常会选择一小部分数据（通常为 50 - 500 个数据点），这部分数据被称为小批量数据（minibatch）。小批量数据有助于收敛，因为在相同的计算量下可以进行更多的梯度下降步骤。小批量数据的正确大小通常需要通过超参数调优来确定。
- 调整学习率 ：学习率决定了每次梯度下降步骤的重要程度。设置正确的学习率可能比较棘手，许多初学者会错误地设置学习率，导致模型无法学习或返回 NaN 值。不过，像 ADAM 这样的方法简化了学习率的选择，如果模型无法学习，可以尝试调整学习率。

2. 环境搭建与数据集准备

• 安装 DeepChem ：可以使用 DeepChem 机器学习工具链进行实验，通过 Anaconda 和 conda 工具进行安装是比较方便的选择。
• Tox21 数