机器学习笔记 - 加速神经网络训练的 7 个技巧

        更快地训练神经网络是深度学习的重要因素之一。我们通常发现神经网络的这些困难在于其复杂的架构和使用的大量参数。随着数据量、网络和权重的增加，模型的训练时间也会增加，这对建模者和从业者来说都是不利的。在本文中，我们将讨论一些可以加快神经网络训练的技巧和窍门。下面列出了本文要讨论的要点。

1、多 GPU 训练

        这个技巧纯粹是为了加速与模型性能无关的神经网络。这个技巧可能会变得昂贵，但它非常有效。一个 GPU 的实现也可以使神经网络的训练更快，但应用更多的 GPU 有更多的好处。如果有人无法在他们的系统中暗示 GPU，他们可以通过在线提供对 GPU 和 TPU 支持的 google collab notebooks 进行查看。 

在训练中应用多个 GPU 将数据分布在不同的 GPU 中，这些 GPU 持有网络权重并使它们了解数据的 mini-batch 大小。例如，如果我们有 8192 个批量大小和 256 个 GPU，那么每个 GPU 将有一个大小为 32 的小批量，或者我们可以说 32 个样本来训练一个网络。这意味着网络的训练将变得更快。

2、学习率缩放&n