25、TensorFlow教程--- 创建图表神经网络训练的建议

在本章中，我们将了解可以使用 TensorFlow 框架实现的神经网络训练的各个方面。

以下是可以评估的十个建议 −

反向传播（Back Propagation）
反向传播是计算偏导数的简单方法，包括适用于神经网络的基本组合形式。

随机梯度下降（Stochastic Gradient Descent）
在随机梯度下降中，一个批次（batch）是用户在单次迭代中用来计算梯度的示例的总数。到目前为止，假设批次是整个数据集。最佳示例是在谷歌规模上工作；数据集通常包含数十亿甚至数千亿的示例。

Learning Rate Decay

自适应学习率是梯度下降优化中最重要的特性之一。这对于 TensorFlow 的实现至关重要。

Dropout
具有大量参数的深度神经网络构成了强大的机器学习系统。然而，在这