6、深度学习中的网络训练与优化

深度学习中的网络训练与优化

1. 利用 TensorBoard 可视化计算图和学习过程

当我们按照之前的方法设置好统计数据的日志记录后，就可以对收集到的数据进行可视化展示了。TensorFlow 自带了一个名为 TensorBoard 的可视化工具，它提供了一个易于使用的界面，方便我们查看统计数据。

1.1 启动 TensorBoard

启动 TensorBoard 非常简单，只需运行以下命令：

tensorboard --logdir=<absolute_path_to_log_dir>

其中， logdir 参数应设置为 tf.train.SummaryWriter 配置的用于序列化统计数据的目录。请务必传入绝对路径，否则 TensorBoard 可能无法找到日志文件。如果成功启动 TensorBoard，它将在 http://localhost:6006/ 上提供数据，我们可以在浏览器中访问该地址。

1.2 TensorBoard 的界面

TensorBoard 有多个标签页，其中第一个标签页包含我们收集的标量统计信息。我们可以观察到每个小批量的成本和验证误差随时间的变化情况。此外，还有一个标签页可以让我们可视化所构建的完整计算图。虽然这个图不太容易解释，但当我们遇到意外情况时，它可以作为一个有用的调试工具。

2. 构建用于 MNIST 数据集的多层模型

使用逻辑回