使用tensorboard进行超参数优化的可视化

原创

于 2021-07-30 00:00:58 发布 · 891 阅读

CC 4.0 BY-SA版权

本文介绍了如何使用TensorBoard进行神经网络的超参数优化可视化。内容包括TensorBoard的作用，如理解、调试和优化网络，以及如何通过定义graph和session进行可视化。详细讲解了如何在训练过程中记录和可视化数据分布、直方图、标量等关键信息，以帮助提升模型性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

神经网络中的一些超参数：
1- 隐藏层的数量
2- 隐藏层单元的数量
3- 学习速率
4- dropout比例
5- 迭代次数
6- 优化器选择，如： SGD、Adam、Adagrad、Rmsprop
7- 激活函数选择，如：Relu、Sigmoid、Leaky Relu
8- batch_size大小
9- 是否使用batch normalization，layer normalization等

TensorBoard

简介： TensorBoard是tensorflow官方推出的可视化工具，可以将模型训练过程中的各种汇总数据展示出来，包括标量（Scalars）、图片（Images）、音频（Audio）、计算图（Graphs）、数据分布（Distributions）、直方图（Histograms）和潜入向量（Embeddings）。
重点需要学习的：