使用tensorboard进行超参数优化的可视化

神经网络中的一些超参数：
1- 隐藏层的数量
2- 隐藏层单元的数量
3- 学习速率
4- dropout比例
5- 迭代次数
6- 优化器选择，如： SGD、Adam、Adagrad、Rmsprop
7- 激活函数选择，如：Relu、Sigmoid、Leaky Relu
8- batch_size大小
9- 是否使用batch normalization，layer normalization等

TensorBoard

简介： TensorBoard是tensorflow官方推出的可视化工具，可以将模型训练过程中的各种汇总数据展示出来，包括标量（Scalars）、图片（Images）、音频（Audio）、计算图（Graphs）、数据分布（Distributions）、直方图（Histograms）和潜入向量（Embeddings）。
重点需要学习的：

• 数据分布可视化

作用： tensorflow代码执行过程现构建图然后再执行，所以中间过程的调试不太方便，除此之外，在使用tensorflow训练大型深度学习网络的时候，中间的计算过程可能非常复杂，所以为了**理解、调试、优化网络**，可以使用TensorBoard观察训练过程中的各种可视化数据。

tensorboard可视化过程

什么是graph和session

Graph 定义操作，如果并不自己创建graph，tensorflow加载库的恶时候会创