10、神经网络训练与TensorFlow高级应用

神经网络训练与TensorFlow高级应用

1. 不同权重初始化方法的实验验证

在神经网络训练中，权重初始化方法对模型的性能有着重要影响。下面将对三种不同的权重初始化方法进行实验验证，并使用TensorBoard可视化权重分布的变化。

1.1 实验设置

实验使用了三种不同的权重初始化方法：He初始化、Glorot初始化和正态分布（μ = 0，σ = 0.01）初始化，分别应用于三个不同的模型（Model - 1、Model - 2和Model - 3）。在训练网络时，将 tf.keras.callbacks.TensorBoard 函数的 histogram_freq 参数设置为1，这样可以记录每个epoch训练中各层的权重分布，并且可以使用TensorBoard的 DISTRIBUTIONS 和 HISTOGRAMS 工具进行可视化分析。

操作步骤如下：
1. 进入存储“lab5 - logs”的位置。
2. 通过以下命令行打开TensorBoard查看训练记录：

tensorboard --logdir lab5 - logs

1.2 不同模型的权重分布分析

模型	权重初始化方法
Model - 1