35、深入探索TensorFlow：从基础到实践

深入探索TensorFlow：从基础到实践

1. 练习题与思考

• 权重初始化问题 ：是否可以使用He初始化随机选择一个值，并将所有权重初始化为该值？
• 偏置项初始化 ：将偏置项初始化为0是否可行？
• 激活函数优势 ：SELU激活函数相较于ReLU有哪三个优势？
• 激活函数使用场景 ：在哪些情况下适合使用SELU、leaky ReLU（及其变体）、ReLU、tanh、logistic和softmax激活函数？
• 动量超参数问题 ：使用SGD优化器时，若将动量超参数设置得接近1（如0.99999）会发生什么？
• 稀疏模型生成方法 ：列举三种生成稀疏模型的方法。
• Dropout影响 ：Dropout是否会减慢训练速度？是否会减慢推理速度？MC Dropout呢？
• CIFAR10数据集实践 ：
  • 构建一个具有20个隐藏层，每层100个神经元的深度神经网络（DNN），使用He初始化和ELU激活函数。
  • 使用Nadam优化和早停法在CIFAR10数据集上训练网络。可使用 keras.datasets.cifar10.load_data() 加载数据集，该数据集由60,000张32×