TEDDY的博客

神经网络在训练过程中往往会遇到一些问题：问题1: 随着网络训练，浅层的权重发生变化，导致深层的输入变化很大。因此每层必须根据每批输入的不同分布重新调整其权重。这减缓了模型训练。如果我们可以使层的输入分布更相似，那么网络可以专注于学习类别之间的差异。不同批次分布的另一个影响是梯度弥散。梯度弥散是一个大问题，特别是对于S形激活函数（sigmoid）。如果g(x)表示sigmoid激活函数，随着 |x| 增加，g’（x）趋于零。问题2：当输入分布变化时，神经元输出也会变化。这导致神经元输出偶尔波动

第1章：TensorFlow2.0基础入门 第1节：实训平台链接 https://lianxi.xiaoxiangxueyuan.com/赵英俊Enjoy/project/Tensorflow2.0编程从入门到实践 第2节：Hello World Hello World Hello World知识点测试 第3节：Eager模式与Autograph Eager与AutoGraph t...