Decennie的博客

浅谈Policy Gradient深度增强学习之Policy Gradient方法1【强化学习】策略梯度（Policy Gradient）强化学习基础四–Policy Gradient 理论推导

Renfenrence关于batch normalization和layer normalization的理解文章目录1. Batch normalization和Layer normalization的动机1.1白化(whitening)1.2 内部变量偏移(Internal Covariate Shift)2.BN和LN的不同3. BN和LN的优点和不足4. Bert、Transformer中为何使用的是LN而很少使用BN4.1 第一个解释4.2第二个解释在深度学习中经常看到batch normal

所以，为了尊重底层神经网络的学习结果，我们将规范化后的数据进行再平移和再缩放，使得每个神经元对应的输入范围是针对该神经元量身定制的一个确定范围（均值为 [公式] 、方差为 [公式] ）。rescale 和 reshift 的参数都是可学习的，这就使得 Normalization 层可以学习如何去尊重底层的学习结果。...