论文总结：Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation

论文地址：https://arxiv.org/pdf/1308.3432.pdf

主要内容

许多基于神经网络或深度学习的算法都是依赖于梯度的学习，为此需要平滑的网络来计算梯度，但这种想法并不正确。引入扰动可以获得估计的梯度。

像有限差分近似这种独立扰动计算低效，因此需要引入随机扰动。

那么好的梯度估计值是否可以进行计算和训练？

基于这一问题，作者讨论了四种方案：

1. Noisy Rectifier
2. STS Units: Stochastic Times Smooth
3. Straight-Through EstimatorStraight-Through Estimator
4. Conditional Computation Experiments

考虑神经元的输出$h_i$：

其中，$h_i$是确定的函数。$a_i$是可微的变换，ziz_i<