生成对抗网络&sigmoid

GAN论文:https://arxiv.org/abs/1406.2661

sigmoid

sigmoid/tanh作为映射函数，很好的把输出限制到目标区间，但是随之带来的问题是反向传播的收敛问题——梯度消失。

$$f(x)=sigmoid(x)$$
$$\nabla f(x)=sigmoid(x)[1-sigmoid(x)]$$
$$\nabla f(x)=f(x)[1-f(x)]$$

GAN

以生成对抗网络为例。
在论文中，对算法的伪代码描述如下:

如果在$G$和$D$中使用sigmoid激活函数，那在训练的收敛会出现问题。
以辨别器$D$为例:

辨别器$D$:

假设$D$的最后一层激活函数为$sigmoid$。未经过激活时的值为$D_{uact}$，即

$$D_{act}=sigmoid(D_{uact}$$