函数的饱和性

假设h(x)是一个激活函数

1.饱和

当激活函数h(x)满足

时，我们称之为右饱和。

当激活函数h(x)满足

时，我们称之为左饱和。

当一个激活函数既满足左饱和又满足右饱和时，我们称之为饱和，典型的函数有Sigmoid和tanh函数。

2.硬饱和和软饱和

对于任意的x，如果存在常数c，当x>c时，恒有=0，则称其为右硬饱和。如果对于任意的x，如果存在常数c，当x<c时，恒有=0,则称其为左硬饱和。既满足左硬饱和又满足右硬饱和的我们称这种函数为硬饱和。

对于任意的x，如果存在常数c，当x>c时，恒有趋近于0，则称其为右软饱和。如果对于任意的x，如果存在常数c，当x<c时，恒有趋近于0,则称其为左软饱和。既满足左软饱和又满足右软饱和的我们称这种函数为软饱和。