数学知识
关注
分享
扫一扫
Sophia$
算法
展开
-
激活函数
1. 激活函数导数：2.sigmoid函数其实logistic函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线（S型曲线）。A logistic function or logistic curve is a common “S” shape (sigmoid curve). 也就是说，sigmoid把一个值映射到0-1之间。该函数具有如下...原创 2019-12-09 11:47:02 · 1524 阅读 · 0 评论 -
函数的饱和性
假设h(x)是一个激活函数1.饱和当激活函数h(x)满足时，我们称之为右饱和。当激活函数h(x)满足时，我们称之为左饱和。当一个激活函数既满足左饱和又满足右饱和时，我们称之为饱和，典型的函数有Sigmoid和tanh函数。2.硬饱和和软饱和对于任意的x，如果存在常数c，当x>c时，恒有=0，则称其为右硬饱和。如果对于任意的x，如果存在常数c，当x<...原创 2019-12-05 09:55:17 · 4537 阅读 · 0 评论