
激活函数
*逍遥*
这个作者很懒,什么都没留下…
展开
-
二分类交叉熵损失函数推导及其求导过程
假设函数更为一般的表达式:似然函数:对数似然函数:如果以上式作为目标函数,就需要最大化对数似然函数,我们这里选择最小化负的对数似然函数:对J(w)求极小值,对求导上述求导要用到 π(z)’ = π(z)(1-π(z)),其中π(z)为sigmoid函数(也叫logistic函数),z=w^Tx+b,我们将这些带入求导公式中运算即可得到结果。上述中 xi,j表示第i个样本的第...原创 2020-03-29 15:15:17 · 2962 阅读 · 0 评论 -
深度学习中几种常用激活函数的导数
虽然在z=0时没有斜率但可以人为加上去,在实际上等于0的概率很小所以,令其等于两个中任意一个都可以。原创 2020-01-21 11:25:19 · 909 阅读 · 0 评论