pytorch-9-激活函数、loss及其梯度

于 2020-08-10 00:03:48 发布
阅读量323 收藏
点赞数 1
分类专栏： pytorch突击 文章标签： 深度学习 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Xiaobai_rabbit0/article/details/107902221
版权
本文探讨了PyTorch中激活函数的作用，包括不可导的阶梯函数和可导的sigmoid、tanh及ReLU函数，重点阐述了ReLU如何缓解梯度消失和爆炸问题。此外，还讲解了损失函数及其导数的两种计算方法，并提到了分类问题中常用的softmax激活函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

激活函数及其梯度

1、激活函数及其梯度

在这里插入图片描述

  • 不可导的激活函数（阶梯函数）
    在这里插入图片描述
    可导的激活函数
  • sigmoid
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • tanh
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • Relu(很好用)
    在这里插入图片描述
    极大的减轻了梯度离散、梯度爆炸现象
    在这里插入图片描述
    在这里插入图片描述

2、loss及其梯度

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 求导：方法一
    在这里插入图片描述
    -求导：方法二
    在这里插入图片描述
    在这里插入图片描述
  • 分类激活函数：softmax
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值