激活函数整理

_RollingZ

已于 2022-07-19 08:45:45 修改

阅读量171

点赞数

分类专栏：目标检测code pytorch基础+utils 文章标签： pytorch 深度学习神经网络

于 2022-06-05 22:51:18 首次发布

本文链接：https://blog.youkuaiyun.com/sinat_41939352/article/details/125120854

版权

目标检测code 同时被 2 个专栏收录

4 篇文章

订阅专栏

pytorch基础+utils

3 篇文章

订阅专栏

本文介绍了几种常见的激活函数，包括ReLU、Leaky ReLU、ReLU6和Sigmoid，并提供了它们的数学定义和Python实现。通过可视化展示了这些函数的图形特性，帮助读者理解它们在神经网络中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

激活函数整理

先写几个常用的，以后抽时间整理一下吧

Relu

[0,∞)
pass

leakyRelu

(lim->0 , ∞)
pass

Relu6

[0,6]
pass

Sigmoid

(0,1)

$\frac{1}{1+e^{-x}}.$
在这里插入图片描述
pass

自己实现：

pass

调用torch官网：


def showAF(x):
    y0=relu = F.relu(x)
    y1=leakyRelu=F.leaky_relu(x)
    y2=sigmoid=torch.sigmoid(x)
    y3=relu6 = torch.nn.ReLU6(x)
    
    plt.title('activationFunctions')
    plt.plot(x, y0, color='red', label='Relu')
    plt.plot(x, y1, '--',color='blue', label='LeakyRelu')
    plt.plot(x, y2, '-.', color='green', label='Sigmoid')
    plt.plot(x, y3, color='pink', label='ReLU6')
    plt.legend()
    plt.grid(True,linestyle='--',alpha=0.8)

    plt.xlabel('x')
    plt.ylabel('y')
    plt.show()
x=torch.linspace(-10,10,100)
showAF(x)

在这里插入图片描述