深度学习之激活函数

最新推荐文章于 2025-05-27 19:46:18 发布

freedomUSTB

最新推荐文章于 2025-05-27 19:46:18 发布

阅读量2.6k

点赞数

分类专栏：深度学习文章标签：深度学习人工智能计算机视觉

本文链接：https://blog.youkuaiyun.com/freedomUSTB/article/details/121826949

版权

深度学习专栏收录该内容

6 篇文章

订阅专栏

本文通过代码展示了Sigmoid、ReLU、ReLU6、Swish和HardSwish等几种常用的激活函数，并通过绘制曲线图直观地对比了它们的形状特征。这些函数在神经网络中起到非线性转换的作用，影响模型的学习能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近偶然间把近几年常用的一些激活函数打印了出来，发现他们好像啊。

Activations

代码如下：

import numpy as np
import matplotlib.pylab as plt

def Sigmoid(x):
    return 1./(1.+np.exp(-x))

def ReLU(x):
    return np.maximum(0, x)

def ReLU6(x):
    return np.minimum(6., np.maximum(0, x))

def Swish(x):
    return x * Sigmoid(x)

def HardSwish(x):
    return x*ReLU6(x+3.)/6.


x = np.arange(-10, 10, 0.1)

y1 = Sigmoid(x)
y2 = ReLU(x)
y3 = ReLU6(x)
y4 = Swish(x)
y5 = HardSwish(x)


plt.plot(x, y1)
plt.plot(x, y2)
plt.plot(x, y3)
plt.plot(x, y4)
plt.plot(x, y5)
plt.legend(['Sigmoid(x)', 'ReLU(x)', 'ReLU6(x)', 'Swish(x)', 'HardSwish(x)'], loc='upper left')
plt.show()