CNN基础知识 || 激活函数 Mish、Relu、Softplus的公式和画法

最新推荐文章于 2025-05-13 16:16:54 发布

magic_ll

最新推荐文章于 2025-05-13 16:16:54 发布

阅读量2.6k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： cnn知识

本文链接：https://blog.youkuaiyun.com/magic_ll/article/details/114940262

cnn知识专栏收录该内容

5 篇文章

订阅专栏

本文介绍了Mish和ReLU两种常见的激活函数及其数学表达式，并通过Python代码绘制了这两种函数及Softplus函数的图像，直观展示了它们之间的区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Mish激活函数： $f(x)=x⋅tanh⁡(softplus(x))=x⋅tanh⁡(ln⁡(1+ex))f(x)=x\cdot \tanh(softplus(x))=x\cdot \tanh(\ln(1+e^x))$
relu激活函数： $f(x)=max\{0,x\}$
Softplus函数： $f(x)=\ln(1+e^x)$

画图为：

三个激活函数的曲线如下图：
在这里插入图片描述
python 的实现代如下：


import numpy as np
import matplotlib.pyplot as plt

plt.annotate("", xy=(4.1, 0), xycoords='data', xytext=(-4.1, 0), textcoords='data',
            arrowprops=dict(arrowstyle="->", connectionstyle="arc3"))  # 画x轴
plt.annotate("", xy=(0, 4.1), xycoords='data', xytext=(0, -1.1), textcoords='data',
            arrowprops=dict(arrowstyle="->", connectionstyle="arc3"))  # 画y轴
plt.text(3.9, 0.1, 'x')  # 标x
plt.text(0.1, 3.9, 'y')  # 标y
plt.xlim(-4.1, 4.1)  # 箭头
plt.ylim(-1.1, 4.1)  #箭头


X = np.linspace(-4, 4, 1024)

Y1 = np.log(1 + np.exp(X))
Y2 = X * np.tanh(np.log(1 + np.exp(X)))
Y3 = np.maximum(X, 0)

# plt.title('$f(x)=softplus$')
# plt.title('$f(x)=relu$')
# plt.title('$f(x)=Mish$')

plt.plot(X, Y1, c = 'g')
plt.plot(X, Y2, c = 'b')
plt.plot(X, Y3, c = 'r')

plt.show()