Pytorch学习（三）----Activation function

最新推荐文章于 2025-02-16 19:08:49 发布

原创最新推荐文章于 2025-02-16 19:08:49 发布 · 193 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

该博客通过Python的PyTorch库展示了ReLU、Sigmoid、Tanh和Softplus四种常用的激活函数的图形表现，帮助理解它们在不同输入值下的行为特点。代码绘制了从-5到5范围内的200个数据点的曲线图，直观地对比了这些函数的形状和动态范围。

部署运行你感兴趣的模型镜像

激励函数

莫烦python视频学习笔记视频链接https://www.bilibili.com/video/BV1Vx411j7kT?from=search&seid=3065687802317837578

import torch
import torch.nn.functional as F
# nn是神经网络模块
from torch.autograd import Variable
import matplotlib.pyplot as plt
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
# import os 这里是为了防止报错加的

# fake data
# 在-5到5之间取200个线段
x = torch.linspace(-5, 5, 200)
x = Variable(x)
# 因为torch的数据是不能被matplotlib识别,所以画图的时候还是要转换成numpy的数据
x_np = x.data.numpy()

# 设置激励函数的激励值
y_relu = F.relu(x).data.numpy()
y_sigmoid = F.sigmoid(x).data.numpy()
y_tanh = F.tanh(x).data.numpy()
y_softplus = F.softplus(x).data.numpy()

# 画图
plt.figure(1, figsize=(8, 6))
plt.subplot(221)
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim(-1, 5)
plt.legend(loc='best')

plt.subplot(222)
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim(-0.2, 1.2)
plt.legend(loc='best')

plt.subplot(223)
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim(-1.2, 1.2)
plt.legend(loc='best')

plt.subplot(224)
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim(-0.2, 6)
plt.legend(loc='best')

plt.show()

输出图像：
Alt

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理