pytorch 入门--激活函数

激活函数：

这里主要是介绍四种，sigmoid, relu, tanh, softplus

代码如下：

使用包的导入：

import torch
import torch.nn.functional as F
from torch.autograd import Variable
import matplotlib.pyplot as plt

模拟数据：

# fake data
x = torch.linspace(-5, 5, 200)
print(x, len(x), type(x))
x = Variable(x)
x_np = x.data.numpy()
print(x, type(x))

函数使用：

# activation functions 
function_dict = {
    "y_relu": F.relu(x),
    "y_sigmoid": F.sigmoid(x),
    "y_tanh": F.tanh(x),
    "y_softplus": F.softplus(x)
}

画图展示：

# 显示函数曲线
plt.figure(1, figsize=(8, 6))
plt.subplot(221)
plt.plot(x_np, function_dict["y_relu"].data.numpy(), c="red", label="relu")
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.subplot(222)
plt.plot(x_np, function_dict["y_sigmoid"].data.numpy(), c="red", label="sigmoid")
plt.ylim((-0.2, 1.2))
plt.legend(loc="best")

plt.subplot(223)
plt.plot(x_np, function_dict["y_tanh"].data.numpy(), c="red", label="tanh")
plt.ylim((-1.2, 1.2))
plt.legend(loc="best")

plt.subplot(224)
plt.plot(x_np, function_dict["y_softplus"].data.numpy(), c="red", label="softplus")
plt.ylim((-0.2, 6))
plt.legend(loc="best")

结果：

各种函数的介绍：

sigmoid: (补充)

relu: (补充)

tanh:(补充)

softplus:(补充)