几种激活函数的详解及代码实现：sigmoid()、softmax()、tanh()、relu()、leaky_relu()

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

1.sigmoid()函数

# Sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间
# 除了输出层是一个二元分类问题外，基本不用Sigmoid函数
def sigmoid(x):
    y = 1/(1+np.exp(-x))
    return y

曲线绘制：

X = np.arange(-5, 5, 0.1)
y = sigmoid(X)
plt.plot(X, y)
plt.ylim(-0.1, 1.1)
plt.scatter(0,0.5,marker='*',c='r')
plt