常用的激活函数

最新推荐文章于 2024-06-14 13:40:28 发布

隐终

最新推荐文章于 2024-06-14 13:40:28 发布

阅读量251

点赞数

分类专栏： Tensorflow 文章标签：人工智障

本文链接：https://blog.youkuaiyun.com/qq_34124083/article/details/79651000

版权

Tensorflow 专栏收录该内容

6 篇文章

订阅专栏

本文通过Python代码实现了四种常见的激活函数：Sigmoid、ReLU、Tanh和Softplus的可视化，并使用TensorFlow进行运算。每种激活函数都有其独特的数学表达形式及应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#activation function
import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf

x = np.linsoace(-7,7,180)


def sigmoid(inputs):
	y = [ 1 / float(1 + np.exp(-x)) for x in inputs ]
	return y

def relu(inputs):
	y = [ x * (x>0) for x in inputs ]
	return y

def tanh(inputs):
	y = [ (np.exp(x) - np.exp(-x)) / float(np.exp(x) + np.exp(-x)) for x in inputs ]
	return y

def softplus(inputs):
	y = [  np.log(1+np.exp(x)) for x in inputs ]
	return y

y_sigmoid = tf.nn.sigmoid(x)
y_relu = tf.nn.relu(x)
y_tanh = tf.nn.tanh(x)
y_softplus = tf.nn.softplus(x)

sess = tf.Session()

y_sigmoid,y_relu,y_tanh,y_softplus = sess.run([y_sigmoid,y_relu,y_tanh,y_softplus])

#绘制图形
plt.subplot(221)
plt.plot(x,y_sigmoid,c="red",label="Sigmoid")
plt.ylim(-0.2,1.2)
plt.legend(loc="best")

plt.subplot(222)
plt.plot(x,y_relu,c="red",label="Relu")
plt.ylim(-1,6)
plt.legend(loc="best")

plt.subplot(223)
plt.plot(x,y_tanh,c="red",label="Tanh")
plt.ylim(-1.2,1.2)
plt.legend(loc="best")

plt.subplot(224)
plt.plot(x,y_softplus,c="red",label="Softplus")
plt.ylim(-1,6)
plt.legend(loc="best")

plt.show()

sess.close()