激活函数sigmoid/tanh/relu区别

最新推荐文章于 2024-12-27 07:54:09 发布

原创最新推荐文章于 2024-12-27 07:54:09 发布 · 1.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#激活函数 #sigmoid #tanh #relu #饱和激活函数

AI 专栏收录该内容

20 篇文章

订阅专栏

本文介绍了在训练神经网络中常用的三种激活函数——sigmoid、tanh和relu，详细解析了它们的数学公式及其取值范围。sigmoid和tanh属于饱和激活函数，而relu是非饱和激活函数，因其能避免梯度消失问题而更受青睐。

激活函数sigmoid/tanh/relu区别

解释
例子

解释

训练网络做非线性变换时，经常会使用到 sigmoid/tanh/relu 激活函数，来增加网络的表达能力，公式为：

sigmoid: y = $\frac{1}{(1 + e^{-x})}$
y 取值 (0, 1)

tanh: y = $\frac{(e^{x} - e^{-x})}{(e^x + e^{-x})}$
y 取值 (-1, 1)

relu: y = max(0, x)
y 取值 [0, +inf)

例子

import numpy as np
import matplotlib.pyplot as plt


def sigmoid(x):
    return 1 / (1 + np.exp(-x))


def tanh(x):
    return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))


def relu(x):
    return np.maximum(0, x)


def main():
    x = np.arange(-5, 5, 0.1)
    p1 = plt.subplot(311)
    y = sigmoid(x)
    p1.plot(x, y)
    p1.set_title('sigmoid')
    p1.axhline(0.5, ls='--', color='r')
    p1.axvline(ls='--', color='r')

    p2 = plt.subplot(312)
    y = tanh(x)
    p2.plot(x, y)
    p2.set_title('tanh')
    p2.axhline(ls='--', color='r')
    p2.axvline(ls='--', color='r')

    p3 = plt.subplot(313)
    y = relu(x)
    p3.plot(x, y)
    p3.set_title('relu')
    p3.axvline(ls='--', color='r')

    plt.subplots_adjust(hspace=1)
    plt.show()
}


if __name__ == '__main__':
    main()