本文深入探讨了深度学习中的激活函数，解释了为何需要非线性激活函数以实现复杂函数逼近。介绍了线性与非线性激活函数，如Sigmoid、Tanh、ReLU、Leaky ReLU、Parametric ReLU和SWISH，分析了它们的优缺点及其在神经网络中的作用。激活函数的选择对网络的学习能力和性能至关重要。
理解深度学习中的激活函数
在这个文章中，我们将会了解几种不同的激活函数，同时也会了解到哪个激活函数优于其他的激活函数，以及各个激活函数的优缺点。
1. 什么是激活函数？
生物神经网络是人工神经网络的起源。然而，人工神经网络（ANNs）的工作机制与大脑的工作机制并不是十分的相似。不过在我们了解为什么把激活函数应用在人工神经网络中之前，了解一下激活函数与生物神经网络的关联依然是十分有用的。
一个典型神经元的物理结构由细胞体、向其他神经元发送信息的轴突以及从其他神经元接受信号或信息的树突组成。
图一 生物神经网络
图一中，红色的圆圈表示两个神经元连接的区域。神经元通过树突从其他神经元中接受信号。树突的信号强度称为突触权值，用于与传入信号相乘。树突传出的信号在细胞体中累积，如果最后的信号强度超过了某个阈值，神经元就会允许轴突中的信息继续传递。否则，信号就会被阻止而得不到进一步的传播。
激活函数决定了信号是否能够被通过。这个例子仅仅是个只有阈值这一个参数的简单的阶跃函数。现在，当我们学习了一些新东西（或者忘掉一些东西）时，阈值以及一些神经元的突触权重会发生改变。这在神经元中创造了新的连接从而使得大脑能学习到新的东西。
让我们在人工神经元的基础上来再次理解相同的概念。
图二 所示的例子是一个输入为 ( x 1 − x n ) (x_1-x_n) (x1−xn)的神经元，输入对应
的权重分布为 ( w 1 − w n ) (w_1-w_n) (w1−wn)，偏置为(b)，激活函数 ( f ) (f) (f)作用于输入
的权重之和上面。
图二中的 （ x 1 , . . . , x n ) （x_1,...,x_n) （x1,...,xn)是与权重 ( w 1 , . . . , w n ) (w_1,...,w_n) (w
最低0.47元/天 解锁文章
扫一扫
3786
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
