为什么必须在神经网络种引入非线性

最新推荐文章于 2024-06-17 15:58:34 发布

原创最新推荐文章于 2024-06-17 15:58:34 发布 · 2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络

python 同时被 2 个专栏收录

101 篇文章

订阅专栏

人工智能

75 篇文章

订阅专栏

本文探讨了神经网络中引入非线性层的重要性，指出线性网络堆叠仍为线性，而非线性层增强网络表现力。通过实例说明，非线性层使得网络能够表示复杂函数，是设计有效网络架构的基础。

如果神经网络中没有引入非线性层，那么神经网络就变成了线性层的堆叠。
而多层线性网络的堆叠本质上还是一个线性层，我们以两层线性网络的堆叠为例：
我们用 𝑓(𝑥)表示第一层线性网络，𝑔(𝑥)表示第二层线性网络，则两层网络的堆叠表示为：

在这里插入图片描述
我们令：

那么原来的表达式就变为：

所以ℎ(𝑥) 还是一个线性函数。
而我们知道线性函数的表现力是有限的，它只能表示特征与目标值之间比较简单的关系，相反带有非线性层的神经网络被证明可以表示任何函数。
所以为了使得网络设计发挥作用，并且提高网络的表现力，必须要在神经网络中引入非线性。