11、深度神经网络中的线性与非线性：原理、实现与应用

深度神经网络中的线性与非线性：原理、实现与应用

1. 线性与非线性概念引入

在神经网络的学习中，线性与非线性是一个较为复杂的概念。我们先来看看一个简单的代数现象：
- (1 * 10 * 2 = 100)，(5 * 20 = 100)；
- (1 * 0.25 * 0.9 = 0.225)，(1 * 0.225 = 0.225)。

从这些例子可以看出，对于任意两次乘法运算，我们都可以用一次乘法来达到相同的结果。这在神经网络中意味着什么呢？对于任意创建的三层网络，都存在一个具有相同行为的两层网络。也就是说，堆叠两层神经网络（就目前我们所了解的情况）并不会带来更多的能力，两次连续的加权求和只不过是一次加权求和的更复杂版本。

例如，有两个训练示例，输入分别为(1.0)和(-1.0)，无论怎样构建三层网络，其行为都能被两层网络所模拟。这就导致了一个问题，如果按照现在的方式训练三层网络，它是无法收敛的。

2. 神经网络无法工作的原因

在未进行修正之前，我们来看看中间层（layer_1）的情况。中间层的每个节点（这里有四个节点）都从每个输入接收一个权重。从相关性的角度来看，中间层的每个节点与每个输入节点都存在一定程度的相关性。
- 如果输入到中间层的权重为(1.0)，那么中间节点会完全跟随该输入节点的变化，即完全相关；
- 如果连接两个节点的权重为(0.5)，中间层节点会跟随该输入节点(50\%)的变化。

然而，在新的数据集中，输入和输出之间没有任何相关性。中间层只是混合了一堆已经无用的相关性，它无法为网络带来新的信息。我们真正需要的是中间层能够有选择地与输入建立相关性，即有时相关，有时不