11、深度神经网络：线性与非线性的奥秘

深度神经网络：线性与非线性的奥秘

1. 线性与非线性概念引入

在神经网络的世界里，线性与非线性是一个较为复杂的概念。我们先来看看简单的代数运算，例如：
- (1 * 10 * 2 = 100)，(5 * 20 = 100)
- (1 * 0.25 * 0.9 = 0.225)，(1 * 0.225 = 0.225)

从这些运算可以看出，对于任意两次乘法运算，我们都可以用一次乘法来达到相同的结果。在神经网络中，这意味着对于任何三层网络，都存在一个行为完全相同的两层网络。也就是说，堆叠两个目前所了解的神经网络并不会带来更多的能力，两次连续的加权求和只是一次加权求和的更复杂版本。

2. 神经网络无法工作的原因

如果按照当前的状态训练三层网络，它是无法收敛的。问题在于，对于输入的任意两次连续加权求和，都存在一个行为完全相同的单一加权求和。三层网络能做的事情，两层网络同样可以做到。

我们来看看中间层（layer_1）在未修复之前的情况。中间层的每个节点（共四个）都从每个输入接收一个权重。从相关性的角度来看，中间层的每个节点与每个输入节点都有一定程度的相关性。如果输入到中间层的权重为(1.0)，那么该节点会完全跟随输入节点的变化；如果权重为(0.5)，则跟随(50\%)的变化。

然而，在新的数据集中，输入和输出之间没有相关性。中间层只是将一堆已经无用的相关性混合在一起，并没有自己独立的相关性。我们真正需要的是中间层能够有选择性地与输入建立相关性，也就是有时相关，有时不相关，这被称为条件相关性或有时相关性。

3. 有时相关性的秘密

实现有时相关性的关键是，当节点的值低