11、深入理解深度神经网络：线性与非线性的奥秘

深入理解深度神经网络：线性与非线性的奥秘

1. 线性与非线性的概念

在神经网络的学习中，线性与非线性是一个较为复杂的概念。为了让大家更好地理解，我们从一个简单的代数现象入手。

例如：
- (1 * 10 * 2 = 100)，也可以写成 (5 * 20 = 100)。
- (1 * 0.25 * 0.9 = 0.225)，同样 (1 * 0.225 = 0.225)。

这表明，对于任意两个乘法运算，我们可以用一个单一的乘法来达到相同的结果。在神经网络中，这意味着对于任何一个三层网络，都存在一个行为完全相同的两层网络。也就是说，堆叠两个目前所了解的神经网络并不会增加网络的能力，连续的两次加权求和实际上只是一次加权求和的更复杂版本。

如果现在对三层网络进行训练，它是无法收敛的。因为对于输入的任意两次连续加权求和，都存在一个具有完全相同行为的单一加权求和。三层网络能做的事情，两层网络同样可以做到。

接下来，我们从相关性的角度来分析中间层（layer_1）。在中间层的每个节点，都有来自每个输入的权重。每个中间层节点与每个输入节点都有一定程度的相关性。如果输入到中间层的权重为 1.0，那么中间层节点会完全跟随该输入节点的变化；如果权重为 0.5，中间层节点会跟随该输入节点 50% 的变化。

然而，在新的数据集中，输入和输出之间没有相关性。中间层目前只是混合了一堆已经无用的相关性，无法起到有效的作用。我们真正需要的是中间层能够有选择地与输入建立相关性，即有时与输入相关，有时不相关，这种相关性被称为条件相关性或有时相关性。

2. 有时相关性的秘诀

实现有时相关性的秘诀是当