12、神经网络可视化与过拟合问题深入解析

神经网络可视化与过拟合问题深入解析

简化思维，聚焦核心概念

在学习神经网络的过程中，我们往往会遇到复杂的代码和众多的概念。就像之前看到的一个包含35行密集代码的神经网络示例，它背后涉及超过100页的概念，这些概念组合起来可以预测是否可以安全过马路。随着学习的深入，我们不应仅仅停留在记忆具体的代码字母上，而应着重理解概念，并基于这些概念重建代码。

回顾之前所学，我们从机器学习的基本思想开始，逐步了解单个线性节点（神经元）的学习方式，接着是水平的神经元组（层）和垂直的层组（层栈）。我们还知道学习实际上就是将误差减小到0，并运用微积分来确定如何改变网络中的每个权重，以使误差朝着0的方向移动。

后来，我们探讨了神经网络如何在输入和输出数据集之间寻找（有时甚至创造）相关性。这一观点让我们可以忽略之前关于单个神经元行为的细节，因为它简洁地概括了之前的内容。神经元、梯度、层栈等的总和归结为一个核心思想：神经网络寻找并创造相关性。我们将这个思想命名为“相关性总结”。

相关性总结是迈向更高级神经网络的关键。从宏观层面看，所有神经网络都在寻找输入层和输出层之间的直接和间接相关性，输入层和输出层分别由输入和输出数据集决定。具体到某个权重矩阵，它会优化以学习如何将其输入层与输出层所期望的结果相关联。当只有输入和输出两层时，权重矩阵根据输出数据集知道输出层的期望结果，从而寻找输入和输出数据集之间的相关性。而当有多个层时，情况会更加复杂，这就涉及到全局相关性总结。全局相关性通过反向传播让后续层告诉前面的层它们需要什么样的信号，最终找到与输出的相关性。当全局相关性确定了每个层的目标后，局部相关性就可以对权重进行局部优化。

简化可视化，把握网络架构