12、神经网络可视化与过拟合问题解析

神经网络可视化与过拟合问题解析

1. 简化思考与相关性总结

在学习神经网络时，持续思考所有细节是不切实际的。之前的代码示例虽然强大，但包含了大量复杂内容。随着示例规模增大，更应关注概念而非具体代码。

学习过程是从基础概念开始，逐步构建抽象层次。先是机器学习的基本思想，接着是单个线性节点（神经元）的学习，再到神经元的水平和垂直组合（层和层栈）。学习的本质是将误差降为 0，通过微积分来调整网络中的权重。

神经网络会寻找输入和输出数据集之间的相关性，甚至创造相关性。这一观点总结了之前关于神经元行为的内容，即神经网络的核心是寻找和创造相关性，我们将其称为“相关性总结”。

相关性总结可分为：
- 局部相关性总结 ：任何一组权重都会优化，以学习如何将其输入层与输出层应有的状态相关联。当只有输入和输出两层时，权重矩阵根据输出数据集寻找输入和输出之间的相关性；多层时情况更复杂。
- 全局相关性总结 ：前一层的状态可通过后一层的状态乘以它们之间的权重来确定，这种跨层通信就是反向传播。全局相关性让各层知道自身状态，局部相关性则优化局部权重。

2. 可视化的简化

最初对神经网络的可视化包含过多细节，在理解相关性总结后，我们无需再关注单个权重的更新，只需确保它们能正确捕捉相关性。

可以将神经网络看作一系列权重矩阵和对应向量。为简化可视化，我们可以将其视为任意大小的向量和矩阵。例如，把向量用条带表示，矩阵用盒子表示，单个权重用圆圈表示。

进一步简化时，可根据层的维度推断矩阵的维度。如前一层有三个维度，后一层有