12、神经网络可视化与过拟合问题解析

神经网络可视化与过拟合问题解析

1. 简化思维与相关性总结

在学习神经网络时，面对复杂的代码和众多概念，我们需要简化思维。之前的代码示例包含大量内容，随着示例规模增大，我们应更注重概念的记忆，而非具体代码字母。从机器学习基础概念开始，我们逐步了解了单个线性节点、神经元层以及层堆叠的学习方式，也知道学习的本质是将误差降为 0，并通过微积分调整网络权重。

而神经网络的核心可以总结为寻找输入和输出数据集之间的相关性，这就是“相关性总结”。它能让我们忽略单个神经元行为的细节，避免被神经网络的复杂性淹没。相关性总结分为局部和全局两种：
- 局部相关性总结 ：任何一组权重都在优化，以学习如何将其输入层与输出层期望的状态相关联。当只有输入和输出两层时，权重矩阵会根据输出数据集寻找输入和输出数据集之间的相关性；当有多层时，情况会更复杂。
- 全局相关性总结 ：前一层的状态可以通过后一层的状态乘以它们之间的权重来确定，这种层间的交叉通信就是反向传播。全局相关性让各层知道自身状态，局部相关性则对权重进行局部优化。

2. 可视化的简化

最初我们对神经网络的可视化较为复杂，包含大量细节。但基于相关性总结，我们无需再关注单个权重的更新，只需确保它们能正确捕捉相关性。因此，我们可以简化可视化方式。

将神经网络看作一系列权重矩阵和对应向量，我们可以用更通用的方式表示它们，如将其视为任意大小的向量和矩阵。进一步简化时，我们发现矩阵的维度与前后层的维度有直接关系，这让我们能更简洁地表示神经网络。

不同的神经网络架构（即层和权重的特定配置）对寻找相关性的效果