12、神经网络可视化与正则化入门

神经网络可视化与正则化入门

1. 简化思维与相关性总结

在学习神经网络时，面对复杂的代码和众多概念，我们需要简化思维。之前的代码示例中，仅神经网络部分就有35行极其密集的代码，包含了超过100页的概念。随着示例规模增大，我们应更多地记住概念，而非具体代码字母，再基于概念重构代码。

学习过程是从机器学习的基本思想开始，逐步深入到单个线性节点（神经元）的学习，再到水平的神经元组（层）和垂直的层组（层栈）。学习的本质是将误差降为0，我们利用微积分来调整网络中的权重以减小误差。

神经网络会寻找输入和输出数据集之间的相关性，甚至创造相关性。这一观点可以概括之前关于单个神经元行为的诸多知识。我们将其命名为“相关性总结”，它是学习深度学习的关键，能避免我们被神经网络的复杂性淹没。

相关性总结包含以下内容：
- 全局相关性总结 ：神经网络旨在寻找输入层和输出层之间的直接和间接相关性，输入层和输出层分别由输入和输出数据集决定。
- 局部相关性总结 ：任何一组权重都会进行优化，以学习如何将其输入层与输出层所期望的结果相关联。
- 全局相关性与反向传播 ：通过将后续层的期望结果乘以它们之间的权重，可以确定前层的期望状态。这种层间的交叉通信称为反向传播。当全局相关性告知各层应有的状态后，局部相关性会对权重进行局部优化。

2. 简化可视化

最初，我们对神经网络的可视化可能是输入数据集在 layer_0，通过权重矩阵连接到 layer_1 等。但这种可视化细节过多，基于相关性总结，我们无需再关注单个权重