42、非结构化数据的神经网络：多层感知器、反向传播与生物联系解读

非结构化数据的神经网络：多层感知器、反向传播与生物联系解读

1. 多层感知器（MLPs）的输出方差问题

在处理一维回归数据集时，我们可以使用多层感知器（MLPs）进行建模。有一种特殊的MLP结构，它具有共享的“主干”和两个输出“头”，一个用于预测均值，另一个用于预测方差。当噪声不断增大时，我们会发现不同处理输出方差的方式会对模型产生不同的影响。
- 输出方差与输入相关的情况 ：在这种情况下，模型的输出方差会根据输入的不同而变化，就像上述具有特殊结构的MLP一样。这种方式能够更好地适应不同输入点的噪声水平。
- 输出方差作为固定参数的情况 ：当将输出方差$\sigma^2$视为固定（与输入无关）的参数时，模型有时会表现出信心不足的情况。这是因为它需要适应整体的噪声水平，而无法针对输入空间中的每个点的噪声水平进行调整。

这种现象在随机波动率模型中有实际应用，该模型可用于对金融数据以及地球全球温度进行建模。由于气候变化，地球的平均温度和温度方差都在增加，使用合适的模型来处理这种变化是很重要的。

2. 深度的重要性

2.1 单层隐藏层的MLP

理论上，具有一个隐藏层的MLP是通用函数逼近器。这意味着在有足够多的隐藏单元的情况下，它可以以任意期望的精度对任何适当平滑的函数进行建模。直观地说，每个隐藏单元可以指定一个半平面，通过足够多的这些半平面的组合，可以“划分”任何空间区域，并为其关联任何响应。当使用分段线性激活函数时，这种情况最容易理解。

2.2 深度网络的优势

然而，实验和理论研究都表明，深度网络通常比浅层网络表现更好