15、神经网络中的概率建模、非线性激活与权重复用

神经网络中的概率建模、非线性激活与权重复用

1. 输入的相似性与激活函数选择

在神经网络中，不同的输入往往具有相似性。以MNIST数字数据集为例，不同数字的图像存在像素值的重叠，比如数字2和3的平均图像就有不少共同之处。一般来说，相似的输入会产生相似的输出。当输入乘以一个矩阵时，如果起始数字相似，最终结果也会相似。

若在正向传播中，输入数字2时，有少量概率错误地分配到了标签3。若网络将此视为重大错误并进行大幅权重更新，就会惩罚网络识别数字2时使用与数字2并非完全专属相关的特征。例如，数字2和3图像顶部曲线相同，使用sigmoid函数训练时，网络若基于此输入预测数字2就会受到惩罚，因为这与预测数字3的输入有重合。这样一来，当输入数字3时，数字2的标签也会获得一定概率。

这种情况的副作用是，由于大多数图像中间部分像素相似，网络会开始关注图像边缘。以检测数字2的节点权重为例，图像中间部分权重模糊，而边缘端点权重较大。但这种个别指标可能会被位置稍有偏移或倾斜的数字3意外触发，导致网络无法学习到数字2的真正本质。

因此，我们需要一种输出激活函数，它不会惩罚相似的标签，而是关注所有可能指示潜在输入的信息。Softmax函数就满足这样的需求，其概率总和始终为1，能将单个预测解释为该预测属于特定标签的全局概率，在理论和实践中都表现更好。

2. Softmax计算

Softmax函数会对每个输入值进行指数运算，然后除以该层所有值的总和。以下是一个基于神经网络假设输出值的Softmax计算示例：
| 标签 | 原始点积值 | (e^x) | Softmax值 |
| ---- | ---- | ---- | ----