63、神经网络：误差函数、参数优化与局部近似

神经网络：误差函数、参数优化与局部近似

1. 输出单元激活函数与匹配误差函数

在解决不同类型的问题时，存在自然的输出单元激活函数和匹配误差函数的选择。具体如下：
| 问题类型 | 输出单元激活函数 | 匹配误差函数 |
| — | — | — |
| 回归 | 线性输出 | 平方和误差 |
| （多个独立）二元分类 | 逻辑Sigmoid输出 | 交叉熵误差函数 |
| 多类分类 | Softmax输出 | 多类交叉熵误差函数 |

对于涉及两类的分类问题，我们可以使用单一的逻辑Sigmoid输出，或者使用具有两个输出且采用Softmax输出激活函数的网络。

Softmax函数的表达式为：
[y_k(x, w) = \frac{\exp(a_k(x, w))}{\sum_{j}\exp(a_j(x, w))}]
该函数满足 (0 \leqslant y_k \leqslant 1) 且 (\sum_{k} y_k = 1)。需要注意的是，如果给所有的 (a_k(x, w)) 加上一个常数，(y_k(x, w)) 不会改变，这会导致误差函数在权重空间的某些方向上为常数。若在误差函数中添加适当的正则化项（可参考相关内容），则可消除这种退化现象。

2. 参数优化

我们接下来的任务是找到一个权重向量 (w)，使所选的函数 (E(w)) 最小化。此时，将误差函数看作一个位于权重空间上方的曲面（如图所示）是很有用的。

2.1 误差函数的几何理解

如果在权重空间中从 (w) 到 (w + \delta w) 进行一个小的步长移动，误差函数的