29、神经网络中的分类、回归与误差函数解析

神经网络中的分类、回归与误差函数解析

1. 后验概率在分类与回归中的应用

在分类问题中，当不同类别模式的分布与先验概率 $P(c_k)$ 严重不匹配时，后验概率有着重要应用。若已知训练集数据对应的后验概率，可利用贝叶斯定理进行必要的修正。具体操作步骤如下：
1. 将后验概率除以训练集对应的先验概率。
2. 把得到的结果乘以新的先验概率。
3. 对最终结果进行归一化处理。

这样，在不重新训练网络的情况下，就可以适应先验概率的变化。训练集的先验概率可通过计算每个类别在训练集中的数据点比例来估计，而操作环境对应的先验概率通常只需类别标签，无需输入数据就能轻松获取。

以医学图像分类为例，将图像分为“正常”和“肿瘤”两类。在筛查场景下，“肿瘤”的先验概率通常极小。为了在训练集中获得丰富的肿瘤图像，需要大量的训练样本。一种替代方法是人为增加训练集中肿瘤图像的比例，然后按照上述方法对测试数据的不同先验进行补偿。肿瘤在一般人群中的先验概率可从医学统计数据中获取，无需收集对应的图像。网络输出的修正只需进行简单的乘除运算。

在使用神经网络进行分类时，常见的方法是让网络直接做出分类决策。然而，了解后验概率能提供更强大的能力。

2. 误差函数的确定

确定网络中权重参数 $w$ 的合适值是一个关键问题。训练数据以 $N$ 对输入向量 $x^n$ 和相应的期望输出向量 $t^n$ 的形式提供，其中 $n = 1, \ldots, N$ 标记模式。在神经网络中，这些期望输出被称为目标值，$t^n$ 的分量 $t_k^n$ 代表相应网络输出 $y_k$ 的目标。对于关联预测问题，数据统计特性的最全面描述是基于输入数据条