5、自动微调人工神经网络

自动微调人工神经网络

1. 概率神经网络相关内容

1.1 后验概率与决策规则

在概率模型中，似然函数经过一系列操作可得到后验概率。具体来说，将似然函数乘以类别的先验概率（可通过训练集中类别代表的频率近似），再除以对所有类别值相同的归一化因子（在区分类别的决策规则中可忽略），就能得到给定输入向量 $x$ 时，给定类别 $C_j$ 的后验概率 $P(C_j|x)$。

这个后验概率是贝叶斯分类器在概率不确定性模型中决策规则的主要标准。该决策规则很简单，假设任何错误决策的成本相同（即同等对待假阳性和假阴性答案），可简化为选择后验概率 $P(C_j|x)$ 最大的类别。若训练集中所有类别的代表频率相同，此规则等同于选择似然 $p(x,C_j)$ 最大的类别。由于似然函数由概率神经网络（PNN）的输出神经元生成，所以要做出决策，需将给定向量 $x$ 输入 PNN，然后选择响应水平最高的神经元对应的类别。

1.2 概率神经网络的训练

PNN 的训练是一个单轮过程，前提是确定模式层中核宽度参数 $s$ 的值。分类结果很大程度上依赖于该参数的合适取值，因此实际上单轮训练应在针对 $s$ 进行结果优化的框架内多次重复。幸运的是，在大多数情况下，参数 $s$ 的一维空间中优化准则的形状不太复杂，有一个具有可观引力域的全局极值。若在核函数的参数中，宽度参数 $s$ 用输入数据的维度 $N$ 进行归一化，那么 $s$ 的合适值通常在 10 到 $10^{-1}$ 的范围内。在相关研究中，以最小化决策误差为准则，$s$ 的最优值为 0.175。

1.3 实验结果