9、神经网络架构与训练方法解析

神经网络架构与训练方法解析

1. 概率神经网络（PNN）

1.1 网络架构

假设存在 $Q$ 个输入向量/目标向量对，每个目标向量有 $K$ 个元素，其中一个元素为 1，其余为 0，每个输入向量对应 $K$ 个类别之一。
- 第一层输入权重 $IW_{1,1}$（即 net.IW{1,1} ）设为由 $Q$ 个训练对构成的矩阵的转置 $P’$。当输入一个向量时， dist 模块会生成一个向量，其元素表示输入向量与训练集中各向量的接近程度。这些元素逐元素乘以偏置后，输入到 radbas 传递函数。若输入向量接近某个训练向量，输出向量 $a_1$ 中对应元素接近 1。若输入向量接近某一类别的多个训练向量，$a_1$ 中会有多个元素接近 1。
- 第二层权重 $LW_{1,2}$（即 net.LW{2,1} ）设为目标向量矩阵 $T$。每个向量仅在与特定输入类别相关的行上为 1，其余为 0。可使用 ind2vec 函数创建合适的向量。$Ta_1$ 会对 $a_1$ 中每个输入类别的元素求和。最后，第二层传递函数 compet 会在 $n_2$ 最大元素对应的位置输出 1，其余位置输出 0，从而将输入向量分类到特定的 $K$ 类别中。

1.2 设计与示例

可以使用 newpnn 函数创建 PNN。以下是一个具体示例：

% 定义输入向量
P = [0 0;