4、监督学习神经网络：类型、规则与优化策略

监督学习神经网络：类型、规则与优化策略

1. 神经网络类型

1.1 乘积单元神经网络（PUNN）

乘积单元神经网络中的神经元计算输入信号的加权乘积，而非加权和。对于隐藏单元 (y_j)，其净输入计算方式如下：
- 不考虑偏置时：
- (net_{y_{j},p}=\prod_{i = 1}^{I}z_{i,p}^{v_{ji}}=\prod_{i = 1}^{I}e^{v_{ji}\ln(z_{i,p})}=e^{\sum_{i}v_{ji}\ln(z_{i,p})})
- 其中 (z_{i,p}) 是输入单元 (z_i) 的激活值，(v_{ji}) 是输入 (z_i) 与隐藏单元 (y_j) 之间的权重。
- 考虑“失真”因子时：
- (net_{y_{j},p}=\prod_{i = 1}^{I + 1}z_{i,p}^{v_{ji}})
- 其中 (z_{I + 1,p}=-1) 对于所有模式，(v_{j,I + 1}) 代表失真因子，用于在训练期间动态调整激活函数，以更贴合训练数据所代表的真实函数形状。
- 当 (z_{i,p}<0) 时：
- (z_{i,p}) 可写为复数 (z_{i,p}=i^2|z_{i,p}|)，代入可得 (net_{y_{j},p}=e^{\sum_{i}v_{ji}\ln |z_{i,p}|}e^{\sum_{i}v_{ji}\ln i^2})
- 经过一系列推导，最终 (net_{y_{j},p}=e^{\sum_{i}v_{ji}\ln |z_{i,p}|}\cos(\pi\sum_{i = 1}^{I}v_{ji}))
- 令 (\rho_{j,p