8、神经网络的阈值网络合成与权重初始化技术

神经网络的阈值网络合成与权重初始化技术

1. 三层阈值网络合成

1.1 三层阈值网络结构

对于给定的 7 位函数，存在一个三层阈值网络。其隐藏阈值元素的权重和阈值在相关表格中给出，输出阈值元素（TE）的最终输出可以系统地表示为七个隐藏 TE 输出的 PSP 函数：
[B(h_1,h_2,\cdots,h_7)=h_1 + h_2(h_3 + h_4(h_5 + h_6h_7))]
网络函数 (net(H, T)) 为：
[net(H, T) = 11h_1 + 6h_2 + 5h_3 + 3h_4 + 2h_5 + h_6 + h_7 - 11]
由于第二、第四和第六个隐藏 TE 是转换后的隐藏 TE，这些 TE 的输出会被取反后输入到输出 TE。

1.2 ETL 算法

提出了扩展 - 截断学习（ETL）算法来合成任何二进制到二进制映射问题的三层阈值网络。该算法具有以下特点：
- 收敛性 ：对于任何二进制到二进制映射的生成，ETL 算法总是收敛的，并且能自动确定隐藏层中所需的 TE 数量，从而找到三层阈值网络。
- 硬件实现优势 ：TE 仅使用整数权重和整数阈值，这极大地促进了通过可用的数字 VLSI 技术实际实现所提出的三层阈值网络。

1.3 多输出三层阈值网络合成方法

• 独立应用 ETL 方法 ：将 ETL 算法独立应用于每个输出，可以并行合成多个输出，执行时间快，但所需的 TE 数量可能不是最优的。