76、神经网络硬件实现的适应性策略

神经网络硬件实现的适应性策略

1. 光学硬件激活函数的增益问题

在使用光学硬件（如液晶光阀）实现激活函数时，会出现增益与标准值 1 差异很大的问题。以图 E1.2.1 为例，其中描绘了一个增益约为 1/161 的 S 形曲线。在模拟电子学中，可通过增益级来补偿非标准增益，但在光学实现中无法这样做。理论上可添加额外光学组件来修改有效增益，但会增加系统复杂性和成本，并引入新的副作用。

解决该问题的一个简单方法是使用一种改进的反向传播学习规则，它基于增益与其他两个网络参数之间简单而精确的关系，无需额外硬件就能补偿非标准增益，且效果更佳。

2. 硬件友好的学习算法分类

硬件友好的学习算法可分为两类：
- 对现有神经网络学习规则进行改进，以方便其硬件实现。
- 从设计之初就适合硬件实现的学习算法。

2.1 第一类算法示例

以多层网络训练中常用的反向传播算法为例，在模拟硬件中实现大型反向传播网络存在诸多问题，如需要单独或双向电路进行反向传播、需要激活函数的精确导数以及反向传播中乘法器的级联等。

2.2 第二类算法示例

• 细胞神经网络 ：因其稀疏的局部连接性，每个单元仅与相邻单元交互，对 VLSI 实现特别有吸引力。
• 基于 RAM 的网络 ：可以使用标准可用组件轻松实现。

3. 扰动算法

3.1 基本思想

扰动算法的总体思路是通过对一些网络参数进行轻微随机扰动，利用网络的前