18、随机计算在深度神经网络中的应用与优化

随机计算在深度神经网络中的应用与优化

1. 随机计算基础

随机计算中，处理组件的研究基于输入位序列为伯努利序列的假设，即序列中每个位为 1 的概率与最近观察到的位无关，但这并不意味着随机处理单元的输出一定是伯努利序列。对于具有不同输入标志的单元，假定输入是独立或不相关的。

1.1 基于组合逻辑的处理元素

• 乘法 ：随机数乘法非常简单，因为乘法运算在单极和双极表示的 [0, 1] 或 [-1, 1] 范围内具有封闭性。在双极表示中，乘法通过 XNOR 门实现。设 M 和 N 为 XNOR 门的输入，O 为输出，有如下推导：
  • (P_O = (P_M \cdot P_N) + (\overline{P_M} \cdot \overline{P_N}) = (P_M \cdot P_N) + (1 - P_M) \cdot (1 - P_N) = 2P_M \cdot P_N + 1 - P_M - P_N)
  • 利用 (P_M = \frac{a + 1}{2}) 和 (P_N = \frac{b + 1}{2})，可得 (P_c = \frac{ab + 1}{2})
  • 对于双极信号，(c = 2P_C - 1 = ab)
  • 随机乘法器的输出能较好地估计具体结果。若 M 和 N 是独立的伯努利序列，则输出 O 也是伯努利序列。但由于位序列的随机波动或概率调整时的量化误差，y 的实际值可能与 ab 乘积不完全相等。
• 加法和减法 ：在随机计