75、神经网络硬件实现的优化与挑战

神经网络硬件实现的优化与挑战

1. 引言

为了充分利用人工神经网络提供的大规模并行性，硬件实现至关重要。然而，大多数标准神经网络模型并不适合直接在硬件中实现，需要进行调整。硬件实现通常需要优化三个主要约束条件：准确性、空间和处理速度。设计硬件实现时需要在这些标准之间进行平衡。

例如，模拟实现虽然在芯片面积和处理速度方面效率很高，但网络组件的准确性有限。数字实现中网络参数（特别是权重）的量化可以获得更紧凑的实现，而模拟实现中由于系统噪声，网络参数的准确性也受到限制。此外，模拟硬件（无论是电子还是光学）的计算特点是组件的不均匀性，并且这些组件最多只是神经网络模型中相应数学运算的近似。

接下来将深入探讨网络参数量化的影响、权重离散化算法、硬件非理想性以及硬件友好的学习算法。

2. 量化效应

使用非常高的精度与开发快速紧凑的硬件实现目标不匹配。数字实现中高数值精度会消耗大量面积，而在模拟实现中则与系统噪声不兼容。因此，神经网络的硬件实现通常使用有限精度来表示网络参数。

类型	示例	训练时权重精度	召回时权重精度
数字实现	Philips’ L - Neuro 1.0 架构	16 位	4 位或 8 位
模拟实现	Intel’s