17、深度神经网络的随机计算

深度神经网络的随机计算

1. 引言

人类一直渴望创造会思考的机器，智能系统在自动执行日常劳动、语音和图像识别、疾病诊断、开发自动驾驶汽车等方面具有很大的吸引力。人工智能（AI）框架通过从数据中提取重要信息来自我获取知识的能力就是机器学习。深度学习作为AI研究的另一个领域，允许机器通过提取多层次的抽象表示，直接从信息中自动获得复杂的能力。深度神经网络（DNNs）在许多AI应用中取得了显著进展，如语音识别和目标检测。

然而，与其他AI技术相比，DNNs由于其深度架构模型需要更多的计算。开发者对更好性能的追求往往会增加模型的规模，导致更长的训练和测试时间，并且执行时需要更多的计算资源。这些模型的整体准确性依赖于高性能基础设施来实现DNNs，但高性能云基础设施会产生巨大的电力消耗和高昂的设备成本，从而限制了它们在低成本、低功耗应用（如需要低功耗和小型硬件的嵌入式和可穿戴设备）中的部署。因此，为了在资源受限的框架中实现这些模型，需要找到替代方案。有时会使用专用集成电路（ASICs）和现场可编程门阵列（FPGAs）来设计特定设备，但如果对模型的内部结构进行修改，仍有改进的空间。

随机计算（SC）作为二进制计算的一个重要替代方案被提出。SC基于任意位序列工作，其中概率由序列中任意一位为1的可能性给出。这种表示方式特别有吸引力，因为它允许使用基本逻辑电路以最小的开销实现关键算术单元，例如加法和乘法可以分别使用多路复用器（MUX）和与门来执行。随机处理具有极低的硬件占用、高度的容错能力，并且能够在不进行额外硬件更改的情况下权衡计算时间和准确性，因此有可能以显著减少的硬件占用和低成本实现DNNs。不过，SC也有一些缺点，包括由于随机序列评估概率时的固有波动导致的准确性问题，以及突然提高随机实现的准确