19、新兴设备助力的神经形态计算系统

新兴设备助力的神经形态计算系统

1. 背景介绍

人工神经网络起源于对生物系统信息处理的建模，通过抽象生物神经元和突触的行为功能，模仿生物神经系统的层次网络结构。早期，人们尝试将神经科学研究中观察到的神经单元行为直接应用于网络，以复制人类大脑的学习能力。随着Werbos的反向传播算法在多层网络训练中取得成功，基于统计和信息理论的更实用方法被探索用于训练不同的神经网络。

为了应对更复杂的任务，开发了多种网络结构和训练算法，如全连接网络（FCNs）、卷积神经网络（CNNs）、循环神经网络（RNNs）和深度信念网络（DBNs），这些网络统称为深度神经网络（DNNs）。在DNNs中，突触被简化为具有可调强度的连接（即可训练的权重），而神经元则对加权的突触输入进行整合，然后输出激活结果。

此外，脉冲神经网络（SNNs）作为更接近生物神经网络（BioNNs）的一种网络类型，由于其基于脉冲的信息编码和事件驱动的活动，有望进一步提高能源效率。仿生特征的引入有望为人工智能的实现提供新的解决方案。

随着神经网络规模的扩大，现有数字计算平台上急剧增加的计算负担导致了显著的延迟和功耗。因此，开发具有高计算能力和能源效率的新硬件系统来实现神经网络变得十分迫切，特别是在资源有限的应用场景中，如自动驾驶。

2. 神经形态计算的动机

如今，图形处理单元（GPUs）、张量处理单元（TPUs）和专用集成电路（ASICs）已广泛用于神经网络的硬件加速。然而，它们的能源效率仍落后于仅消耗约20W功率的人类大脑。

神经形态计算的概念最早由Carver Mead提出，它是一个由模拟电路模块组成的集成系统，用于模拟生物神经网络的架构和行为。通过