27、利用非易失性内存技术实现GPU架构中的高效深度学习

利用非易失性内存技术实现GPU架构中的高效深度学习

1 引言

过去十年，通过CMOS缩放实现的性能提升已趋于平稳，需要复杂的计算机架构解决方案，以在保持可行功率密度的同时提高计算系统的性能。然而，内存资源性能的限制同时对这些目标构成了挑战。随着计算机面临内存和功率相关的限制，数据密集型应用的需求不断上升。

随着数据量的增加和GPU架构的改进，深度神经网络（DNNs）在图像识别、目标检测和芯片布局等各种任务中取得了显著成功。但DNN工作负载仍具有较大的内存占用和显著的计算需求，加剧了内存瓶颈，降低了系统的整体性能。为解决这一问题，深度学习从业者专注于模型压缩技术，而系统架构师则研究硬件架构，以克服内存瓶颈问题并提高系统的整体性能。

当前GPU架构的趋势是增加末级缓存容量，但传统SRAM技术在功率、性能和面积（PPA）方面存在可扩展性问题。非易失性内存（NVM）技术是解决数据密集型应用内存瓶颈问题的最有前途的解决方案之一。然而，由于许多新兴NVM技术尚未商业化，因此需要一个框架来对这些新兴NVM技术进行设计空间探索。

本文介绍了DeepNVM++，这是一个扩展和改进的框架，用于表征、建模和优化GPU架构中基于NVM的缓存，以满足深度学习工作负载的需求。我们的跨层分析框架结合了电路级表征方面和在实际GPU平台上运行的各种DL工作负载的内存行为。DeepNVM++能够评估NVM用于GPU末级（L2）缓存时的功率、性能和面积，并寻求利用这项新兴技术的优势来提高深度学习应用的性能。

我们的主要贡献如下：
1. 电路级位单元表征 ：结合商用16nm CMOS技术和文献中的STT和SOT模型，进行详细的电路级