35、利用近似DRAM实现高效能、高性能的DNN推理

利用近似DRAM实现高效能、高性能的DNN推理

1. 引言

在深度学习领域，DNN推理的能耗和性能是重要的考量因素。EDEN提出了一种通用框架，通过使用降低电压和延迟的近似DRAM来减少DNN推理的能耗并提高性能。接下来将详细介绍其在不同架构下的评估情况。

2. 系统级评估

2.1 CPU推理

• 实验设置 ：
  • 在多核OoO CPU上评估EDEN，使用的模拟核心配置如下表所示：
    | 组件 | 配置详情 |
    | ---- | ---- |
    | 核心 | 2个核心，4.0 GHz，32nm，4路OoO；缓冲区：18项提取、128项解码、128项重排序缓冲区 |
    | L1缓存 | 32 KB，8路，2周期，数据/指令分离 |
    | L2缓存 | 每个核心512 KB，8路，4周期，数据/指令共享，流预取器 |
    | L3缓存 | 每个核心8 MB，16路，6周期，数据/指令共享，流预取器 |
    | 主内存 | 8GB DDR4 - 2133 DRAM，2通道，每通道16个存储体 |
  • 使用ZSim和Ramulator分别模拟核心和DRAM子系统，用DRAMPower估计DDR4设备的能耗。
  • 采用12个不同的推理基准测试，包括8个来自英特尔OpenVINO工具包和4个来自DarkNet框架的AlexeyAB分支。对每个DNN研究FP32和int8量化变体，基线使用8位量化。
  • 评估EDEN的粗粒度DNN表征程序，目标是将精度下降控制在1%以