24、卷积神经网络加速中的CPU - 加速器协同调度技术解析

卷积神经网络加速中的CPU - 加速器协同调度技术解析

1. 引言

在边缘计算领域，人工智能（AI）的发展促使AI硬件加速器被广泛集成到边缘设备和服务器中，以实现高效的AI推理。卷积神经网络（CNN）在边缘的加速尤其受到关注，因为它能推动自动驾驶、监控和机器人等众多新型应用的发展。然而，在资源受限的边缘系统中，硬件加速器运行时CPU常处于闲置状态。实际上，CPU可以与加速器协同执行卷积（CONV）层操作，从而进一步提升性能和能源效率。

2. CPU - 加速器协同调度技术原理

通过利用生成不同CNN输出特征图操作之间的独立性，协同调度技术将输出通道分配给加速器和CPU，相较于仅使用加速器执行，能带来进一步的性能提升。为实现加速器和CPU之间的负载平衡，采用了基于线性回归的延迟模型，该模型可估算CONV层在CPU和加速器上的执行时间，进而以负载均衡的方式分配输出通道，充分利用加速器和CPU的资源。

3. 实验结果分析

3.1 空闲时间比例

平台	PE2	PE4	PE8
Ultra96	0.07 - 2.91	0.15 - 4.92	0.07 - 7.16
Zed	0.17 - 4.18