9、社交边缘的实时人工智能：EdgeBatch系统解析

社交边缘的实时人工智能：EdgeBatch系统解析

1. 社交边缘计算的挑战

在社交边缘计算场景中，系统想要获取全局信息（如硬件规格、GPU利用率、各设备剩余电量等）并对所有设备进行集中控制是有困难的。因为社交边缘的边缘设备通常为个人所有，出于隐私、能源、带宽等方面的考虑，设备所有者可能不愿意将设备状态信息分享给应用程序或其他用户。所以，社交边缘中的边缘设备对自身状态信息了如指掌，但对其他设备的信息掌握有限，这种信息不对称的特性使得在异构边缘设备上做出最优任务批处理决策变得极具挑战性。

2. EdgeBatch系统简介

为了解决上述挑战，EdgeBatch应运而生。它是一个全新的协作式社交边缘框架，具有以下特点：
- 针对任务端到端延迟和边缘设备能耗之间的权衡问题，EdgeBatch开发了一种新的任务批处理解决方案，能为GPU密集型DNN任务确定最优批处理大小。
- 为解决边缘设备协作难题，EdgeBatch设计了一种基于供应链的任务卸载方案，可在不获取边缘设备私有状态信息的情况下，实时有效地协调边缘设备之间的协作，推动批处理决策过程。

EdgeBatch在由Nvidia Jetson TX2、TX1和TK1板以及Raspberry Pis组成的真实协作边缘测试平台上进行了系统原型实现，并通过真实的DNN应用“人群车牌检测”进行了评估。与实时和边缘计算系统中的现有基线相比，EdgeBatch在端到端延迟和节能方面都取得了显著的性能提升。

3. 问题定义

以人群车牌检测应用为例，边缘设备（如配备行车记录仪的车辆和市民的智能设备）组成了城市范围的视频监控网络，利用自动车牌识别（ALPR）技术追踪移