31、物联网边缘设备上深度学习模型的推理与训练

物联网边缘设备上深度学习模型的推理与训练

1. 引言

在当今科技发展中，边缘计算展现出独特的优势。以自动驾驶车辆为例，它需要实时推断前方道路、行人、其他车辆及周围物体的情况，任何决策延迟都可能导致严重后果。工业监控系统也是如此，在跟踪工厂内物体时，由于视频流中会包含工人，工人隐私成为重要问题，相关法规对此也有严格要求。

如果将提供推理的人工智能或机器学习（AI/ML）模型部署在云端，自动驾驶车辆的实时决策能力会受到影响，工厂也会面临个人和工业专有数据泄露的风险。因此，将推理模型部署在边缘（如自动驾驶车辆上、工厂内的摄像头处），能有效减少决策延迟和数据传输风险。

边缘计算在众多领域都能实现本地快速智能处理，像空气质量监测、人员占用估计、工厂产品质量控制和精准农业等。目前，约70%的数据在终端设备产生，预计其中一半将在边缘进行处理。而且，边缘AI软件市场规模预计将从2018年的3.35亿美元增长到2023年的11.52亿美元。

这些对延迟和隐私有严格要求的应用不断涌现，同时AI/ML模型在资源受限的基础设施上的推理和训练能力也在迅速提升，使得边缘AI成为云计算的一个极具吸引力的替代方案。不过，边缘AI的成功与否，很大程度上取决于AI/ML模型，尤其是那些能提供先进预测精度的深度学习模型，在资源受限的边缘设备上的性能表现。

边缘计算平台（即边缘设备）的硬件配置多种多样，它可以是像Google Coral这样的小型ASIC设备、微型计算机，也可以是具备容器化服务的大型计算基础设施。边缘计算平台靠近终端设备，能减少数据收集的延迟，通过AI/ML技术分析数据并实时反馈给设备，同时将处理后的信息传输到云端进行大规模数据处理。像AWS、Google、IBM