32、边缘设备上的深度学习模型推理与训练技术

边缘设备上的深度学习模型推理与训练技术

1. 边缘训练模型的背景与需求

传统上，机器学习模型是在完整数据集上集中训练的。以在用户移动数据上训练机器学习模型为例，需要先将各移动设备的数据发送到数据中心，再在收集的大量数据上进行模型训练。然而，大多数数据（如移动设备或工业物联网边缘的数据）是分散且分布式的，将数据发送到云端存在数据隐私和安全问题。因此，研究人员提出能否在边缘设备上本地训练机器学习模型，而无需将数据发送到数据中心。随着边缘设备计算能力的增强，有机会在本地存储数据并在边缘节点进行机器学习训练，这促使了联邦学习这一分布式机器学习新算法的发展。

2. 联邦学习

• Gboard 案例 ：Gboard 是一款手机键盘，成功应用了联邦学习。其目标是让手机用户在小键盘上高效打字，由于手指比按键大，虚拟按键可能不精确，因此使用机器学习模型预测用户按键和下一个单词。但集中训练移动用户模型会增加数据通信成本和隐私问题，所以采用了联邦机器学习。
• 联邦学习流程 ：
  1. 初始模型在服务器上集中训练并部署到手机。
  2. 每个部署的模型通过本地数据训练进行更新，手机本地数据加密以保护用户隐私。
  3. 当用户手机闲置或充电时，连接到中央参数服务器，服务器开始新的联邦学习周期。
  4. 手机在设备上运行几轮随机梯度下降，并将参数更新发送到中央服务器，仅共享参数更新（如深度学习中的权重、偏差和梯度）。
  5. 中央服务器选择一小部分用户手机参与联邦学习，将各手机的参数更新求平均，更