15、边缘部署：安全、可更新且优化的模型部署方案

边缘部署：安全、可更新且优化的模型部署方案

1. 边缘部署概述

在单台计算机上执行机器学习和操作（MLOps）具有挑战性，而在数千台计算机上进行训练、部署和维护模型，其复杂性更是令人望而却步。不过，借助容器化和持续集成/持续部署（CI/CD）管道等工具，可以降低这种复杂性。我们将探讨如何以安全、可更新且针对现有硬件进行优化的方式部署模型。

1.1 可更新模型构建

• 使用Azure IoT Hub Edge设备通过单一管理平面实现无线（OTA）更新。
• 利用设备孪生维护设备群并推送模型配置设置。
• 学习在一种计算机架构（如x86）上训练模型，并在ARM上运行。
• 探讨如何使用雾计算在不同类型的设备上执行分布式机器学习。

1.2 具体操作内容

下面将详细介绍几个关键的操作内容：
1. OTA更新MCU
2. 使用IoT Edge部署模块
3. 使用TensorFlow.js将计算卸载到Web

2. OTA更新MCU

OTA更新对于部署安全更新、新功能和更新模型至关重要。有两种不同的OTA更新技术：
- 自定义程序方式 ：构建一个自定义程序，理想情况下在与要更新的主程序不同的程序或线程上运行。该软件将新固件下载到闪存内存中，注册并启动新固件。如果新固件启动失败，自定义软件可以启动工作版本的软件。通常需要预留一半的闪存