15、边缘AI系统开发、部署与维护全解析

边缘AI系统开发、部署与维护全解析

1. 边缘AI的MLOps栈模板

Valohai提出了MLOps栈模板的概念，它展示了MLOps栈各组件如何协同工作。最初的栈模板基于服务器端环境，不过也有适用于边缘机器学习的版本。在开发过程中，你可以选择用不同软件组件逐步搭建栈，也可以借助专门为边缘AI设计的综合MLOps平台。

如果想深入了解MLOps，以下资源可供参考：
- ml - ops.org网站
- Mark Treveil等人所著的《Introducing MLOps》（O’Reilly，2020）
- Google Cloud关于MLOps的优秀技术文章

2. 设备端算法运行

设计算法和训练模型需要一套工具，而在设备端高效运行它们则需要另一套工具，包括通用的C++库和针对特定硬件架构优化的高效实现。

2.1 数学和数字信号处理（DSP）库

常见数学运算有多种实现方式，能为DSP算法和深度学习操作提供功能。手动实现这些基础算法会很耗时，以下是一些显著的例子：
- 快速傅里叶变换（FFT）：在DSP中大量使用，如KISS FFT和FFTW。
- 矩阵乘法库：如gemmlowp和ruy。

硬件设备通常有提升常见算法性能的特性，这些特性体现在特定硬件库中，例如CMSIS DSP软件库为Arm的Cortex - M和Cortex - A硬件提供了许多流行DSP算法的优化实现。深度学习内核也有类似的优化实现，如CMSIS NN软件库。许多现代处理器架构（包括微控制器和片上系统SoC）都有对应的优化实现。选择硬件时，要考察优化内核的可用性，因为它们能使延