15、边缘AI系统开发与部署全解析

边缘AI系统开发与部署全解析

1. 边缘AI的MLOps栈模板

Valohai公司提出了MLOps栈模板的概念，它是一个展示MLOps栈各组件如何协同工作的图表。最初的栈模板基于服务器端环境，不过也有适用于边缘机器学习的版本。

在开发过程中，你可以选择逐步从各种软件组件组装自己的栈。另外，使用专门为边缘AI设计的综合MLOps平台也可能会带来好处。

如果你想深入了解MLOps，可以参考以下资源，但要注意，大多数MLOps内容是针对服务器端模型，而非边缘AI：
- 网站ml - ops.org
- 《Introducing MLOps》，作者Mark Treveil等人（O’Reilly，2020）
- Google Cloud的MLOps介绍，一篇优秀的技术文章

2. 设备上运行算法

设计算法和训练模型需要一套工具，而要在设备上高效运行它们则需要另一套工具，包括通用的C++库和针对特定硬件架构优化的高效实现。

2.1 数学和DSP库

常见数学运算有多种实现方式，可为DSP算法和深度学习操作提供功能，从头实现这些基本算法会很耗时。一些值得注意的例子包括：
- 快速傅里叶变换，在DSP中大量使用，如KISS FFT和FFTW
- 矩阵乘法库，如gemmlowp和ruy

硬件设备通常具有旨在提高常见算法性能的特性，这些特性可以在特定硬件库中找到，例如CMSIS DSP软件库，它为Arm的Cortex - M和Cortex - A硬件提供了许多流行DSP算法的优化实现。深度学习内核也有类似的优化实现，如CMSIS NN软件库。许多现