83、人工智能物联网：架构、应用与挑战解析

人工智能物联网：架构、应用与挑战解析

1. 数据与特征分布模式

不同组织的数据和特征分布存在多种模式。例如，两个地区银行可能因地理位置不同拥有不同的客户群体，客户交集较小，但业务相似所以特征空间相近；而两个不同的地区组织可能拥有几乎相似的客户，但特征不同。具体可分为以下几种情况：
- 水平分布 ：相似组织、同一地区、相似特征、几乎不同的客户。如两家同地区银行。
- 垂直分布 ：不同组织、同一地区、不同特征、几乎相似的客户。如地区的电商公司和银行。
- 混合分布 ：不同组织、不同地区、不同特征、不同客户。如不同国家的银行和电商公司。

2. 训练周期

训练过程可分为两个不同的周期：
- 梯度计算周期 ：基于当前模型参数，通过对从训练数据中抽取的小批量数据进行反向传播来计算参数梯度。
- 优化周期 ：消耗梯度计算周期中计算出的梯度，以更新模型参数。

3. 分布式机器学习拓扑结构

基于上述两个训练周期，有两种主要的机器学习（网络）拓扑结构将执行模型映射到独立设备集群：
- 集中式优化 ：优化周期在中央节点运行，梯度计算代码复制到（AIoT）终端设备。

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A([中央节点]):::startend --> B(节点1):::process
    A --> C(节点2):::process
    A --> D(节点N):::process

• 分布式优化 ：两个周期都复制到每个（AIoT）终端设备，并进行某种形式的同步，以使不同的优化器协同工作。

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    B(节点1):::process --> E(同步):::process
    C(节点2):::process --> E
    D(节点N):::process --> E

4. 联邦学习（FL）

2017 年提出的联邦学习旨在实现边缘节点或终端设备级别的本地和分布式机器学习训练，主要用于优化隐私问题。根据数据和特征分布模式，可分为以下三类：
- 水平联邦学习 ：用于分析水平分布的数据。每个节点有自己的私有数据集，所有客户端使用相似特征空间的数据集协同训练全局 FL 模型。中央节点聚合所有节点的本地更新，计算新的全局更新，然后将其发送回所有节点进行下一轮本地学习，直到损失函数收敛或达到适当的准确率。例如智能家居中的语音助手，人们使用相同关键词但不同语音类型，中央节点平均本地语音更新以构建全局语音识别模型。
- 垂直联邦学习 ：支持垂直数据分布，节点使用相同数据但特征不同。采用实体对齐方法收集节点重叠的数据样本，结合加密技术训练通用 AI 模型。如地区的电商公司和银行，虽数据特征不同但客户相似，可通过垂直 FL 合作训练 AI 模型，以根据客户在线购物行为估计最优个性化贷款。
- 联邦迁移学习 ：处理具有不同样本和特征空间的分布式数据集。通过学习两个特征空间之间的共同表示（利用有限的共同样本集），对仅考虑一侧特征的样本进行预测。例如不同国家的银行和电商公司，客户群体交集小且特征空间重叠少，联邦迁移学习可提供解决方案，是现有 FL 系统的重要扩展。

5. 系统与 AI 进展

为满足 AIoT 应用需求，需使终端设备成为独立智能机器，这涉及 AIoT 设备和系统与 AI 方法的相互适配。
- 系统进展 ：高级 AI 算法对处理能力要求高，通用 CPU 难以满足，因此采用硬件加速器提升性能。主要的硬件平台包括：
| 硬件平台 | 特点 | 优势 | 劣势 |
| ---- | ---- | ---- | ---- |
| GPU | 有大量小核心，最初用于游戏，后用于高性能计算 | 高内存带宽和吞吐量，可并行处理 AI 操作，加速训练和推理 | 能耗高，不适用于电池供电的 AIoT 终端设备 |
| FPGA | - | 低功耗，可重构 | 内存、I/O 带宽和处理能力相对有限 |
| CPU | - | - | 处理高级 AI 算法能力不足 |
| ASIC | - | 可通过内存层次结构和分配专用资源提高性能 | 开发周期长、成本高、灵活性差 |
- AI 进展 ：在资源有限的 AIoT 终端设备或边缘服务器上运行内存密集型 AI 算法是挑战，相关工作主要分为两类：
- 设计紧凑网络 ：设计参数数量减少的紧凑神经网络模型，如 Xception 和 ShuffleNet。
- 模型压缩 ：通过压缩预训练网络，减轻学习模型负担，提高能源效率，加快推理速度且不降低准确率。模型压缩技术可分为五类：
- 低秩近似 ：利用低秩卷积核的乘法替换高维核，有效减小模型大小和计算量。
- 知识蒸馏 ：基于迁移学习，用大模型（教师模型）的蒸馏知识训练小模型（学生模型）。
- 紧凑层设计 ：用多个紧凑层替换大卷积，减少参数数量和计算量，提高资源利用率。
- 网络剪枝 ：移除不重要的参数，将密集网络转换为稀疏网络。
- 参数量化 ：最初用于神经网络训练，半精度和混合精度训练的突破提高了 AI 加速器的吞吐量，但低于半精度需大量调优，多数量化研究用于推理。

6. AIoT 实现：工具和平台

6.1 基于容器的工具

考虑到边缘服务的隐私问题，有时无法将数据传输到云端，需在边缘节点处理数据。为此，提出了一些基于容器的工具。

以 Chen 等人提出的基于边缘计算的人员重识别（Re - ID）系统为例，Re - ID 用于从多个摄像头的不同角度和方向识别同一人。由于涉及个人隐私，图像数据不能发送到云端，必须在边缘服务器处理。该研究使用微服务（即 Kubernetes）在 AIoT 边缘计算网关设计 Re - ID 系统。

• 微服务 ：是一种轻量级、可扩展的服务设计架构，可视为可独立部署的小型应用程序，基于容器技术运行（共享主机内核，比虚拟机更快），但存在安全挑战，新的虚拟解决方案如 Kata Container 可解决此问题。
• Kubernetes ：是一个开源平台，用于自动化计算机应用程序的部署和管理，可实现自动缩放、弹性和高可用性。Chen 等人利用 Kubernetes 在边缘执行 Re - ID 计算，该方法通过边缘计算处理 AI 算法，可处理大量计算资源。所提出的框架部署在 AIoT 边缘计算网关，有四层结构，包括摄像头通信层、跟踪层、应用层和 AI 加速层，各层有相应功能。

模型开发在 Torchreid 上进行，这是一个基于 PyTorch 的 Re - ID 软件框架，支持 OSNet、ResNet50、Inception 和 MobileNV2 等 Re - ID 模型的开发、端到端训练和评估。为满足 TCP/用户数据报协议兼容性、低延迟和多路复用等要求，选择了 gRPC 协议。最后，通过 Kubernetes 和 Linkerd2 实现微服务，提供负载均衡。

6.2 Sophon Edge 平台

Sophon edge 是一个边缘 - 云协同计算平台，用于高效构建 AIoT 应用。它采用基于管道的计算模型，便于编程计算任务，并支持跨多个边缘服务器扩展。

• 边缘节点 ：作为计算服务器，负责管理 IoT 设备的连接和操作。支持多种通信协议，如 Modbus、MQTT、COAP、AMQP、ONVIF、RTSP、RTMP、UVC、OPCUA、HLS 和 GB28281，涵盖了 AIoT 领域的主流设备。AIoT 设备产生的原始数据被收集并转换为数据流，可通过多媒体网关或消息总线进行后续处理。边缘节点管理从云端接收或本地创建的多个管道，管道实例由流处理引擎执行，还可控制从云端接收的各种 AI 模型，用于在部署的管道实例中进行推理。边缘基础设施主要支持本地数据存储和向云端传输。
• 边缘枢纽 ：作为云服务器，控制边缘节点并执行处理密集型任务，如模型训练。还可控制共享管道，随着 AIoT 应用规模的增加，共享管道在边缘枢纽管理并分发到边缘节点，以降低成本。此外，存在一个模型仓库，将训练好的模型以容器镜像的形式存储，便于在边缘节点部署。

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A([边缘枢纽]):::startend --> B(边缘节点1):::process
    A --> C(边缘节点2):::process
    A --> D(边缘节点N):::process
    B --> E(IoT设备1):::process
    C --> F(IoT设备2):::process
    D --> G(IoT设备N):::process

6.3 AIoT 相关性能基准测试

边缘计算为用户提供了大规模资源，其创建的分布式复杂系统运行条件随时间变化。因此，需要持续、快速地监控此类系统的性能日志，即性能基准测试。

常见的基准测试包括：
| 基准测试类型 | 用途 |
| ---- | ---- |
| CPU 或处理器相关基准 | 评估处理器性能 |
| Whetstone 基准 | 测量浮点运算性能 |
| Dhrystone 基准 | 评估整数性能 |

从 1990 年开始，陆续出现了 HPC 基准测试、网格基准测试、云基准测试和边缘基准测试，这表明分布式系统的基准测试越来越受到关注。