31、云端与雾端的数据分析和机器学习

云端与雾端的数据分析和机器学习

在物联网（IoT）领域，数据的处理和分析至关重要。从传感器收集的数据需要经过一系列的处理步骤，才能转化为有价值的信息，用于决策和行动。下面将详细介绍相关的处理流程、分析模型以及架构。

1. 数据处理阶段

数据从传感器传输到云端的过程中，会经历几个阶段。首先是某种形式的暂存，像 Kafka 这样的消息系统会将数据路由到流处理器、批处理器，或者两者皆有。
- 流处理 ：能够处理连续的数据流。由于数据在内存中处理，处理速度通常很快，但必须与数据进入系统的速率相当或更快。不过，对于工业机械和自动驾驶汽车等场景，流处理无法提供严格的实时操作特性。
- 批处理 ：在处理大量数据时效率较高，尤其适用于需要将物联网数据与历史数据进行关联的情况。

在这些处理阶段之后，可能会进入预测和响应阶段，信息可能会显示在仪表盘上、被记录下来，或者系统会向边缘设备发送响应，以采取纠正措施解决问题。

2. 物联网中的基本数据分析功能

物联网中的数据分析旨在从数据流中发现事件，实时流分析机器需要具备多种类型的分析功能，具体如下：
| 分析功能 | 描述 |
| ---- | ---- |
| 预处理 | 过滤掉不感兴趣的事件，进行特征提取、分割等操作，将数据转换为更合适的形式，还可以为数据添加属性标签。 |
| 警报 | 检查数据，如果超出某个边界条件，则发出警报，例如传感器温度超过设定的限制。 |
| 窗口化 | 创建事件的滑动窗口，根据时间（如一小时）或长度（如 2000 个传感器样本）来定义