31、云与雾中的数据分析和机器学习

云与雾中的数据分析和机器学习

1. 数据处理阶段与预测响应

在数据处理过程中，会有某种暂存阶段，像 Kafka 这样的消息系统会将数据路由到流处理器、批处理器，或者两者皆有。流处理能处理连续的数据流，由于数据在内存中处理，其处理通常受限但速度极快，所以处理速度必须等于或快于数据进入系统的速率。不过，虽然流处理能在云中实现近实时处理，但对于工业机械和自动驾驶汽车等场景，它无法提供硬实时操作特性。

批处理则在处理大量数据方面效率很高，尤其当物联网数据需要与历史数据关联时十分有用。

在这个阶段之后，可能会进入预测和响应阶段。在这个阶段，信息可能会呈现在某种仪表盘上、被记录下来，或者系统会向边缘设备反馈，以便采取纠正措施解决问题。

2. 物联网中的基本数据分析功能

2.1 分析功能列表

物联网中的基本数据分析旨在从数据流中发现事件，实时流分析机器需具备多种类型的事件处理和角色。以下是一系列分析功能：
1. 预处理 ：过滤掉无关紧要的事件，进行数据变性、特征提取、分割，将数据转换为更合适的形式（尽管数据湖倾向于不立即进行转换），并为数据添加属性，如标签（数据湖需要标签）。
2. 警报 ：检查数据，若超出某些边界条件，则发出警报。例如，传感器上的温度超过设定极限时发出警报。
3. 窗口化 ：创建事件的滑动窗口，仅对该窗口应用规则。窗口可以基于时间（如一小时）或长度（2000 个传感器样本）。有滑动窗口（如仅检查最新的 10 个传感器事件，新事件出现时产生结果）和批处理窗口（如仅在窗口