9、物联网中的流式数据处理与机器视觉应用

物联网中的流式数据处理与机器视觉应用

1. 物联网流式数据处理

随着数据生产和消费的不断增长，以及信息传递的严格时间限制，流式处理平台应运而生且愈发重要。早期的物联网流式处理平台主要用于收集和显示实时原始传感器测量数据，但为了做出可操作的决策，数据通常需要经过多个处理阶段，如压缩、降维、汇总、学习和可视化。

数据流式处理系统主要分为两种类型：
- 数据流管理系统（DSMS） ：基于关系数据库原理，引入了连续查询的概念。
- 非关系型系统 ：不强制采用关系视图，允许创建自定义操作符。

基于批处理和流式处理范式，出现了两种数据处理架构：
- Lambda架构 ：支持批处理和流式处理。
- Kappa架构 ：只支持流式处理，相对更简单。

1.1 统计报告与实时通知

统计报告的参考实现使用了额外的自定义聚合，对各种指标进行计数和平均，然后在报告中显示。该报告的实现与实时通知报告类似。报告顶部展示了整个监测频谱的全局统计信息，如传输次数、平均传输持续时间、平均功率和整体频谱占用率。报告还分别按频率单位和传输统计提供检测到的频谱事件。

1.2 自定义应用

除了实时通知和统计报告，还可以开发利用自动生成数据的自定义应用，并订阅频谱流的输出。保留数据存储采用键值索引，使自定义应用能够请求特定时间和频率的相关信息，如在特定频率上某一时刻发生的传输次数。当不同位置的频谱传感器连接到系统时，可以在数据存储中添加位置字段，并附上