4、IoT 数据处理与分析全流程指南

IoT 数据处理与分析全流程指南

一、数据收集设计准备

要进行数据收集设计，需要一个能高速流式传输数据的设备。在生产环境中，设备数据通常以 15 秒或 1 分钟的间隔发送，但对于数据收集设计，一个设备需以 10Hz（即每秒 10 次）的高速发送数据。数据流入后，可将其拉入 Databricks 进行实时分析。

二、数据的分析技术

2.1 方差分析

方差用于衡量数据与均值的偏离程度。以下是使用 Koalas（pandas 的分布式克隆）进行基本数据工程任务（如确定方差）的代码：

import databricks.koalas as ks 
df = ks.DataFrame(pump_data)
print("variance: " + str(df.var()))
minuite['time'] = pd.to_datetime(minuite['time'])
minuite.set_index('time')
minuite['sample'] = minuite['sample'].rolling(window=600,center=False).std() 

此外，还可以查看数据的最大值，示例代码如下：

max = DF.agg({"averageRating": "max"}).collect()[0]

2.2 Z - 尖峰分析

Z - 尖峰是一种基于时间的异常检测方法，通过观察读