13、深入了解物联网数据：探索与分析

深入了解物联网数据：探索与分析

1. 数据有效性检查

在完成数据完整性检查后，检查现有记录中数据的有效性至关重要。对于测量架中的每个字段，需查找远超出其他数据点的异常值，同时检查高频出现的特定值。异常值可能是错误值，也可能是事件的指示符；高频值可能是本应被实际测量值覆盖的默认值。目标是识别这些异常值及其大致出现频率。

以 Qgag 值为例，在刻度上观察时，明显存在负侧的常见异常值 -9999 和正侧的 999.990（在视图中可能四舍五入为 1000）。选择每个异常区域的点来查看单个记录，检查实际值是始终一致还是存在变化。一致的值可能是有意设置的指示符，而变化可能是计算错误或小数点位置错误导致的转换错误。

按站点查看相同视图，发现所有站点至少有一个 -9999 值，但并非所有站点都有 999.99 值。由于这些极端值似乎并非实际读数，可通过过滤 0 到 900 之间的值来去除高低极端值，然后查看结果以了解各气象站的典型范围，过滤后的 Qgag 值范围在 0 到 2.4 之间。

对于数据集中的另一个测量值 Qpcp，也有相同的极端值（-9999 和 999.990），不过有些站点没有 -9999 记录。与 Qgag 连续刻度不同，Qpcp 以 0.1 为增量报告。选择一些点查看单个数据记录，发现 Qpcp 值精确到十分位。

以下是检查数据有效性的步骤总结：
1. 查找测量架各字段的异常值和高频值。
2. 选择异常区域的点查看单个记录，判断值的一致性。
3. 按站点查看数据，过滤极端值。
4. 对其他测量值重复上述步骤。

2. 评估信息延迟

物联网设备的数据并非总是以相同的