54、物联网数据管理与电动汽车充电站部署研究

物联网数据管理与电动汽车充电站部署研究

物联网数据库性能评估

在物联网应用中，数据管理至关重要。为了评估不同数据库系统在处理空气质量物联网数据集时的性能，我们生成了两个测试数据集：
- 大数据集：包含100万个传感器，每个传感器有10个指标。
- 小数据集：包含1万个传感器。

数据读取间隔为10分钟，监测时长为1天，共144个数据点。大数据集的数据点总数为14.4亿，大小为198.8GB。

加载性能

不同数据库系统在加载数据时采用了不同的方法：
- OpenTSDB：使用大小为10000的批量加载。
- PostgreSQL：使用相同批量大小的批量插入。
- KDB+和BerkeleyDB：使用默认的插入或添加方法。

加载测试使用算法1，测量每10000次操作的耗时并计算相应的吞吐量。结果以箱线图展示，红线代表吞吐量的中位数，高度代表可变性。
|数据库|大数据集吞吐量|小数据集吞吐量|
| ---- | ---- | ---- |
|KDB+|最高可达每秒38000次操作| - |
|PostgreSQL|小数据集吞吐量是大数据集的4.3倍| - |

通过Linux命令vmstat检查IO发现，大数据集的写入延迟比小数据集长5 - 15%，I/O速度变化较大，读取速度为2 - 15MB/s，写入速度为0 - 10MB/s，这可能是由于索引构建导致的。从箱线图高度来看，KDB+的可变性最小。

加载数据后，各数据库的大小如下：
|数据库|大小|
| ---- | ---- |
|Raw data