【顶会论文】Apache IoTDB 论文获 VLDB 2025 录用，集群秒级扩容性能“解密”

最新推荐文章于 2025-12-08 09:49:39 发布

原创

最新推荐文章于 2025-12-08 09:49:39 发布 · 597 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#apache #iotdb

无迁移、高可用、资源占用小的集群时序数据存储方案！

9 月 1 日至 9 月 5 日，第 51 届 VLDB Conference 将于英国伦敦召开，时序数据库 Apache IoTDB 的研究成果论文：Migration-Free Elastic Storage of Time Series in Apache IoTDB（Apache IoTDB 中免迁移的时间序列弹性存储）被录用。IoTDB 已连续数年在数据库国际顶级会议发表研究成果，其创新性与先进性持续获得权威认可。

VLDB 官网收录论文提及：

https://vldb.org/2025/?program-schedule-2025

论文《Apache IoTDB 中免迁移的时间序列弹性存储》针对物联网场景中，时间序列和时序数据不断增长带来的集群扩容与容灾问题，提出了更加高效、无需迁移的数据分区和分配策略。相比现有解决方案，磁盘使用率标准差在扩展场景降低 248.4%，在灾害场景降低 70.0%，整体写入吞吐标准差在扩容场景降低 322.9%，在灾害场景降低 60.3%。

在分布式时序数据库（TSDB）中，时序数据通常按序列和时间进行分区。这些分区随后被分配到分片，分片的副本决定了存储位置，而领导者负责管理写入负载。在物联网（IoT）场景中，随着传感器数量的不断增长，集群也会随之扩展，重新平衡存储的一种常见方法是迁移现有分区，但这会产生额外的开销。

通常，时序数据库会通过生存时间（Time to Live，TTL）来自动卸载过期数据，因此动态扩展分片而不是迁移现有分区也可以恢复存储平衡。同时，集群的容灾能力取决于副本放置方案，而集群的扩展会使这个问题变得更加复杂。物联网场景中的密集写入负载需要平衡的领导者选择，而容灾放置方案使得该选择变得困难。

论文中提出了一种具有可靠容灾能力，且存储均衡的副本放置算法，以及一种写均衡的领导者选择算法，以解决上述问题。该解决方案已在 Apache IoTDB 1.3 版本中成功部署，广泛评估证明了其在可用性和性能方面的卓越性。