2022年5月9日,国际数据库顶级会议 ICDE 2022(线上会议)盛大召开。康愈圆同学的《 Separation or Not: On Handing Out-of-Order Time-Series Data in Leveled LSM-Tree 》被 ICDE 2022 录用,并在会议上介绍了这篇论文。
1.论文介绍
论文主题——乱序时间序列数据的写入管理
1.1论文简介:
日志结构合并树 (LSM-Tree) 是一种高效存储数据的数据结构,被广泛应用在存储系统上,这也是 Apache IoTDB 采用的存储格式。
一般来说,日志结构合并树在内存中只有一种类型的内存表,用于缓冲新写入的数据点。然而,为了提高时间序列数据采集与入库顺序不一致的乱序场景下的查询性能,IoTDB 在传统的日志结构合并树上做出了创新,设计了顺序内存表和乱序内存表这两种结构来分别存储顺序数据点与乱序数据点。我们将只有单一内存表的方法称为传统策略,具有顺序与乱序两种内存表的方法称为分离策略。日志结构合并树会在写入数据后将数据不断地整理以提高查询的性能。这一过程会将数据从磁盘上读取到内存中,并再次写入磁盘,这就引起了写放大现象。
写放大现象的严重