Pinot中的Forward Index源码分析

最新推荐文章于 2024-08-07 10:21:54 发布

xywtalk

最新推荐文章于 2024-08-07 10:21:54 发布

阅读量865

点赞数

CC 4.0 BY-SA版权

文章标签：源码索引 Pinot OLAP

本文链接：https://blog.youkuaiyun.com/xywtalk/article/details/51138586

本文通过Quickstart分析Pinot中Forward Index的创建过程，包括收集列统计数据、按行处理索引，以及对每行索引的详细步骤。对于single value field，使用二分查找在dictionary index中定位，存储为int类型，与column类型无关。Forward Index实质上是一个一维数组，存储每个值在dictionary index中的位置，配合dictionary index实现快速查找。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

还是以Quickstart为例，说一下forward index的创建过程。

收集各个column的统计数据

代码同dictionary index。

再次遍历，按行处理每列的索引

iterator复位

// Build the index
recordReader.rewind();

重新遍历，对每行索引

LOGGER.info("Start building IndexCreator!");
while (recordReader.hasNext()) {
  long start = System.currentTimeMillis();
  GenericRow row = recordReader.next();
  long stop = System.currentTimeMillis();
  indexCreator.indexRow(row);
  long stop1 = System.currentTimeMillis();
  totalRecordReadTime += (stop - start);
  totalIndexTime += (stop1 - stop);
}

indexRow的实现：

@Override
public void indexRow(GenericRow row) {
    for (final String column : dictionaryCreatorMap.keySet()) {

        Object columnValueToIndex = row.getValue(column);
        Object dictionaryIndex;
        if (dictionaryCache.get(column).containsKey(columnValueToIndex)) {
            dictionaryIndex = dictionaryCache.get(column).get(columnValueToIndex