lucene 4.6 之indexing 之 IndexChain，索引数据结构

最新推荐文章于 2025-05-28 10:53:59 发布

iteye_4814

最新推荐文章于 2025-05-28 10:53:59 发布

阅读量165

点赞数

分类专栏： search 文章标签： lucene 源码 index index chain docconsumer

本文链接：https://blog.youkuaiyun.com/iteye_4814/article/details/82575402

版权

search 专栏收录该内容

11 篇文章

订阅专栏

      /*
      This is the current indexing chain:

      DocConsumer / DocConsumerPerThread
        --> code: DocFieldProcessor
          --> DocFieldConsumer / DocFieldConsumerPerField
            --> code: DocFieldConsumers / DocFieldConsumersPerField
              --> code: DocInverter / DocInverterPerField
                --> InvertedDocConsumer / InvertedDocConsumerPerField
                  --> code: TermsHash / TermsHashPerField
                    --> TermsHashConsumer / TermsHashConsumerPerField
                      --> code: FreqProxTermsWriter / FreqProxTermsWriterPerField
                      --> code: TermVectorsTermsWriter / TermVectorsTermsWriterPerField
                --> InvertedDocEndConsumer / InvertedDocConsumerPerField
                  --> code: NormsConsumer / NormsConsumerPerField
          --> StoredFieldsConsumer
            --> TwoStoredFieldConsumers
              -> code: StoredFieldsProcessor
              -> code: DocValuesProcessor
    */

DocumentsWriterPerThread 中具体负责索引工作的是IndexingChain，这些类跟持久化到磁盘上得索引文件都存在对应关系。

DocFieldProcessor 继承DocConsumer ，负责收集所有的field的信息，然后传给相应的per-field consumers , 来处理这些信息，具体的事情由他的成员变量,真正干实事的是：

NormsConsumer：写 _X.nrm 文件，写归一化的文件。

FreqProxTermsWriter：写_X.tim,_X.tip, _X.doc, _X.pos文件。

TermsVectorConsumer：写_X.tvx ,_X.tvd, _X.tvf 文件。

StoredFieldsProcessor：写_X.fnm, _X.fdt,_X.fdx 文件。

在DocFieldProcessor中，用一个DocFieldProcessorPerField[]的数组来保存每一个field对应的处理对象，因为每一个对象都是复用的。