Lucene索引文件结构图之一(prx&nrm&tvx&tvd&del&tvf)

最新推荐文章于 2023-12-29 20:00:00 发布
原创 最新推荐文章于 2023-12-29 20:00:00 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#lucene #query

本文档详细介绍了 Lucene 3.0 版本的核心机制，包括索引文件格式、倒排索引构建过程、查询解析、文档定位及评分机制等内容，并通过图表形式展示各环节的工作原理。

转帖请注明本空间地址：http://blog.youkuaiyun.com/chenpingbupt

Lucene相关的这些文章都是在两年前看的时候记录的，应该基于lucene3.0左右的版本，主要包括一些lucene打分，索引文件格式图，倒排索引过程，query解析，doc定位过程，打分过程等等，用得到的凑合看看把。图片中的"?"及“*”参照正则的方式来表述该元素应重复的数量。


Lucene 索引文件之kdd&kdi&kdm
q364367207的专栏
10-27 851
从Lucene8.6.0开始，用于存储点数据（point value）的索引文件由原先的两个索引文件dim&&dii，改为三个索引文件kdd&kdi&kdm。由于生成kdd&kdi&kdm的过程基本上没有太大的变动，并且索引文件的数据结构中的字段也变化不大。故本文不会再详细介绍每一个字段的含义，即阅读本章前，最好先看下文章索引文件dim&&dii的数据结构，以及索引文件dim&&dii的生成过程以及索引文件dim&&am
Lucene 索引文件的读取（七）之tim&&tip
q364367207的专栏
08-04 725
本篇文章开始介绍索引文件tim&&tip的读取，通过TermRangeQuery的例子来介绍如何从索引文件.tim&&.tip中获取满足查询条件的所有term。   为了便于介绍，使用了文章Automaton（二）中提供的例子： 图1：   结合图1的例子，获取满足查询条件（第79行代码）的所有term的过程可以简单的用一句话来描述：根据域名"content"，从索引文件.tim&&.tip中获取该域对应的term集合，随后遍历集合中的每一个term
Lucene 7.5.0 索引文件之segments_N
q364367207的专栏
06-10 1057
当IndexWriter执行commit()操作后，会生成一个segments_N文件，该文件描述了当前索引目录中所有有效的段信息文件(active segment info)，即之前文章介绍的segmentInfo文件。   索引目录中可能存在多个Segments_N文件，每个Segment_N文件代表某次commit()时的索引状态，其中N值最大的Segments_N文件代表最新的一次提交，...
Lucene4.2源码解析之fdt和fdx文件的读写
weixin_33940102的博客
07-31 625
前言通常在搜索打分完毕后，IndexSearcher会返回一个docID序列，但是仅仅有docID我们是无法看到存储在索引中的document,这时候就需要通过docID来得到完整Document信息，这个过程就需要对fdx/fdt文件进行读操作。为了更清楚地了解fdx/fdt文件的作用，本文把fdx/fdt文件的读和写整合到了一起，尽管这在Lucene中是两个分开的过程。1. 索引生成阶段索引生...
Lucene 7.5.0 索引文件之fdx&&fdt
q364367207的专栏
03-01 345
fdx，fdt文件用来存储那些在索引阶段被定义Store.YES的域值（field value）信息跟数据。 看这里：http://www.amazingkoala.com.cn/Lucene/suoyinwenjian/2019/0301/38.html
Lucene4.2源码解析之fdt和fdx文件的读写(续)——fdx文件存储一个个的Block，每个Block管理着一批Chunk，通过docID读取到document需要完成Segment、Bloc...
djph26741的博客
02-13 235
2索引读取阶段 当希望通过一个DocId得到Doc的全部内容，那么就需要对fdx/fdt文件进行读操作了。具体的代码在CompressingStoredFieldsReader类里面。与CompressingStoredFieldsWriter一样，这些操作都是建立在fdx/fdt文件格式理解的基础上。 既然前面有一个比喻：如果fdt是一本书的正文，那...
CLucene中文件.fdt文件和.fdx文件格式
wenxinfly的专栏
10-21 860
xxx.fdt主要存储了每个Field相应的内容, 格式如下： void DocumentsWriter::ThreadState::writeDocument() { // If we hit an exception while appending to the // stored fields or term vectors files, we have to // abor...
Lucene 索引文件的读取（十四）之fdx&&fdt&&fdm
q364367207的专栏
11-02 1088
在前几篇索引文件的读取的系列文章中，我们介绍索引文件tim&&tip的读取时机点时说到，在生成StandardDirectoryReader对象期间，会生成SegmentReader对象，该对象中的StoredFieldsReader信息描述了索引文件fdx&&fdt&&fdm中所有域的索引信息，故我们从本篇文章开始介绍索引文件fdx&&fdt&&fdm的读取。 StoredFieldsReader   在生成Standar
Lucene 索引文件的生成（十七）之dvd&&dvm
q364367207的专栏
05-26 309
本文承接索引文件的生成（十六）之dvm&&dvd继续介绍剩余的内容，先给出流程图： 生成索引文件.dvd、.dvm之NumericDocValues的流程图 图1： 使用域值映射存储 图2：   介绍本流程点之前，先介绍下什么是域值映射存储： 域值映射存储通过一个映射关系，将每一种域值映射为一个新的数值，并且存储该数值到索引文件.dvd中，在读取阶段通过该数值和映射关系，获得原始的域值。   生成映射关系encode需要几下几个步骤： 步骤一：收集域值种类 步骤二：排
Lucene 索引文件的生成（二十）之dvd&&dvm
q364367207的专栏
06-05 320
本文承接文章索引文件的生成（十九）之dvm&&dvd继续介绍剩余的内容。 生成索引文件.dvd、.dvm之SortedDocValues、SortedSetDocValues   生成索引文件.dvd、.dvm之SortedDocValues、SortedSetDocValues的流程图： 图1： 写入TermsDict信息 图2：   在当前流程点，将存储SortedDocValues、SortedSetDocValues对应的所有域值按照字典序写入到索引文件中，在文章
Lucene 索引文件的生成（二十三）之fdx&&fdt&&fdm
q364367207的专栏
10-15 511
从本篇文章开始介绍用于描述存储域（存储域的概念见文章索引文件之fdx&&fdt&&fdm）的索引文件.fdx、.fdt、.fdm的生成过程，直接给出流程图： 图1：   从图1中可以看出，生成完整的索引文件.fdx、.fdt、.fdm的过程分布在两个阶段：索引阶段、flush阶段。这也解释了为什么在文章文档提交之flush（三）的图5中，其他索引文件都是"生成"、而索引文件.fdx、.fdt、.fdm则是"更新"，注意的是那篇文章中是基于Lucene 7.5.0，故不
lucene索引过程详解
深未来技术
12-24 513
一、索引是LUCENE最重要的一个过程，通过IndexWriter的addDocument接口，可以将构建的Document加入索引。二、IndexWriter的addDocument方法首先创建一个DocumentWriter对象，接着为Segment命名，然后调用DocumentWriter的addDocument()方法向索引中增加文档，最后将Segment的信息保存，如果有多个segm
深入Lucene的索引文件
laravel framework
02-01 400
  Lucene的索引里面存了些什么，如何存放的，也即Lucene的索引文件格式，是读懂Lucene源代码的一把钥匙。 当我们真正进入到Lucene源代码之中的时候，我们会发现: Lucene的索引过程，就是按照全文检索的基本过程，将倒排表写成此文件格式的过程。 Lucene的搜索过程，就是按照此文件格式将索引进去的信息读出来，然后计算每篇文档打分(score)的过程。   本文详...
Lucene学习总结之五：Lucene段合并(merge)过程分析
diebiaosang4496的博客
03-06 457
一、段合并过程总论 IndexWriter中与段合并有关的成员变量有： HashSet<SegmentInfo> mergingSegments = new HashSet<SegmentInfo>(); //保存正在合并的段，以防止合并期间再次选中被合并。 MergePolicy mergePolicy = new LogByteSizeMergePol...
nrm的保姆级使用教程
最新发布
爱蹦跶的全栈大A阿
12-29 2651
nrm(npm registry manager)是一个NPM源管理器,它允许你快速地在如下NPM源间切换
lucene索引结构整理
u013277115的专栏
06-12 1314
一、基础信息 索引结构： 索引信息元数据：segment_N. 段信息元数据：.si 正排信息：.fnm .fdx .fdt 倒排信息：.tim .tip 与 .doc .pos .pay norm信息：.nvm .nvd doc_value信息：.dvm .dvd term_vector信息：.tvx .tvd 存储类型 Int8： Byte Int32：4 Byte 无符号int...
nrm 详解
ZSDLZ37的博客
09-22 512
是一个 npm 源管理器，允许快速的在 npm 源间切换npm 默认的使用 npm 官方源，一般使用 淘宝npm 源修改方式切换的话就需要使用 nrm（假设你去到了国外）
Elasticsearch（Lucene）文件组织结构以及检索数据流程简析
点滴之积
09-19 1295
Elasticsearch（Lucene）数据在磁盘的目录结构，以及在检索是的简要流程
边学边记（五） lucene索引存储结构详解二（segments_N）
06-02 5494
lucene索引结构，segment_n 文件结构，lucene字符串存储
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值