雨和你的故事

一、总论 根据http://lucene.apache.org/java/docs/index.html 定义： Lucene 是一个高效的，基于Java 的全文检索库。 所以在了解Lucene之前要费一番工夫了解一下全文检索。 那么什么叫做全文检索呢？这要从我们生活中的数据说起。 我们生活中的数据总体分为两种：结构化数据 和非结构化数据 。 结构化数据： 指具

1.简介 倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(inverted file)。 倒排文件（倒排索引），索引对象是文档或者文档集合中的单词等，用来存储

词典的格式设计 词典中所保存的信息主要是三部分： Term字符串Term的统计信息，比如文档频率(Document Frequency)倒排表的位置信息 其中Term字符串如何保存是一个很大的问题，根据上一章基本原理的表述中，我们知道，写入文件的Term是按照字典顺序排好序的，那么如何将这些排好序的Term保存起来呢？ 1. 顺序列表式 一个直观的想法就是顺序列表的方式，即每个Ter

1. 定长编码 最容易想到的方式就是常用的普通二进制编码，每个数值占用的长度相同，都占用最大的数值所占用的位数，如图所示。   这里有一个文档ID列表，254,507,756,1007，如果按照二进制定长编码，需要按照最大值1007所占用的位数10位进行编码，每个数字都占用10位。 和词典的格式设计中顺序列表方式遇到的问题一样，首先的问题就是空间的浪费，本来254这

我们来看最复杂的部分，就是Term Dictionary和Term Index文件，Term Dictionary文件的后缀名为tim，Term Index文件的后缀名是tip，格式如图所示。   Term Dictionary文件首先是一个Header，接下来是PostingsHeader，这两个的格式一致，但是保存的是不同的信息。SkipInterval是跳跃表的跳的幅度，