Lucene应用实战(三)——分词器的使用

前言

前面几篇文章我们对Lucene中索引的创建等相关知识进行了初步的学习。

接下来思考一个问题，我们创建的索引，是不是符合我们搜索要求的索引呢？

平日里我们搜索东西的时候，输入某个关键词，有时候能搜出来，有时候搜别的关键词就搜不出来。

用户输入的关键词和我们存储的索引之间会有一个匹配的过程，如果能匹配的上，那么就返回相应结果。

索引创建是很关键的一环，而分词又是索引创建的核心，直接影响到索引的质量。

接下来我们来从分词入手，详细拆解索引创建过程中分词的流程。

分词的相关概念

分词器：采集到的数据会存储到Document对象的Field域中，分词器就是将Document中Field的value
值切分成一个一个的词。
停用词：停用词是为节省存储空间和提高搜索效率，搜索程序在索引页面或处理搜索请求时会自动忽略某
些字或词，这些字或词即被称为Stop Words(停用词)。比如语气助词、副词、介词、连接词等，通常自
身并无明确的意义，只有将其放入一个完整的句子中才有一定作用，如常见的“的”、“在”、“是”、“啊” 、
a、an、the 等。
扩展词：扩展词就是分词器默认不会切出的词 但我们希望分词器切出这样的词 。

过滤：包括去除标点符号过滤、去除停用词过滤（的、是、a、an、the等）、大写转小写、词的形还原
（复数形式转成单数形参、过去式转成现在式。。。）等。