Lucene分词器

英文分词器

步骤：Creates a searcher searching the index in the named directory

切分关键词

Creates
a
searcher
searching
the
index
the
named
directory

去除停用词

停用词：有些词在文本中出现的频率非常高。但对本文的语义产生不了多大的影响。例如英文的a、an、the、of等。或中文的”的、了、呢等”。这样的词称为停用词。停用词经常被过滤掉，不会被进行索引。在检索的过程中，如果用户的查询词中含有停用词，系统会自动过滤掉。停用词可以加快索引的速度，减少索引库文件的大小。
Creates
searcher
searching
index
named
directory

转为小写(搜索时不区分大小写，因为分词器会帮你转化)

creates
searcher
searching
index
named
directory

中文分词器

单字分词

Analyzer analyzer2 = new ChineseAnalyzer();

把汉字一个字一个字分解出来。效率比较低。

二分法分词

词库分词(IKAnalyzer)

Analyzer analyzer4 = new IKAnalyzer();

基本上可以把词分出来(经常用的分词器)

如图：
ext_stopword.dic为停止词的词库，词库里的词都被当作为停止词使用。
IKAnalyzer.cfg.xml为IKAnalyzer的配置文件。

Key为ext_stopwords 为停止词所在的位置。
Key为ext_dict为配置自己的扩展字典所在的位置。如图所示可以在mydict.dic中添加自己所需要的词。