lucene分词部分源码阅读-分词流程

分词入口：子类调用 Analyzer.totkenStream(String fieldName,Read read)。构建分词器，读入待分词文本。

子类中实现createComponents方法

将需要的Tokenizer,及Filter传入TokenStreamComponents , TokenStreamComponents是Analyzer的内部类。

返回对象为包装了Tokenizer的Filter。Filter继承自TokenStream。

 

之后用返回的filter对象调用incrementToken方法，外层装饰对象先调用内层装饰对象的incrementToken方法，执行顺序为：最先进行分词，再按照装饰顺序进行过滤，最终分词结果转为指定词元格式后返回。