jollyjumper的专栏

目前分词性能比较差，只有1.65M/s,同事在没有改变主要算法的情况下做了一点优化调整，到3.52M/s，但对性能的提升仍然不够明显。我感觉亟须解决几个问题: 1.search时keyword分词也按多种粒度进行，然后分别sloppyphrase,最后or起来,由于大粒度分的词词频低，因此idf大，它们在排序时优先级更高，符合期望。现在只做一个粒度的切法，又要求在索引里面都能找到，感觉不太现实。

TokenStream extends AttributeSource implements Closeable: incrementToken,end,reset,close Tokenizer直接继承至TokenStream,其输入input是一个reader TokenFilter也直接继承TokenStream,但input是一个TokenStream。 TokenStreamCo

目前全量索引17G,不到1300万document花费大约25分钟的时间(Lucene 4.0)，吞吐量远远低于lucene nightly build宣称的170G/h的量。换用StandardAnalyzer,有34%的提高，比较下使用的KAnalyzer,mmseg4j1.9.2-snapshot,standardanalyzer,性能分别在1.7M/s,10M/s,20M/s这样量级。所以