Lucene中一些英文分析器 Analyzer

注意：并不真正的支持汉语分词，不多说了，上代码。

Lucene自带的几个分词器WhitespaceAnalyzer，SimpleAnalyzer，StopAnalyzer，StandardAnalyzer，ChineseAnalyzer，CJKAnalyzer等。前面三个只适用于英文分词，StandardAnalyzer对可最简单地实现中文分词，即二分法，每个字都作为一个词，这样分出来虽然全面，但有很多缺点，比如，索引文件过大，检索时速度慢等。ChineseAnalyzer是按字分的,与StandardAnalyzer对中文的分词没有大的区别。 CJKAnalyzer是按两字切分的, 比较武断,并且会产生垃圾Token，影响索引大小。以上分词器过于简单，无法满足现实的需求，所以我们需要实现自己的分词算法。

import java.io.IOException; import java.io.Reader; import java.io.StringReader; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.SimpleAnalyzer; import org.apache.lucene.analysis.StopAnalyzer; import org.apache.lucene.analysis.StopFilter; import org.apache.lucene.analysis.Token; import org.apache.lucene.analysis.WhitespaceAnalyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; /** * 此次测试使用的是Lucene1.4.3 * @author 李晗 * */ public class Test { private static String STR = "i am lihan, i am a boy, i come from Beijing，我是来自北京的李晗"; // WhitespaceAnalyzer 分析方法：空格分割 public static Analyzer testWhitespaceAnalyzer(){ Analyzer alalyzer = new WhitespaceAnalyzer(); return alalyzer; } //SimpleAnalyzer 分析方法：空格及各种符号分割 public static Analyzer testSimpleAnalyzer(){ Analyzer analyzer = new SimpleAnalyzer(); return analyzer; } //StopAnalyzer 分析方法：空格及各种符号分割,去掉停止词，停止词包括 is,are,in,on,the等无实际意义的词 public static Analyzer testStopAnalyzer(){ Analyzer analyzer = new StopAnalyzer(); return analyzer; } //StandardAnalyzer 分析方法：混合分割,包括了去掉停止词，支持汉语 public static Analyzer testStandardAnalyzer(){ Analyzer analyzer = new StandardAnalyzer(); return analyzer; } public static void main(String[] a){ Analyzer analyzer = testStopAnalyzer(); Reader r = new StringReader(STR); //WhitespaceAnalyzer 和SimpleAnalyzer使用Tokenizer //Tokenizer ts = (Tokenizer) analyzer.tokenStream("", r); //StopAnalyzer和StandardAnalyzer 使用StopFilter StopFilter sf = (StopFilter) analyzer.tokenStream("", r); Token t ; try { while((t = sf.next()) != null){ System.out.println(t.termText()); } } catch (IOException e) { e.printStackTrace(); } } }