查看Lucene分词器分词后的结果

import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.WhitespaceAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;

/**
 * 输出分词器分词的结果
 * @author USER
 *
 */
public class LookAnalyzerResult {
 
     /**
      * 测试主程序入口
      * @param args
      * @throws Exception
      */
     public static void main(String[] args) throws Exception{
      Analyzer analyzer1 = new StandardAnalyzer();
      Analyzer analyzer2 = new WhitespaceAnalyzer();
      String indexString1 = "中国建设银行 深发银行 广东发展银行";
     
      String indexString2 = "这是一届创造奇迹、超越梦想的奥运会.......";
     
      /**
       * 中   国   建   设   银   行   深   发   银   行   广   东   发   展   银   行  
            中国建设银行   深发银行   广东发展银行 
       */
      showAnalyzerResult(analyzer1,indexString1);
      showAnalyzerResult(analyzer2,indexString1);
     
      /**
       * 这   是   一   届   创   造   奇   迹   超   越   梦   想   的   奥   运   会  
            这是一届创造奇迹、超越梦想的奥运会....... 
       */
      showAnalyzerResult(analyzer1,indexString2);
      showAnalyzerResult(analyzer2,indexString2);
     }
 
     /**
      * 查看分词后的结果
      * @param analyzer
      * @param s
      * @throws Exception
      */
  public static void showAnalyzerResult(Analyzer analyzer, String s) throws Exception {

    StringReader reader = new StringReader(s);
    TokenStream ts = analyzer.tokenStream(s, reader);

    Token t = ts.next();
    while (t != null) {
      System.out.print(t.termText()+"   ");
      t = ts.next();
    }
    System.out.println();
  }
}