lucene简单词典分词

最新推荐文章于 2021-09-16 11:30:33 发布

最新推荐文章于 2021-09-16 11:30:33 发布 · 308 阅读

文章标签：

#java

lucene 专栏收录该内容

8 篇文章

订阅专栏

本文介绍了一种简易的自定义分词器实现方法，包括Token和Analyzer的具体实现细节。通过构造词库并搜索匹配，实现了基本的中文分词功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

其实要实现自己的分词并不是很困难。

要实现Token的next()方法，要实现比较好的分词就需要在这里进行复杂的处理，不过我的需求比较简单，

所以只在这判断一下是否有词库中对应的词。

private final Token getToken(String w,int p){
  Token token = new Token(w,p,w.length());
  return token;
}
public final Token next() throws IOException{
    ArrayList list = WordTreeFactory.getInstance();//初始化词库
    for(int i=curI;i<list.size();i++){
     curI = i;
     String w = (String) list.get(i);
     //if(s.indexOf(w)!=-1){
      for(int j = curJ; j< s.length(); j++) {
         //curJ = j+1;
            int at = s.indexOf(w,j);
            if(at<0){
             curJ = 0;
             break;
            }
            else{
             curJ = at+1;

             return getToken(w,at);
            }
            //w = null;
            //i = at;
         }
     //}
     curI = i+1;

    }
    return null;
}

Token实现完后就是实现Analyzer的tokenStream方法

public class SampleAnalyzer extends Analyzer {

public SampleAnalyzer() {
}

    public final TokenStream tokenStream(String fieldName, Reader reader) {
    TokenStream result = new ThesaurusTokenizer(reader);
         return result;
    }
}

一个最简单的分词就弄好了。