IKAnalyzer中文分词去停用词问题解决

最新推荐文章于 2021-08-06 10:30:50 发布

七色光338

最新推荐文章于 2021-08-06 10:30:50 发布

阅读量4.1k

点赞数

CC 4.0 BY-SA版权

文章标签： IKAnalyzer去停用词

本文链接：https://blog.youkuaiyun.com/u013937688/article/details/45562111

本文探讨了如何使用Java语言开发的轻量级中文分词工具包进行文本处理，重点解决了停用词的去除问题。通过将源码中的stopword.dic和IKAnalyzer.cfg文件正确放置于SRC和bin目录，实现有效分词与去停用词功能，支持自定义停用词词典，操作便捷。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

采用的网上的代码怎么都去不掉停用词，最后下载了一个源码观察了stopword.dic和IKAnalyzer.cfg，是放到SRC和bin目录下都同时放的，我只是它们放到src下，所以导致只能分词不能去停用词，放到bin下之后就可以去停用词了，而且，支持stopword.dic扩充，很方便

代码

import java.io.IOException;
import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class OwnIKAnalyzer {
    public static void main(String[] args) throws IOException {  
    	String text="总的来说基于java语言开发的轻量级的中文分词工具包";
        StringReader sr=new StringReader(text);  
        IKSegmenter ik=new IKSegmenter(sr, true);  
        Lexeme lex=null;  
        while((lex=ik.next())!=null){  
            System.out.print(lex.getLexemeText()+"，");  
        }  
    }  

}