Lucene分词器 IKAnalyzer

最新推荐文章于 2025-07-05 11:39:19 发布

原创最新推荐文章于 2025-07-05 11:39:19 发布 · 641 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了一个使用Java实现的IKAnalyzer分词器实例。通过具体代码演示了如何利用IKAnalyzer进行中文分词，并展示了不同分词效果。适用于对中文信息检索及自然语言处理感兴趣的读者。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需要导入jar：

public class IKAnalyze {

    //分词器
    @Test
    public void test() throws Exception {
        //String word="a good person,Happy Every Day";
        //String word="我为何不哭，因为我仅存的，就只有坚强了";
        String word="中华人民共和国KWWL  DRGYBN，北大老鸟，我们是";
        //Analyzer analyzer = new StandardAnalyzer();//一元分词
        // Analyzer analyzer=new CJKAnalyzer();  //二元分词
        // Analyzer analyzer=new SmartChineseAnalyzer();  //智能中文分词
        //IK分词
      Analyzer analyzer=new IKAnalyzer(true);
        testAnalyzer(analyzer,word);
    }
    //使用指定的分词器对指定的文本进行分词
    public  void testAnalyzer(Analyzer analyzer, String text) throws Exception {
        System.out.println("分词器：" + analyzer.getClass());
        StringReader reader= new StringReader(text);
        TokenStream tokenStream = analyzer.tokenStream("content",reader);
        tokenStream.reset();
        CharTermAttribute cta =tokenStream.addAttribute(CharTermAttribute.class);
        while (tokenStream.incrementToken()) {
            System.out.println(cta);
        }
        reader.close();
    }