Lucene分词器 IKAnalyzer

本文介绍了一个使用Java实现的IKAnalyzer分词器实例。通过具体代码演示了如何利用IKAnalyzer进行中文分词,并展示了不同分词效果。适用于对中文信息检索及自然语言处理感兴趣的读者。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

需要导入jar:




public class IKAnalyze {

    //分词器
    @Test
    public void test() throws Exception {
        //String word="a good person,Happy Every Day";
        //String word="我为何不哭,因为我仅存的,就只有坚强了";
        String word="中华人民共和国KWWL  DRGYBN,北大老鸟,我们是";
        //Analyzer analyzer = new StandardAnalyzer();//一元分词
        // Analyzer analyzer=new CJKAnalyzer();  //二元分词
        // Analyzer analyzer=new SmartChineseAnalyzer();  //智能中文分词
        //IK分词
      Analyzer analyzer=new IKAnalyzer(true);
        testAnalyzer(analyzer,word);
    }
    //使用指定的分词器对指定的文本进行分词
    public  void testAnalyzer(Analyzer analyzer, String text) throws Exception {
        System.out.println("分词器:" + analyzer.getClass());
        StringReader reader= new StringReader(text);
        TokenStream tokenStream = analyzer.tokenStream("content",reader);
        tokenStream.reset();
        CharTermAttribute cta =tokenStream.addAttribute(CharTermAttribute.class);
        while (tokenStream.incrementToken()) {
            System.out.println(cta);
        }
        reader.close();
    }

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值