Lucene使用（四）中文分词器smartcn

最新推荐文章于 2025-06-17 19:45:02 发布

xxpsw

最新推荐文章于 2025-06-17 19:45:02 发布

阅读量7.1k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Lucene 文章标签： lucene smartcn 中文分词器停用词 SmartChineseAnalyzer

本文链接：https://blog.youkuaiyun.com/xxpsw/article/details/78902312

本文介绍了如何在Lucene中使用SmartChineseAnalyzer进行中文分词，并探讨了自定义停用词的方法，以优化搜索效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Lucene自带多种分词器，其中对中文分词支持比较好的是smartcn。

1. 标准分词器StandardAnalyzer

在演示smartcn中文分词器之前，先来看看Lucene标准分词器对中文分词的效果。需要的jar为\lucene-5.5.5\core\下的lucene-core-5.5.5.jar和\lucene-5.5.5\analysis\common\下的lucene-analyzers-common-5.5.5.jar。新建测试类TestLucene04：

package net.xxpsw.demo.lucene.test;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
public class TestLucene04 {
	private void print(Analyzer analyzer) throws Exception {
		String text = "Lucene自带多种分词器，其中对中文分词支持比较好的是smartcn。";
		TokenStream tokenStream = analyzer.tokenStream("content", text);
		CharTermAttribute attribute = tokenStream.addAttribute(CharTermAttribute.class);
		tokenStream.reset();
		while (tokenStream.incrementToken()) {
			System.out.println(new String(attribute.toS