lucene 分词工具使用

最新推荐文章于 2025-06-23 15:45:17 发布

转载最新推荐文章于 2025-06-23 15:45:17 发布 · 444 阅读

本文介绍如何使用IKAnalyzer2012进行中文分词测试，包括下载工具、引入Maven依赖、配置代码及测试示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、到google下载IKAnalyzer2012http://code.google.com/p/ik-analyzer/downloads/list

2、使用maven相关jar包的下载

<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-core</artifactId>
			<version>3.6.0</version>
		</dependency>
		<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-highlighter</artifactId>
			<version>3.6.0</version>
		</dependency>
		<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-memory</artifactId>
			<version>3.6.0</version>
		</dependency>
		<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-analyzers</artifactId>
			<version>3.6.0</version>
		</dependency>
		
		 <dependency>
                       <groupId>IKAnalyzer</groupId>
                        <artifactId>IKAnalyzer</artifactId>
                        <version>2012.u6</version>
                </dependency>

3.建立一个java测试项目scmsplitkw

拷贝下载包里面的stopword.dic、IKAnalyzer.cfg.xml到项目源码根目录

因为要测试自定义中文分词，在源码根目录创建文件ext.dic

配置IKAnalyzer.cfg.xml，在properties内添加

写道

<entry key="ext_dict">ext.dic;</entry>

<entry key="ext_stopwords">stopword.dic;stopword_chinese.dic</entry>

package com.iris.scm.lucene.test;

import java.io.StringReader;

import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class IKAnalyzerTest {

	public static void main(String[] args) throws Exception {

		String keyWord = "YAG晶体采用过滤阴极真空电弧技术制备非晶金刚石薄膜,细粒赤铁矿.
		IKAnalyzer analyzer = new IKAnalyzer();

		// 使用智能分词
		analyzer.setUseSmart(true);

		System.out.println("当前使用的分词器：" + analyzer.getClass().getSimpleName());
		TokenStream tokenStream = analyzer.tokenStream("content", new StringReader(keyWord));
		tokenStream.addAttribute(CharTermAttribute.class);
		while (tokenStream.incrementToken()) {
			CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);
			System.out.println(new String(charTermAttribute.buffer()));
		}
	}

}