IK分词中文分词使用-java

前言

最近写的一个功能是筛选句子的词汇,并统计出现最多的词汇,所以用到了IK分词下面简单介绍一下.

内容

第一点: 简单介绍一下

第二点: 引入jar包

<dependency>
    <groupId>com.janeluo</groupId>
    <artifactId>ikanalyzer</artifactId>
    <version>2012_u6</version>
</dependency>
<dependency>
    <groupId>org.apache.lucene</groupId>
    <artifactId>lucene-core</artifactId>
    <version>4.7.2</version>
</dependency>

第三点: 扩展配置取消停用词

需要建立一个进行扩展的xml
文件名: IKAnalyzer.cfg.xml
内容:

<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">ext.dic;</entry> 
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords">stopword.dic;</entry> 

`

取消停用词部分,只需要在加入一个与配置名字相同的文本文档即可里面写好需要停用的词汇

写停用词的格式

第四点:进行分词

package com.haha.test;
 
import java.io.IOException;
import java.io.StringReader;
 
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;
 
public class Test3 {
	
	public static void main(String[] args) throws IOException {
		String text="基于java语言开发的轻量级的中文分词工具包";
		StringReader sr=new StringReader(text);
		IKSegmenter ik=new IKSegmenter(sr, true);
		Lexeme lex=null;
		while((lex=ik.next())!=null){
			System.out.print(lex.getLexemeText()+"|");
		}
	}
 
}

其他

如果觉得不能理解或者需要例子可以直接下载资源之后上传…

小结

感谢您的阅读~~