中文分词

最新推荐文章于 2025-05-15 12:53:57 发布

小江_xiaojiang

最新推荐文章于 2025-05-15 12:53:57 发布

阅读量955

点赞数

CC 4.0 BY-SA版权

分类专栏：自然语言处理

本文链接：https://blog.youkuaiyun.com/jiangsanfeng1111/article/details/50955875

自然语言处理专栏收录该内容

1 篇文章

订阅专栏

目前比较好的的分词器有IKAnalyzer、Paoding，都是开源的。

最近也在学习IKAnalyzer中文分词器。在下载的使用文档中也有比较详细的说明。在eclipse中导入分词器，这里要注意的是一个版本兼容性问题，IKAnalyzer2012兼容的是Lucene3.1以上的版本，由于我的eclipse中的Lucene的版本是3.0的，因此还要更新eclipse中的Lucene。但是也可以不更新，因为在IKAnalyzer2012中分词器有两个：一个是IKAnalyzer，另外一个是IKSegmenter。前者继承Lucene，而后者是可以独立。我使用的是Maven管理的项目，由于IKAnalyzer是国人开发的，所以要自己管理自己包。我的Lucene是4.0版本以上的，所以要用IKAnalyzer2012_FF_hf1.jar。

一下是IKAnalyzer代码

package com.datamine.WordSegmenter;


import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.util.Version;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class IKAnalyzerTest {

	public static String str="基于java语言开发的轻量级的中文分词工具包";
	
	public static void main(String[] args) throws Exception {
		
		//基于Lucene实现
		Analyzer analyzer = new IKAnalyzer(true); //true智能切分,false为细粒度的分词
		StringReader reader = new StringReader(str);
		TokenStream ts = analyzer.tokenStream("", reader);
		CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);
		
		while(ts.incrementToken()){
			System.out.print(term.toString()+ "|");
		}
		reader.close();
		
		System.out.println();
		
		//独立实现
		StringReader re = new StringReader(str);
		IKSegmenter ik = new IKSegmenter(re, false);
		Lexeme lex = null;
		while((lex = ik.next())!=null){
			System.out.print(lex.getLexemeText()+"|");
		}
		
	}
	
	
}

结果：

基于|java|语言|开发|的|轻量级|的|中文|分词|工具包|
基于|java|语言|开发|的|轻量级|量级|的|中文|分词|工具包|工具|包|

StandardAnalyzer是Lucene中自带的分词算法，一元分词(逐字拆分)的方法

package com.datamine.WordSegmenter;

import java.io.IOException;
import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.util.Version;

public class StandardAnalyzerTest {

	public static String str="基于java语言开发的轻量级的中文分词工具包";
	
	public static void main(String[] args) throws Exception {
		
		//Lucene一元分词(逐字拆分)的方法
		Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_CURRENT); 
		StringReader reader = new StringReader(str);
		TokenStream ts = analyzer.tokenStream("", reader);
		CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);
		
		while(ts.incrementToken()){
			System.out.print(term.toString()+ "|");
		}
		reader.close();
		System.out.println();
		
	}
}

结果：

基|于|java|语|言|开|发|的|轻|量|级|的|中|文|分|词|工|具|包|

Paoding分词网上找的资料都是lucene3.*版本的，网上资料也很多，这里就没有自己实现了，但是在使用庖丁的时候要注意自己配置词典的位置：

可以参考如下地址：http://blog.sina.com.cn/s/blog_68b606350101rdil.html