IK Analyzer 分词

最新推荐文章于 2024-09-04 10:16:51 发布

AlvinTech14

最新推荐文章于 2024-09-04 10:16:51 发布

阅读量838

点赞数

CC 4.0 BY-SA版权

分类专栏：应用技术

本文链接：https://blog.youkuaiyun.com/AlvinTech14/article/details/38488425

应用技术专栏收录该内容

17 篇文章

订阅专栏

IKAnalyzer是一款基于Java的开源中文分词工具包，支持细粒度和智能分词模式，具备160万字/秒的处理能力，并提供简单的分词歧义排除算法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前期我们只能使用数据库标准sql中的 like 关键字实现需要的模糊查询，可是再使用的过程中发现like的模糊效果真的不好，例如，我输入的关键词为：“吃饭睡觉”，使用sql like 只能找到匹配到 “吃饭睡觉” 一起纯在的数据，而无法实现查找数据中既有吃饭又有睡觉的数据记录。

为了实现上面的功能，我们首先需要将关键词进行分词，“吃饭睡觉” 分解成“吃饭” “睡觉” 2个关键词，然后各自进行模糊查询。但是如果你的关键词系统并不清楚，如何才能进行有意义的分词能，比如“吃饭睡觉” 分解成“吃饭” “睡觉” ，而不是“吃，饭睡觉” 。

我们提供了IK Analyzer技术作为一个分词的解决方案。当然分词技术有很多，但是我们采用的为java技术，所以推荐使用IK Analyzer。其他的还有盘古分词等技术。

IK Analyzer 是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。

IK Analyzer 2012特性:

采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和智能分词两种切分模式；
在系统环境：Core2 i7 3.4G双核，4G内存，window 7 64位， Sun JDK 1.6_29 64位普通pc环境测试，IK2012具有160万字/秒（3000KB/S）的高速处理能力。
2012版本的智能分词模式支持简单的分词排歧义处理和数量词合并输出。
采用了多子处理器分析模式，支持：英文字母、数字、中文词汇等分词处理，兼容韩文、日文字符
优化的词典存储，更小的内存占用。支持用户词典扩展定义。特别的，在2012版本，词典支持中文，英文，数字混合词语。

IK Analyzer 体系结构:

下载地址

GoogleCode 开源项目 :http://code.google.com/p/ik-analyzer/

GoogleCode 下载:http://code.google.com/p/ik-analyzer/downloads/list

安装部署

IK Analyzer 安装包包含:

《IKAnalyzer中文分词器 V2012使用手册》(即本文档)
IKAnalyzer2012.jar(主jar 包)
IKAnalyzer.cfg.xml(分词器扩展配置文件)
stopword.dic(停止词典)
LICENSE.TXT ; NOTICE.TXT (apache版权申明)

它的安装部署十分简单,将 IKAnalyzer2012.jar部署于项目的 lib目录中;IKAnalyzer.cfg.xml与 stopword.dic文件放置在 class根目录(对于 web项目,通常是WEB-INF/classes目录,同 hibernate、log4j等配置文件相同)下即可。

/**
 * Created with IntelliJ IDEA.
 * User: Alvin
 * Date: 14-8-8
 * Time: 下午5:05
 * To change this template use File | Settings | File Templates.
 */
import java.io.IOException;
import java.io.StringReader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class Test {

    public static void main(String[] args) throws IOException {
        String text="基于java语言开发的轻量级的中文分词工具包";
        //创建分词对象
        Analyzer anal=new IKAnalyzer(true);
        StringReader reader=new StringReader(text);
        //分词
        TokenStream ts=anal.tokenStream("", reader);
        CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);
        //遍历分词数据
        while(ts.incrementToken()){
            System.out.print(term.toString()+"|");
        }
        reader.close();
        System.out.println();
    }
}

package com.xiaozhuan.threePerson.test;

import java.io.IOException;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.CorruptIndexException;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.LockObtainFailedException;
import org.apache.lucene.store.RAMDirectory;

import org.wltea.analyzer.lucene.IKAnalyzer;
import org.wltea.analyzer.lucene.IKQueryParser;
import org.wltea.analyzer.lucene.IKSimilarity;

public class IKAnalyzerDemo {
	public static void main(String[] args) {
		String fieldName = "text";

		String text = "IK Analyzer是一个结合词典分词和文法分词的中文分词开源工具包。它使用了全新的正向迭代最细粒度切分算法。";

		Analyzer analyzer = new IKAnalyzer();

		Directory directory = null;
		IndexWriter iwriter = null;
		IndexSearcher isearcher = null;
		try {
			directory = new RAMDirectory();
			iwriter = new IndexWriter(directory, analyzer, true,
					IndexWriter.MaxFieldLength.LIMITED);
			Document doc = new Document();
			doc.add(new Field("ID", "10000", Field.Store.YES,
					Field.Index.NOT_ANALYZED));
			doc.add(new Field(fieldName, text, Field.Store.YES,
					Field.Index.ANALYZED));
			iwriter.addDocument(doc);
			iwriter.close();

			isearcher = new IndexSearcher(directory);

			isearcher.setSimilarity(new IKSimilarity());

			String keyword = "中文分词工具包";

			Query query = IKQueryParser.parse(fieldName, keyword);

			TopDocs topDocs = isearcher.search(query, 5);
			System.out.println("命中：" + topDocs.totalHits);

			ScoreDoc[] scoreDocs = topDocs.scoreDocs;
			for (int i = 0; i < topDocs.totalHits; ++i) {
				Document targetDoc = isearcher.doc(scoreDocs[i].doc);
				System.out.println("内容：" + targetDoc.toString());
			}
		} catch (CorruptIndexException e) {
			e.printStackTrace();
		} catch (LockObtainFailedException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		} finally {
			if (isearcher != null) {
				try {
					isearcher.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
			if (directory != null)
				try {
					directory.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
		}
	}
}