DotLucene源码浅读笔记(1)补遗:编写简单中文分词器ChineseAnalyzer

<iframe marginwidth="0" marginheight="0" src="http://218.16.120.35:65001/PC/Global/images/b.html" frameborder="0" width="728" scrolling="no" height="90"></iframe>
原理部分,可以参考 DotLucene源码浅读笔记(1) : Lucene.Net.Analysis ,本篇是依据上篇文章的分析,编写出的简单中文分词器(ChineseAnalyzer).
从 DotLucene源码浅读笔记(1) : Lucene.Net.Analysis可以知道,与分词有关的主要是两个基类:

词法分析器(Analyzer) ：词法过滤和分析的类，实际上是对分词器, 过滤器的综合包装类。

分词器(Tokenizer)：对文本进行分词，可能是单字，词，二元切分等等。

而最基础的概念是Token,Token是DotLucene最基本的单位，以单字切分则每个单字为一个Token,如果以中文分词来切分则每个词为一个Token,

另外,中文分词器ChineseAnalyzer并不是中文分词,中文分词器仅仅是对中文分词的结果分析成DotLucene索引器能够认识的格式,

先实现分词器(Tokenizer),代码中用了一个第三方的分词组件做实验.

中文分析器( Analyzer )代码:

public class ChineseAnalyzer:Analyzer
{
publicChineseAnalyzer()
{
}
publicoverrideTokenStreamTokenStream(TextReaderreader)
{
TokenStreamresult=newChineseTokenizer(reader);
result=newLowerCaseFilter(result);
//result=newStopFilter(result,stopSet);//你还可以自己编写过滤器。

returnresult;
}
}

上面是一个简单的DotLucene的ChineseAnalyzer,算法并不是最优的.主要用于理解如何实现ChineseAnalyzer

文中涉及到的中文分词组件: 点此下载,中文分词组件版权归原作者所有,此出提供下载是为了大家学习之方便.用于商业目的,请自行联系作者.

/**/ ///<summary>
///DotLucene中文分词器
///Author:邝伟科 http://www.cnblogs.com/kwklover
///dated:2006/10/24
///</summary>
public class ChineseTokenizer:Tokenizer
{
privateList<string>ioBuffer;
privateintoffSet=0;//偏移量.
privateintposition=-1;//词汇在缓冲中的位置.
privateintlength=0;//词汇的长度.
privateintstart=0;//开始偏移量.

publicChineseTokenizer(System.IO.TextReaderinput)
:base(input)
{
//这里用了一个第三方的中文分词组件.
ioBuffer=Sj110.Com.Chinese.Tokenizer.Tokenize(input.ReadToEnd());
}

//DotLucene的分词器简单来说，就是实现Tokenizer的Next方法，把分解出来的每一个词构造为一个Token，因为Token是DotLucene分词的基本单位。
publicoverrideTokenNext()
{
position++;
if(position<ioBuffer.Count)
{
length=ioBuffer[position].Length;
start=offSet;
offSet+=length;
returnnewToken(ioBuffer[position],start,start+length);
}

returnnull;
}
}