enockipp的小'码'头

一、       为什么要进行中文分词？词是最小的能够独立活动的有意义的语言成分，英文单词之间是以空格作为自然分界符的，而汉语是以字为基本的书写单位，词语之间没有明显的区分标记，因此，中文词语分析是中文信息处理的基础与关键。Lucene中对中文的处理是基于自动切分的单字切分，或者二元切分。除此之外，还有最大切分（包括向前、向后、以及前后相结合）、最少切分、全切分等等。二、 

最近写unicode分词时，需要处理GBK输入，用到GBK与Unicode之间的转换转自http://www.latelee.org/programming-under-linux/gbk-to-unicode-table.html----------------------------------------------------------------------------