如何构建高性能分词系统？（手把手教你做分词系统）

    ictclas1.0中文词库已经出来好长时间了（网上有很多版本的，搜下就可以很容易得到），但是基于该词库基础上的系统却为数不多，很多分词组件的功能都达不到商用，比如实时添加词汇，持久化，序列化，即对词库的操作等都缺乏相应的基础支撑。

   其实做一个分词系统并不是难于登天的事情，下面我就给大家将一种基于链表和二叉树的分词系统。

  

 

• 基于ICTCLAS 1.0，将其中的数据导入至一个特殊的三维数组中 char[][][]（取这种结构的最大的好处就是可以将ASCII编码的值（整形）构成该数组的下标，这样检索起来，速度会飞快），结果如下（例子）：

    中   中国 中华   中间

    人   人民 人间

    南  南京   南京市

    市 市长

    长 长江

    大  大桥

 

    

• 同时，将词频权重（切记，越不常见的权重得分越小）导入一个三维整形数组中：

      中  中100   中国 20  中华 10   中间30

      人  人 200 人民 30    人间20

      南  南100   南京30 &nbs