改造庖丁分词器

原来应用中一直没有应用中文分词器，因为一直没有理想的分词器。最近发现好多人在应用庖丁分词器。从网上下载了测试了一下，分词速度是挺不错，但在一些地方还是无法满足我的需要：比如XXX2-12 是XXX影片第二部的第二集。但发现拆词的时候把2-12是作为一个关键词出现的，这样用户在搜索12集就无法搜索出来了，还有02分为一个关键词，那搜索2的时候就无法搜索出，这些都是不符合“我们”的使用要求的，幸好庖丁在重构上是表现不错，可以通过配置文件进行改造。对数字的分词器进行了重构，解决了此问题。所以，中文分词器还得根据自己的需求进行量身定做，庖丁在这方面做的不错，向大家推荐。