kz852456的博客

中文领域中尚无统一的标注标准，较为主流的是北大的词性标注集和宾州词性标注集。北大标注集：

训练示例：crf_learn -f 4 -p 8 -c 3 template ./data/train.txt model-f,-freq=INT使用属性的次数不少于INT（默认为1）-m,-maxiter=INT 设置INT为LBFGS的最大迭代次数（默认10k）-c,-cost=FLOAT设置FLOAT为代价参数，过大会过拟合（默认1.0）-e,-eta=FLOAT设置终止标准FL...

第三章 中文分词技术3.1中文分词简介中文分词的主要困难在于分词歧义，此外，像未登录词、分词粒度粗细等都是影响分词效果的重要因素。中文分词方法可主要归纳为“规则分析”、“统计分词”和“混合分词（规则+统计）”三个主要流派。规则分词是最早兴起的方法，主要通过人工设立词库，按照一定方式进行匹配切分，其实现简单高效，但对新词很难进行处理。随后统计机器学习技术的兴起，应用于分词任务后，就有了统计分词...