基于大规模语料的新词发现算法

挖掘新词的传统方法是先对文本进行分词，猜测未能成功匹配片段就是新词。但这种方式依赖于词库的完整性，如果词库中根本没有新词，我们又怎能信任分词结果呢？顾森在文中介绍了一种基于大规模语料的新词发现算法。

对中文资料进行自然语言处理时，我们会遇到很多其他语言不会有的困难，例如分词——汉语的词与词之间没有空格，那计算机怎么才知道“已结婚的和尚未结婚的”究竟是“已／结婚／的／和／尚未／结婚／的”，还是“已／结婚／的／和尚／未／结婚／的”呢？

基于大规模语料的新词发现算法：http://www.youkuaiyun.com/article/2013-05-08/2815186

更多阅读请访问程序员官网新首页：http://programmer.youkuaiyun.com/