synonyms - Python：基于jieba中文分词的词包

介绍:

查近义词，计算句子相似度的接口函数，

https://github.com/huyingxi/Synonyms

 

oov: out of vocabulary , 集外词，未登录词

基于jieba分词

 

主要方法：

• nearby(‘w’), 获取'w'近义词、相似度(距离远近)
• compare('s1', 's2', seg=True|False) , 比较两个句子的相似度，seg决定是否分词。
• SenetenceSim上进行测试，阈值0.5 ，语料7516条情况下，准确率 88.15%
• display('w'): 以友好的方式打印近义词，方便调试，调用了nearby方法

距离计算时用欧氏距离或曼哈顿距离等。

实用性：

分词用的jieba模块

相似度计算用的word2vec模型

自定义停止词文件

相似距离计算最后加入了0.8 的莱文斯坦距离比重，又称Levenshtein距离

启发性思想：

词库的局限性，已经训练成的word2vec的效果局限性