
分词
Jasminexjf
learning
展开
-
利用目前的三个分词工具(jieba、snownlp、pynlpir)简单的实现了短文本的分词效果
part one 利用jieba分词结果为:part two 利用snownlp分词结果为:part one 利用pynlpir分词代码如下:测试结果如下:在运行过程中遇到了pynlpir授权过期的问题,即报错为:pynlpir.LicenseError: Your license appears to have expired. Try running "pynlpir upda...原创 2018-03-21 16:59:16 · 6024 阅读 · 4 评论 -
word2vector原理之—(四)基于Hierarchical softmax的模型
word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包,它简单、高效,因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节,因而在一定程度上增加了这个工具包的神秘感。一些按捺不住的人于是选择了通过解剖源代码的方式来一窥究竟,出于好奇,我也成为了他们中的一员。...转载 2018-07-10 10:05:41 · 687 阅读 · 0 评论