
Python nlp
chang___hong
这个作者很懒,什么都没留下…
展开
-
jieba中文分词工具
jieba分词主要是基于统计词典,构造一个前缀词典;然后利用前缀词典对输入句子进行切分,得到所有的切分可能,根据切分位置,构造一个有向无环图;通过动态规划算法,计算得到最大概率路径,也就得到了最终的切分形式。 1 特征: 支持三种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析; 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义; 搜索原创 2017-05-07 17:23:09 · 727 阅读 · 0 评论 -
Python future模块
Python编程语言中有很多比较有用的模块,这些模块在实际使用中可以帮助我们轻松的完成许多功能需求。我们今天将会在这里通过对Python future模块的了解,来对这方面的知识做一个详细的了解。今天在学习Python Cookbook的时候,发现一句语法from future import division,很奇怪future这个名字,网上搜了一下,原来是很有用的一个模块。详细说明见这里。按照官方转载 2017-05-07 21:31:53 · 796 阅读 · 0 评论 -
结巴分词基本流程
1.加载自定义词典jieba.load_userdict(file_name)2.调整词典:使用add_word(word, freq = None, tag = None)和del_word(word)可在程序中动态修改词典。使用suggest_freq(segment, tune = True)可调节单个词语的词频,使其能(或不能)被分出来3.分词cut(),lcut(),cut_...原创 2018-09-19 17:38:37 · 1012 阅读 · 0 评论