
自然语言处理NLP
Wake Up @Dionysus
孤独是优秀者的必修课 @Dionysus
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
自然语言处理之维特比算法实现中文分词
维特比算法实现中文分词实例维特比(viterbi)算法介绍功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 维特比(vi...原创 2020-01-11 15:38:27 · 1602 阅读 · 1 评论 -
统计词频,使用matplotlib画图验证齐普夫定律
以下我是用了人民日报的数据和英文数据进行分词,这里我是用的是pkuseg这个分词工具,原因是当时我读了一篇关于翟天临的文章,关于计算相似度,里面使用的是这个工具,然后我是用的是哈工大的停用此表,统计词频、排序等进行一系列的文本与预处理。接下就是使用matplotlib画图啦。 #-*-coding:utf-8-*- from collections import Counter imp...原创 2019-08-19 17:50:58 · 1364 阅读 · 1 评论 -
文本预处理/计算文章相似度(通过计算杰卡德系数计算文本相似度)
#-- conding:utf-8 -- import pprint from collections import Counter import jieba import numpy as np #数据抽取(从文件中读取) file_path=‘1.txt’ def readFile(file_path): content = [] with open(file_path, ‘r’,encodi...原创 2019-08-19 16:00:05 · 893 阅读 · 0 评论 -
自然语言处理之中文分词逆向最大匹配算法(RMM算法)
经过了一阶段的学习上课,现在已经开始开始在自然语言处理的道路上安心研究,最近看了一本叫《python自然语言处理实战核心技术与算法》,大致的溜了一遍,感觉写的很基础了,个人认为主要写的好的地方就是既有说明又有代码示例,同时还有实战练习,这对我一个初学者来说,可以说是大有裨益。 &n...原创 2019-11-18 21:51:17 · 1623 阅读 · 0 评论