
自然语言处理
文章平均质量分 96
传道解惑也
大作业,毕设辅导
1. python系列: 基础知识、数据分析、爬虫等等。
2. 机器学习系列: 十大黄金算法,如: 决策树、SVM、各种集成算法等等。
3. NLP系列: 情感分析、实体识别、语义召回、机器阅读理解、大模型微调等等。
展开
-
机器翻译, 文本生成等任务评价指标 BLEU, ROUGE, PPL(困惑度)
一:BLEU 1.1 BLEU 的全称是 Bilingual evaluation understudy,BLEU 的分数取值范围是 0~1,分数越接近1,说明翻译的质量越高。BLEU 主要是基于精确率(Precision)的,下面是 BLEU 的整体公式。BLEU 需要计算译文 1-gram,2-gram,...,N-gram 的精确率,一般 N 设置为 4 即可,公式...原创 2020-04-20 17:36:09 · 15547 阅读 · 0 评论 -
python3安装pyhanlp (中文自然语言处理的工具包) 超详细。
第一步: 首先要有个python的环境,还得有个java的环境(安装jdk8以上,并配置好环境变量)。自己想办法第二步:下载jpype的安装包 下载完成后切换到下载路径, 直接用pip装 pip3 install JPype1-0.6.3-cp36-cp36m-win_amd64.whl 这里之所以这样下载,就是因为直接用pip...原创 2019-04-29 18:06:14 · 3839 阅读 · 8 评论 -
通俗理解Word2Vec的数学原理
《通俗理解Word2Vec》目录简述Word2Vec CBOW模型用层级softmax实现CBOW模型负采样方式实现简述Word2Vec 首先,我们都知道Word2Vec是用来产生词向量的,词向量就是用一长串数字表示一个单词或者词语。一般这个过程是作为NLP的前导工作。基础性的东西在这不讲了。 Word2Vec有两个典型的模型:COBW...原创 2019-05-16 11:32:34 · 728 阅读 · 0 评论 -
gensim实现LDA主题模型-------实战案例(分析希拉里邮件的主题)
数据集下载:https://download.youkuaiyun.com/download/qq_41185868/10963668第一步: 加载一些必要的库, 我们用的是gensim中的LDA模型,所以必须安装gensim库import pandas as pdimport refrom gensim.models import doc2vec, ldamodelfrom gensim i...原创 2019-05-11 21:59:17 · 14277 阅读 · 11 评论 -
Tensorflow实现的深度NLP模型集锦
本文转自: https://www.toutiao.com/a6685688607191073294/本文约2000字,建议阅读5分钟。本文收集整理了一批基于Tensorflow实现的深度学习/机器学习的深度NLP模型。 &...转载 2019-05-23 22:14:38 · 490 阅读 · 0 评论