
NLP
AI_Frank
这个作者很懒,什么都没留下…
展开
-
NER任务的精确评估指标P、R、F1
直接用一个实例来看几个参数具体的含义:sentence : The Hospital said it would probably know by Tuesday whether its patients had Congo Fever .gold_tag:b-AGENT e-AGENTo ob-DSE m-DSE e-DSEo ob-TARGET m-TARGET m- TARGET m-TARGET m-TARGETe-TARGETopredict_tag: o e-AGENT b...转载 2020-11-23 11:10:49 · 5778 阅读 · 3 评论 -
hb-config安装指令
由于版本问题,安装失败的可以尝试下面的指令,安装指定版本pip install hb-config==0.5.1原创 2020-11-21 16:34:26 · 654 阅读 · 0 评论 -
spacy中文句法分析详解
最近在做中文命名实体识别的研究,因此打算使用spacy来获取句法分析的结构信息,接下里大致说下spacy中所涉及到的一些方法和功能,目前仅仅介绍我使用到的,有不完善的地方请大家谅解。一、首先是安装spacy的zh_core_web_trf或者zh_core_web_md,我这里使用的是zh_core_web_trf,具体的安装方法如下:(1)首先先确认你没有安装spacy,因为中文版本冲突问题,需要直接进行zh_core_web_trf的安装,它会将用到的依赖包一块安装上,包括spacy。(可能你们也有原创 2020-11-19 14:23:59 · 5294 阅读 · 0 评论 -
spacy的en_core_web_lg、en_core_web_md、en_core_web_md下载地址
https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-2.2.0/en_core_web_sm-2.2.0.tar.gz#egg=en_core_web_sm==2.2.0https://github.com/explosion/spacy-models/releases/download/en_core_web_md-2.2.0/en_core_web_md-2.2.0.tar.gz#egg=en_core_原创 2020-10-20 12:25:41 · 2343 阅读 · 0 评论 -
ERROR (theano.sandbox.cuda): ERROR: Not using GPU. Initialisation of device 3 failed: Bad device num
这个错误一般是GPU的数目设置出现问题,我的代码如下所示:THEANO_FLAGS=device=gpu3,floatX=float32,lib.cnmem=0.8错误如下:因为我的机器只有一个显卡,而我程序中写的是3,因此出现了这个错误,可以更改为cuda0如下:...原创 2020-08-17 15:48:44 · 320 阅读 · 0 评论 -
matplotlib隐式保存ROC图片
最近在跑模型的时候,想要获取一个ROC曲线的图,但是由于在Ubuntu的服务器上,没有可视化界面,当然就无法直接显示出图片来,由于自己之前没有这么使用过,因此将自己查询资料后的模板总结如下,方便自己或者有需要的人拿来使用。import numpy as npimport matplotlibmatplotlib.use('Agg')from matplotlib.pyplot import plot,savefigimport numpy as npimport matplotlib.py原创 2020-08-13 10:50:38 · 420 阅读 · 0 评论 -
pytorch实现词嵌入的简单模型
本篇文章主要是转自一个github上的代码,是因为自己对于word2vec词向量的预训练模型嵌入有点不熟悉,因此通过这个简单模型的代码,让我有了一个清晰的认识,希望也能帮助有需要的人。import torchfrom torch import nnimport torch.nn.functional as Fimport torch.optim as optimimport gensim1.定义句子文本信息,用于测试# 2-gramCONTEXT_SIZE = 2# We will us转载 2020-08-10 20:53:58 · 2022 阅读 · 5 评论 -
解决运行出现CUDA error:out of memory的问题
模型运行出现以下问题,经过查找资料发现解决方案如下:CUDA_VISIBLE_DEVICES限制一下使用的GPU。比如有0,1,2,3号GPU,CUDA_VISIBLE_DEVICES=2,3,则当前进程的可见GPU只有物理上的2、3号GPU,此时它们的编号也对应变成了0、1,即cuda:0对应2号GPU,cuda:1对应3号GPU。如何设置CUDA_VISIBLE_DEVICES:① 使用python的os模块import osos.environ[‘CUDA_VISIBLE_DEVICES原创 2020-07-04 14:28:15 · 39828 阅读 · 2 评论 -
NLP顶级会议
引言国际学术会议是一种学术影响度较高的会议,它具有国际性、权威性、高知识性、高互动性等特点,其参会者一般为科学家、学者、教师等。具有高学历的研究人员把它作为一种科研学术的交流方式,够为科研成果的发表和对科研学术论文的研讨提供一种途径 ;同时也能促进科研学术理论水平的提高。针对自然语言处理方向比较重要的几个会议有:ACL、EMNLP、NACAL、CoNLL、COLING、ICLR、AAAI、NLPCC等。ACL会议全称:Annual Meeting of the Association for Comp转载 2020-06-23 15:35:17 · 4483 阅读 · 0 评论 -
pyltp安装
首先我是使用anaconda安装失败后,后面使用原生态的python3.7来安装的,一步成功。1.首先安装python3.7和下载pyltp-0.2.1-cp37-cp37m-win_amd64.whl文件pyltp3.7版本下载地址链接: https://pan.baidu.com/s/1UL-aBN-gx-5d29m116rZMw 提取码: gxb32.将pyltp-0.2.1-cp37-cp37m-win_amd64.whl文件复制到安装目录的Scripts目录下3.cd到该目录下执行以下命原创 2020-06-22 22:27:19 · 676 阅读 · 0 评论