【论文笔记】命名实体识别(NER)论文整理

Bidirectional LSTM-CRF Models for Sequence Tagging

论文链接:https://arxiv.org/abs/1508.01991

这篇文章比较了NLP几个经典任务:词性标注,命名实体识别上的模型,包括CRF,LSTM,Bi-LSTM,LSTM-CRF,Bi-LSTM-CRF,Bi-LSTM-CRF在这几个任务上取得了最好的准确度和健壮性,对词语特征工程的依赖最小。

                                          



Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme

论文链接:Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme

这篇文章提出了一种新的处理实体识别和关系抽取的方法,传统的NER和RC任务是分离的,这样就忽视了实体和关系之间的关联,并且实体抽取标注中的错误会牵连到关系抽取。作者采用新的标注方法将实体和关系信息融合到一个标签里:


接着采用Bi-LSTM作为编码器,LSTM作为解码器,采用端到端模型对实体识别关系抽取任务进行训练。

                             


Neural Architectures for Named Entity Recognition

论文链接:https://arxiv.org/pdf/1603.01360.pdf

这篇论文提出了两种应用于命名实体识别的模型,利用深度学习端到端方法减缓传统方法带来的特征工程的压力

1.LSTM-CRF  将词向量输入到LSTM将文本编码,使用CRF利用全局信息对每个token的label做整体预测。


代码链接:https://github.com/glample/tagger

2.Transition-Based Chunking Model

代码链接:https://github.com/clab/stack-lstm-ner






【毕设源码】词汇增强NER 包含源码+数据集 词汇增强的NER 这是对于论文“Simplify the Usage of Lexicon in Chinese NER”的实现,该论文没有在中文NER中合并单词词典的复杂操作,而是将词典加入到中文NER中,这十分简单有效。 源代码说明 要求 Python 3.6 Pytorch 0.4.1 输入格式 CoNLL格式,每个字符及其标签由一行中的空格分隔。 首选“ BMES”标签方案。 别 O 错 O 过 O 邻 O 近 O 大 B-LOC 鹏 M-LOC 湾 E-LOC 的 O 湿 O 地 O 预训练的嵌入 预训练的嵌入(单词嵌入,char嵌入和bichar嵌入)与Lattice LSTM相同 运行代码 1.从Lattice LSTM 下载字符嵌入和单词嵌入,然后将它们放在data文件夹中。 2.分别在data / MSRANER,data / OntoNotesNER,data / ResumeNER和data / WeiboNER中下载四个数据集。 3.训练四个数据集: 在OntoNotes上进行训练: python main.py --train data/OntoNotesNER/train.char.bmes --dev data/OntoNotesNER/dev.char.bmes --test data/OntoNotesNER/test.char.bmes --modelname OntoNotes --savedset data/OntoNotes.dset 在Resume上进行训练: python main.py --train data/ResumeNER/train.char.bmes --dev data/ResumeNER/dev.char.bmes --test data/ResumeNER/test.char.bmes --modelname Resume --savedset data/Resume.dset --hidden_dim 200 在微博上训练: python main.py --train data/WeiboNER/train.all.bmes --dev data/WeiboNER/dev.all.bmes --test data/WeiboNER/test.all.bmes --modelname Weibo --savedset data/Weibo.dset --lr=0.005 --hidden_dim 200 在MSRA上进行训练: python main.py --train data/MSRANER/train.char.bmes --dev data/MSRANER/dev.char.bmes --test data/MSRANER/test.char.bmes --modelname MSRA --savedset data/MSRA.dset 4.训练/测试自己的数据:使用文件路径修改命令并运行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值