《BERT for Coreference Resolution: Baselines and Analysis》笔记

最新推荐文章于 2024-05-06 15:47:00 发布
最新推荐文章于 2024-05-06 15:47:00 发布
阅读量1.5k 收藏
点赞数
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BeiLi_ShanGui/article/details/103156488
版权

综述

  • 此论文采用的Bert-large模型比其他模型(ELMO和BERT-base)，在区分相关不同的实体(总裁和首席执行官)上比较出色,模型在document-level context, conversations和mention paraphrasing(提及释义)上需改进。

介绍

  • 对比了以前基于Bert的模型，在GAP和OntoNotes上改进明显
  • 有两种改进c2f-coref模型的方法：独立变量和重叠变量
  • Bert-large使用更大的上下文窗口(384),但是在更长的上下文窗口(512)中表现较差
  • 重叠向量企图用更大窗口来改进的失败表明使用更大的窗口进行预训练可能无法将一个下游任务( downstream task)转换为有效的远程特征(effective long-range features),同时，更大的模型加剧了广度的记忆密集性
    在这里插入图片描述

要解决的问题

  • 区分相关但不同的实体，困难在于区分它们需要真实世界的案例(在现实中有关系）
  • 代词建模困难

解决方式

  • 采用高阶共指模型(c2f-coref)
  • 在c2f-coref中用Bert transformer替换 LSTM-based encoder
  • 数据集：GAP和OntoNotes
  • 独立变量：用不重叠的段来做bert的实例分别做token
  • 重叠变量：用重叠的段分别编码，最后放在一起做token
共指消解自我总结-初级
Wywxring98的博客
12-20 2017
文章目录入门定义术语分类面向实体共指消解的机器学习综述评价指标应用场景共指消解任务定义分析ModelSpan RepresentationPractical ImplementationResultMethodsHobbs’ naive algorithm (1976)中心理论对数线性模型Simple neural networkMention-Pair ModelEnd-to-end Neural Coreference Resolution (Lee et al., EMNLP 2017)A Large
CM-BERT: Cross-Modal BERT for Text-Audio Sentiment Analysis--文献笔记和翻译
qq_42014059的博客
11-30 2193
一篇来自ACM MM2020年关于跨模态-bert模型的文献 ACMMM:ACM Multimedia Conference 领域顶级国际会议，全文的录取率极低，但Poster比较容易。多媒体技术，数据压缩. 文献下载地址： CM-BERT | Proceedings of the 28th ACM International Conference on Multimedia 摘要 多模态情感分析是一个新兴的研究领域，旨在使机器识别，解释和表达情...
coref：BERT用于共指解析
02-03
BERT和SpanBERT用于共指解析 该存储库包含该论文的代码和模型，。 此外，我们还包括论文分辨率模型，这是OntoNotes（79.6 F1）的最新技术。 请参阅以了解其他任务。 模型架构本身是模型的扩展。 建立 安装python3要求： pip install -r requirements.txt export data_dir=</path> ./setup_all.sh ：这将构建自定义内核 预训练共指模型 请下载以下文件，以对数据使用预训练的共参照模型。 如果您想训练自己的共参照模型，则可以跳过此步骤。 模型 <model>下载 F1（
BERT for Coreference Resolution Baselines and Analysis论文阅读
weixin_52658812的博客
12-03 1183
优点：论文采用的Bert-large模型与ELMo和Bert-base相比，在区分相关但不同的实体方面特别好缺点：在文档级上下文、会话和提及释义的建模方面仍有进步的空间Bert在多个nlp任务[QA\NLI\NER(命名实体识别)] 上取得了显著提升Bert具有更好的双向推理能力Bert可以进行段落级别的训练，可以更好的建模较长的序列有两种改进c2f-coref模型[基于ELMo]的方法：独立变量和重叠变量独立变量：使用互不重叠的片段，每个片段作为Bert的独立实例。
coreference resolution
ox180x的博客
12-17 699
介绍共指解析，按照百度的定义如下：1众所周知，人们为了避免重复，习惯用代词、称谓和缩略语来指代前面提到的实体全称。例如，在文章开始处会写“哈尔滨工业大学”，后面可能会说“哈工大”、“工大”等，还会提到“这所大学”、“她”等。这种现象称为共指现象。 简而言之，其目的在于自动识别表示同一实体的名词短语或代词等。 举个例子： 哈尔滨工业大学，一般学生或者大众喜欢简称为哈...
corefBERT论文阅读
一休哥的专栏
05-06 969
corefBERT语言表示模型，可以更好的捕获和表示共引用信息。corefBERT引入一种新的预训练任务MRP(mention refenrece prediction)，MRP利用重复出现的提及获得丰富的共指关系。MRP使用掩码方法遮盖一个或者多个提及，模型预测被遮盖住的整个提及。根据上图，词的损失由MRP提及参考预测和MLM遮盖语言建模损失两部分构成。
基于 BERT 掩码语言的指代消解--论文笔记
qq_42140042的博客
04-05 1145
BERT Masked Language Modeling for Co-reference Resolution 基于 BERT 掩码语言的指代消解 [原文地址]（https://www.aclweb.org/anthology/W19-3811.pdf） Abstract This paper explains the TALP-UPC participation for the Gendered Pronoun Resolution shared-task of the 1st ACL Worksho
BERT学习笔记一：运行BERT模型代码前-附件资源
03-02
BERT学习笔记一：运行BERT模型代码前-附件资源
BERT_for_classification:BERT_for_classification
04-17
BERT用于2文本分类 比赛场地： 子任务2（比较哪个替代句子更有趣） 数据： train.csv dev.csv test.csv 用： 平台：PyTorch 型号：BERT 可视化：张量板 （TensorBoard无法在github中查看，因此我将屏幕截图...
CorefBERT:EMNLP 2020论文“用于语言表示的同等推理学习”的源代码-Source code learning
03-25
CorefBERT “”的源代码和数据集。 该代码基于huggaface的。 多亏了他们！ 可以从/下载预训练的模型。 要求 安装依赖项和： pip3 install -r requirement.txt python3 -m spacy download en_core_web_sm 预训练 代码位于文件夹“ Pretrain /”中。 下载。 使用并从Wikipedia数据库转储中清除文本。 python3 WikiExtractor.py wikipedia/enwiki-20190820-pages-articles-multistream.xml.bz2 --json --output wikipedia/ --bytes 500M --processes 8 从Wikipedia中提取名词： python3 gen_copy_data_NN.py --train
指代消解问题研究.caj
10-14
nlp相关论文。
Chinese_Coreference_Resolution:中文指代消解，pytorch实现
04-02
SpanBERT用于中文共指解析（Pytorch） 参考论文： 参考开源代码（针对英语，使用tensorflow）： : 预训练模型下载地址： 中文预训练RoBERTa模型（ 中文预训练BERT-wwm模型（ 中文预训练Bert模型（ 1.代码架构： │conll.py│coreference.py│demo.py│metrics.py│utils.py│experiments.conf│requirements.txt│├─bert││modelling.py││optimization.py││tokenization.py│├─ conll-2012│└─scorer│├─reference-coreference-scorers│└─v8.01├─data│├─dev│├─test│└─train│└─pretrain_model│bert_config.json│pyt
指代消解or共指消解任务主要论文
weixin_44630230的博客
10-29 698
原文链接：https://blog.youkuaiyun.com/weixin_44912159/article/details/105656866 具体内容为： 最近需要完成指代消解（共指消解）的任务，主要是用深度学习做，便有了以下的调研，不足之处，可积极指出 论文： 16年Clark等人发表《Improving Coreference Resolution by Learning Entity-Level Distributed Representations》 ????个人建议：有时间可以阅读 论文下载：ht
指代消解类方法梳理
一休哥的专栏
05-06 1108
MLM：带遮罩的语言模型NSP：单句预测，任务包括两个输入序列SBO：分词边界目标。
探索Coref：语义解析的新纪元
gitblog_00046的博客
04-19 421
探索Coref：语义解析的新纪元 coref项目地址:https://gitcode.com/gh_mirrors/co/coref 在自然语言处理（NLP）领域，Coref 是一个值得关注的开源项目，它专注于解决核心ference问题——识别文本中提及的实体是否指代同一事物。该项目由Mandar Joshi开发并维护，为研究人员和开发者提供了一种高效、灵活的方式来处理这一复杂任务。 什么是Co...
cs224n学习笔记8-共指解析
TARO_ZERO的博客
03-01 985
Coreference Resolution 共指解析 处理长文本时，我们先找出文本中的所有提及的事物（命名实体、代词、指代名词），然后我们需要知道哪些事物指向了同一个实体 评价方式：B cubed 聚类评估标准 ...
11/16
BeiLi_ShanGui的博客
11-17 494
11/16 BERT for Coreference Resolution Coreference Resolurion(共指解析/指代消解) 1.共指解析是指NLP中的一个基本任务，目的在于自动识别表示同一个实体的名词短语或者代词，并将他们归类。 2.实体(entity)：知识库中唯一存在的条目，所有名词代词所指的这个东西就是实体。 3.指称(mention)：实体的指代形式。 4.共指...
GAP Analysis
心的港湾
08-30 2969
这是我前段时间在sapkevin.cublog.cn上写的博客，现转载在此。学习SAP有一段时间了，刚学时，领导就要求我们作GAP分析，那时还不知什么是GAP，稀里糊涂应付了一下。前段时间，又要求作了一次GAP分析，这次，就有了一些经验，再加上对SAP的浅显认识（不管怎么说，也算学习了半年），但还是不是很清楚GAP，不知GAP到底是什么。只知道GAP就是存在的问题，理解到这个程度，自以为还可以
新化县建材家居协会电子商务频道共建专项方案.doc
最新发布
05-23
新化县建材家居协会电子商务频道共建专项方案.doc
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值