《Rethinking Boundaries: End-To-End Recognition of Discontinous Mentions with Pointer Networks》读后感

最新推荐文章于 2025-11-23 17:56:55 发布
原创 最新推荐文章于 2025-11-23 17:56:55 发布 · 584 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络 #自然语言处理

该论文提出了一种新的方法，利用memory-augmented的Pointer网络来处理不连续的命名实体识别（NER）问题。模型通过Transformer结构对输入进行特征提取，并引入哨兵字符改善解码过程。在训练阶段，采用Teacher Forcing和Dynamic Sampling策略，逐步从依赖标准答案转向依赖预测结果，以提高训练和推理的一致性。这种方法强化了实体边界识别并利用了先验实体信息。

《Rethinking Boundaries: End-To-End Recognition of Discontinous Mentions with Pointer Networks》读后感


@苹果树科技有限公司-AI部
论文链接： https://www.aaai.org/AAAI21Papers/AAAI-566.FeiH.pdf

1. 导论

整个论文的目的是解决不连续的NER实体解析。
在这里插入图片描述

亮点在于：
1、使用了带memory的点网络（可以加强实体边界以及使用先验的实体）
2、模型做决定的时候能使用全局信息

2. 模型架构

2.1 方法概述

整个非连续的NER任务可以使用下面式子来进行描述：
输入: s = {w1, w2, …, wn}，n表示句子中字符的个数。
输出：Y = {y1, y2, …, ym}，yk=[a, …, b]表示一个实体按顺序排列的索引。(1<=a<=b<=n，论文中表示a<b，感觉这里有问题，因为如果单个字符就表示一个实体呢)

2.2 模型整体架构

在这里插入图片描述
加入了两个哨兵字符：<EOM>和<NEXT>
解码的过程：

最低0.47元/天 解锁文章
Hydra-MDP++：Advancing End-to-End Driving via Expert-Guided Hydra-Distillation 学习
weixin_43163941的博客
03-24 338
Hydra-MDP原来是基于专家引导Hydra-Distillation推进端对端驾驶，Hydra-MDP++引入了一种新的教师-学生知识蒸馏框架，该框架有多头解码器，它可以从人类演示和基于规则的专家处学习。Hydra-MDP++直接处理原始图像，而不依赖于感知信号，结果证明了其在维持计算效率同时能够有效地处理各种驾驶场景，该框架使用ResNet-34网络（没有复杂组件），并且加入扩展的评估指标（包括交通信号灯合规（TL），车道保持能力（LK）和可扩展舒适性（EC））。
关于Sparse R-CNN: End-to-End Object Detection with Learnable Proposals算法训练
weixin_47728827的博客
12-02 1174
1. 环境配置 1.1 将anconda的安装源修改为清华的镜像源 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ conda config --add channels https://mirror
Rethinking the Design of the Interne论文个人理解
weixin_44629859的博客
03-16 753
Rethinking the Design of the Internet: The End-to-End Arguments vs. the Brave New World 重新思考互联网的设计：端到端争论与勇敢的新世界 一、作者 马乔里·S·布鲁门塔尔（国家科学院）和 大卫·D·克拉克（麻省理工学院） 二、主旨 这篇文章着眼于互联网和不断变化的互联网需求，变得更加商业化，更加面向消费者，并用于更广泛的目的讨论一组指导互联网设计的原则，称为端到端参数。我们的结论是，现在出现的一系列新需求有可能会损害互联网
【AAAI 2021】全部接受论文列表（一）
yinizhilianlove的博客
01-14 8832
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
AAAI2021论文列表（中英对照）
热门推荐
dovings的博客
07-04 1万+
AAAI2021论文列表（中英对照）
[论文阅读笔记12]An Effective Transition-based Model for Discontinuous NER
ld326的专栏
01-21 2622
一， 题目 《An Effective Transition-based Model for Discontinuous NER》 论文：An Effective Transition-based Model for Discontinuous NER.pdf 代码： https://github.com/daixiangau/acl2020-transition-discontinuous-ner **实验数据：**https://data.csiro.au/dap/landingpage?pid=csi
Professor Forcing: A New Algorithm for Training Recurrent Networks翻译
nopSled
02-22 1960
摘要 Teacher Forcing算法通过在训练的时候，将目标输出作为输入并使用网络自己的一次性预测来进行多步采样，从而对循环神经网络进行训练。我们引入Professor Forcing算法，在训练网络以及在多个时刻从网络采样时，使用对抗域自适应（adversarial domain adaptation）来鼓励循环网络的动态变化相同。我们将Professor Forcing应用到语言模型，原始...
图像 检测 - DETR: End-to-End Object Detection with Transformers (arXiv 2020)
77wpa的博客
08-06 2229
我们提出了一种新的方法，将目标检测视为一个直接集预测问题。我们的方法简化了检测流程，有效地消除了对许多手工设计的组件的需求，如非最大值抑制程序或锚生成，这些组件对我们关于任务的先验知识进行了明确编码。新框架称为DEtection TRansformer或DETR，其主要组成部分是基于集合的全局损失，通过二分匹配强制进行唯一预测，以及transformer 编码器-解码器架构。给定一组固定的学习目标查询，DETR对目标和全局图像上下文的关系进行推理，以直接并行输出最终的预测集。
Sparse R-CNN: End-to-End Object Detection with Learnable Proposals
认真努力，做一只会飞的毛毛虫。
10-13 5220
Dense：密集，指需要用很多的参数和anchor等 Sparse：稀疏，指不需要用很多的参数和anchor等 two-stage算法可以看成是one-stage算法的扩展：区别仅在于RPN输出的是二分类，而后者是多分类。
论文阅读：Associative Embedding: End-to-End Learning for Joint Detection and Grouping
j879159541的博客
10-19 930
文章目录1、论文总述 2、许多任务都可以被视为joint detection and grouping 3、 Common grouping approaches4、the dimension of the embeddings5、沙漏网络介绍6、训练时的两个loss7、训练和测试时候的多尺度8、性能比较参考文献 1、论文总述 这篇paper提出的网络结构主要是应用在了多人姿态估计上（我是看...
DETR: End-to-End Object Detection with Transformers概述总结
Nick Blog
07-12 1416
DETR这半年可谓是在CV界掀起了一场Transformer的热潮，简直是刷遍各大领域榜单无敌手，但是其真相事实如何还得了解后才能下评论。 本文结合Transformer来进行目标检测任务，先看效果，在一步一步拆解网络模型。 1. DETR效果 虽然本文的模型效果没有太差，但是这精度背后却需要500个epoch，量化一下时间大概是: A single epoch takes 28 minutes, so 300 epoch training takes around 6 days on a single
[Sparse R-CNN]Sparse R-CNN: End-to-End Object Detection with Learnable Proposals (CVPR. 2021)
Ah丶Weii
12-23 1933
Sparse R-CNN: End-to-End Object Detection with Learnable Proposals paper:https://arxiv.org/pdf/2011.12450.pdf code:https://github.com/PeizeSun/SparseR-CNN Abstract 作者提出了Sparse R-CNN，一种对于图像目标检测的sparse方法，一种固定的可学习目标候选框，总数量为N，用于目标识别，来进行分类和定位。通过将H x W x K个手工设定的
import numpy报错
lidichengfo0412的博客
11-05 5953
在import numpy以及import tensorflow中报错如下 ** On entry to DGEBAL parameter number 3 had an illegal value ** On entry to DGEHRD parameter number 2 had an illegal value ** On entry to DORGHR DORGQR parameter number 2 had an illegal value ** On entry to DH
报错 Non-OK-status CudaLaunchKernel
lidichengfo0412的博客
05-24 5021
在构建深度学习模型的时候提示Non-OK-status: CudaLaunchKernel(FillPhiloxRandomKernelLaunch, num_blocks, block_size, 0, d.stream(), gen, data, size, dist) status: Internal: out of memory 原因是config.gpu_options.per_process_gpu_memory_fraction = 0.99，比例设置太大了，cuda无法提供，所以报错，改小点
BERT所占内存的计算
lidichengfo0412的博客
02-10 3640
@苹果树数据科技有限公司-AI部 BERT所占内存的计算 以BERT-base为例，占用110million的参数，数据格式为半精度浮点型（FP16），则占用内存的计算如下： 1B=8字节 FP16表示16字节 则总共内存占用为：110*10^6*16 / 8 = 0.22*10^9 换算成GB：0.22*10^9 / (1024^3) = 0.205GB ...
《Leverage Lexical Knowledge for Chinese Named Entity Recognition via》解读
lidichengfo0412的博客
02-02 807
论文地址与代码地址 代码地址 论文地址 Abstract 词汇边界信息的缺失是高性能NER的主要障碍之一，幸运的是，能够自动地构建包含词汇边界信息和词汇语义信息的词汇。然而，融合中文NER的词汇信息面临了挑战，因为自匹配的词汇和最近的上下文词汇，作者提出了Collborative Graph Network来解决这个挑战。实验结果显示：在多个任务上，不仅性能提升，而且速度比SOTA模型快6-7倍。 1 Introduction 套路，所有论文一样的写法 2 Related Work 套路，所有论文一样的写法
美联储“鹰派信号脉冲“下黄金价格下跌60美元——基于LSTM-GARCH模型的波动率聚类与跨市场风险传导机制
11-20 1098
本文通过机器学习驱动的时序预测模型，结合自然语言处理技术解析美联储会议纪要文本，分析黄金价格在4132美元的动态回撤60美元机制，重点考察货币政策信号、市场情绪指标与宏观经济数据的交互影响。
Week 26: 深度学习补遗：LSTM 原理与代码复现
最新发布
MCHacker的专栏
11-23 715
本周对 LSTM模型利用PyTorch进行了复现，将其实现与数学形式进行了逐条对应，清晰、重点地理解门控机制与细胞状态与其在时序场景下的应用。在 2017 年 Transformer 架构（Attention 机制）横空出世之前，LSTM 曾是序列建模（NLP、语音、时序）的绝对王者。而在 2025 年的今天，它不再是唯一的 SOTA，但依然是非常棒的轻量级选择。本周阅读了一些时序预测领域的工作，发现LSTM在时序预测领域仍然相当活跃，在本周对LSTM进行了数学原理的复习、代码的简单复现和其应用场景的分析。
Rethinking Data Augmentation: Self-Supervision and Self-Distillation.
02-28
### 数据增强中的自监督与自蒸馏 在机器学习领域，数据增强技术通过引入额外的变化来扩充训练集，从而提高模型的泛化能力。当涉及到自监督(self-supervision)和自蒸馏(self-distillation)，这些方法提供了一种新颖的方式来改进模型性能。 #### 自监督学习的作用 自监督学习是一种无标签的学习范式，在这种框架下，算法能够从未标注的数据集中自动创建任务并解决它们，进而获得有用的特征表示[^1]。对于图像分类而言，自监督对比学习可以有效地利用大规模未标记数据，提升下游任务的表现。具体来说，该类方法通常会设计预文本任务(pretext task), 如预测旋转角度或着色灰度图片等，以此作为代理目标(proxy objective)引导网络提取更具辨识力的信息。 #### 自蒸馏的概念及其应用价值 自蒸馏指的是教师-学生架构内部的知识传递过程，其中同一个神经网络既扮演老师又充当学生的角色。在这个过程中，较深/宽版本的自己向更浅薄版传授经验教训；后者则试图模仿前者的行为模式，即使两者结构相同也可以实现这一点。这种方法有助于缓解过拟合现象，并促使模型专注于更加鲁棒且通用化的特性描述。 #### 结合二者的研究进展 一些前沿工作探索了如何将上述两种策略结合起来用于强化数据增广的效果。例如，在多实例学习环境中采用双流架构处理整张幻灯片影像时，就融入了基于自监督机制下的对比损失函数以及自蒸馏带来的正则项约束条件。这不仅增强了系统的表达能力和稳定性，还促进了不同尺度间上下文关联性的捕捉。 ```python import torch.nn as nn class DualStreamNetwork(nn.Module): def __init__(self, base_model): super(DualStreamNetwork, self).__init__() # Define the teacher-student structure with shared weights initially. self.teacher = base_model() self.student = base_model() def forward(self, x): t_out = self.teacher(x) s_out = self.student(x) return t_out, s_out def contrastive_loss(t_output, s_output): """Implementing a simple version of NT-Xent loss.""" pass ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值