SpanProto: A Two-stage Span-based Prototypical Network forFew-shot Named Entity Recognition

最新推荐文章于 2025-12-08 20:30:54 发布
原创 最新推荐文章于 2025-12-08 20:30:54 发布 · 342 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #NER

文章介绍了一种新的方法SpanProto，针对Few-shotner问题，通过span-based的两阶段学习，关注实体边界信息，并使用边际损失减少假阳性的错误。研究者提出原型学习和基于边界的分类策略，以提高在少量标注数据下的实体识别性能。

原文链接：

https://aclanthology.org/2022.emnlp-main.227.pdf

EMNLP 2022

介绍

        问题

        Few-shot ner之前的方法都是基于对token进行分类，忽略了实体边界的信息，同时大量的负样本（non-entity）也会影响模型的性能。

        IDEA 

         作者提出了一个span-based的two-stage原型网络（SpanProto）来解决Few-shot ner问题；在span提取阶段，将序列tag转化为一个全局的边界矩阵，使得模型能够注意到准确的边界信息。在分类阶段，对每个实体类别计算原型（prototype）embedding，并利用原型学习在语义空间中调整span的表征。另外，为了解决false positive问题，作者设计了一种margin-based损失，来增大false positive和所有原型之间的语义距离。

方法

        模型的整体结构如下所示：

         一个训练步的数据\varepsilon _{train}=(S_{train},Q_{train},T_{train}) \in D_{train}，分别表示support set、query set和实体类型集合。对于每个样本\left ( X,M,y \right )\in S_{train}\cup Q_{train}，

最低0.47元/天 解锁文章
Prototypical Networks for Few-shot Learning 论文笔记
qq_30146937的博客
03-18 1020
前言 本文提出了用于few-shot learning的原型网络（prototypical network），它的基本思想是，在一个embedding空间中，每个类都有一个原型表示（prototypical representation），每个类的点都聚集在这个原型表示周围。具体来说就是，通过一个非线性映射将输入映射到一个embedding空间中，提取每个类别中样本的均值（mean）作为该类在em...
匹配网络（Matching Networks）和原型网络（Prototypical Networks）：区别详解
qlkaicx的博客
05-04 2066
在机器学习领域，特别是在处理少样本学习（Few-shot Learning）问题时，匹配网络（Matching Networks）和原型网络（Prototypical Networks）都是非常流行的元学习模型。尽管这两种方法在目标上都是为了通过少量样本实现快速学习，但它们在方法论和实现上有显著的区别。理解这两种网络的主要区别有助于在实际应用中做出更合适的选择，以达到最佳的学习效果。匹配网络是一种基于注意力机制来实现的元学习模型，它通过直接比较支持集中的样本和待分类的目标样本来进行分类。
fewshot_NER:SpanProto: A Two-stage Span-based Prototypical Network for Few-shot Named Entity Recogni
Hekena的博客
11-30 568
我们提出了一个开创性的基于跨度的原型网络（SpanProto），它通过一个两阶段的方法来解决少量的NER问题，包括。在跨度提取阶段，我们将顺序标签转化为全局边界矩阵，使模型能够专注于明确的边界信息。对于提及分类，我们利用原型学习来捕捉每个标记的跨度的语义表示，并使模型更好地适应小说类实体。模型分为两个部分，通过表填充方式解决mention识别问题，使用原型网络解决mention分类问题。
《Few-Shot Named Entity Recognition: A Comprehensive Study》论文笔记
Vincy_King
01-06 2748
Few-Shot Named Entity Recognition: A Comprehensive Study 最近发现读论文get idea有点困难，不如参考大佬的笔记来做做总结，今天主要总结一下few-shot NER，这是一篇few-shot NER的综述《Few-Shot Named Entity Recognition: A Comprehensive Study》 1. Motivation NER一种经典的方法是在PLM提供的表示之上添加一个线性分类器，并在域标签上使用交叉熵目标来微调整个模
Span 抽取和元学习能碰撞出怎样的新火花，小样本实体识别来告诉你！
阿里云云栖号
12-09 1758
这是一种面向命名实体识别的小样本学习算法，采用两阶段的训练方法，检测文本中最有可能是命名实体的Span，并且准确判断其实体类型，在仅需要标注极少训练数据的情况下，提升预训练语言模型在命名实体识别任务上的精度。
SelfNet: A semi-supervised local Fisher discriminant network for few-shot learning
12-20
少样本学习是指利用少量标记样本识别新物体的学习方法，近年来在计算机视觉、动作识别、自然语言处理等领域得到了广泛的研究。少样本学习中的原型网络（ProtoNet）是一种简单而有效的方法，通过在支持集上定义原型来...
加密流量分类-论文10：Global-Aware Prototypical Network for Few-Shot Encrypted Traffic Classification
qq_45125356的博客
11-11 2135
现在大部分对于小样本学习的方法都是基于度量(metric learning)解决，但是这些方法只考虑到了流量的局部信息，故对最终的分类性能有一定影响本文提出的GP-Net，考虑负载序列的两个字节之间的关系，利用字节之中的关系聚合流量输入的全局信息少样本学习是元学习的在监督学习领域的应用，可以参考[link](Few-shot learning（少样本学习）入门 - 知乎 (zhihu.com))过去使用一维卷积神经网络作为编码器解码器提取流量特征的方法，如[RBRN](
论文笔记：Hybrid Attention-Based Prototypical Networks for Noisy Few-Shot Relation Classification
Matt_sh的博客
06-27 1957
小样本关系抽取论文
A Two-phase Prototypical Network Model for Incremental Few-shot Relation Classification 论文总结
qq_38331611的博客
01-25 907
提示：自己理解总结，学习存档，仅供参考，如有问题，欢迎指出探讨。 代码： 文章代码 文章目录一、背景二、贡献三、模型特征提取器：Deep Prototypical Network：Incremental Few-shot Prototypical Network：Triplet Loss for IncreProtoNet：四、实验四、创新点 一、背景 传统监督和远监督RC模型都是一个封闭世界的假设（查询实例中表示的关系必须出现在预定义的关系集中），忽略了在开放环境中出现的新关系。 为了逐步识
解读：Few-shot classification in Named Entity Recognition Task
qq_33331424的博客
05-08 2636
解读：Few-shot classification in Named Entity Recognition Task1 介绍2 相关工作3 原型网络3.1 模型3.2 适配NER4 小样本实体识别4.1 形式化任务4.2 基本模型4.3 实验5 实验设置5.1 数据集5.2 数据准备：模拟几次实验5.3 实验设计5.4 模型参数6 结果6.1 模型的性能6.2 BIO标签的影响7 结论 摘要：对...
EMNLP21 - Few-Shot Named Entity Recognition: An Empirical Baseline Study
ywm_up
12-13 853
Huang J, Li C, Subudhi K, et al. Few-Shot Named Entity Recognition: An Empirical Baseline Study[C]//Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. 2021: 10408-10423. EMNLP 2021. 文章目录AbstractIntroductionMethodPrototy
原型网络 Prototypical Network
ywm_up
12-17 5988
原型网络 - Prototypical Network 原型网络出自下面这篇论文。 Snell J, Swersky K, Zemel R S. Prototypical networks for few-shot learning[J]. NIPS 2017. 原理 原理和聚类有点相似 孪生网络的缺点就是要对比目标和过去每个样本之间的相似度，从而分析目标的类别，而原型网络就提出，把样本投影到一个空间，计算每个样本类别的中心，在分类的时候，通过对比目标到每个中心的距离，从而分析出目标的类别。 sup
Span抽取和元学习能碰撞出怎样的新火花，小样本实体识别来告诉你！
数据库技术
12-09 751
这是一种面向命名实体识别的小样本学习算法，采用两阶段的训练方法，检测文本中最有可能是命名实体的Span，并且准确判断其实体类型，在仅需要标注极少训练数据的情况下，提升预训练语言模型在命名实体识别任务上的精度。
深度学习1.4-pytorch安装
诚朴勇毅
12-05 103
PyTorch 官方提供了几种安装方法，可以通过 pip 或 conda 进行安装。
深入浅出卷积神经网络（CNN）：从LeNet到Vision Transformer的演进及其实战应用
云雾J视界的博客
12-04 939
本文系统梳理卷积神经网络从LeNet到Vision Transformer的演进脉络，聚焦“为何选用ResNet而非VGG”这一典型面试问题，揭示其背后的技术选型逻辑。文章基于CVPR、ICLR等顶会论文及MLPerf等公开基准，深入剖析四代架构——奠基（LeNet/AlexNet）、深度爆发（VGG/ResNet）、效率觉醒（MobileNet）与注意力时代（ViT/ConvNeXt）的核心创新与工程权衡。
深度学习实战（基于pytroch）系列（四十一）长短期记忆（LSTM）pytorch简洁实现
echo的博客
11-29 1194
本文介绍了使用PyTorch简洁实现长短期记忆网络(LSTM)语言模型的方法。首先读取周杰伦歌词数据集并进行预处理，然后定义包含LSTM层和全连接层的RNN模型类，其中LSTM需要同时处理隐藏状态和细胞状态。文章详细展示了模型初始化、预测函数实现以及训练过程，包括梯度裁剪和数据迭代器设计。通过对比手动实现，突出了PyTorch框架在简化LSTM实现方面的优势，为自然语言处理任务提供了高效的解决方案。
Transformer 能否取代 CNN？图像去噪中的新范式探索
最新发布
dream_it_come_in的博客
12-08 762
引言：一场视觉任务的范式之争自 2017 年 Transformer 诞生以来，这场最初为自然语言处理设计的架构，正以不可阻挡的势头冲击计算机视觉领域。从 ViT 打破 CNN 在图像分类的垄断，到 Swin Transformer 横扫分割、检测任务，“Transformer 能否取代 CNN” 成为业界持续争论的焦点。而在图像去噪这一基础任务中，这一争论更具现实意义 ——CNN 凭借局部建模优势长期占据主导，Transformer 则以全局注意力机制带来新可能。
深度学习高级教程：基于生成对抗网络的五子棋对战AI
桃李不言下自成蹊
12-08 580
生活场景类比：生成对抗网络就像一个造假者和一个鉴宝师在互相竞争。造假者（生成器）试图制造假文物，鉴宝师（判别器）试图区分真假文物。随着时间的推移，造假者的技艺越来越高超，鉴宝师的眼光也越来越敏锐，最终造假者能制造出几乎以假乱真的文物。生成器（Generator）：生成假数据，试图欺骗判别器判别器（Discriminator）：区分真实数据和生成器生成的假数据"""残差块，有助于梯度流动和信息保留"""# 快捷连接，处理通道数变化if stride!
One-Shot-PerformerID：实现一次性表演者识别的深度学习模型
该项目的核心思想来源于 Siamese 网络结构或更先进的变体（如 Triplet Network、Prototypical Networks），这些模型通过学习样本之间的相似性度量，而非直接分类，从而实现对新类别（即新表演者）的快速泛化能力。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值