Prototypical Verbalizer for Prompt-based Few-shot Tuning

原创 已于 2024-08-16 17:25:24 修改 · 555 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #论文笔记

于 2024-08-14 21:40:23 首次发布
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 8万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
【论文阅读】Semantic Prompt for Few-Shot Image Recognition（已复现）
cainiaomyf的博客
09-30 2791
小样本学习是一个具有挑战性的问题，因为只提供了少量样本来识别新的类别。最近的一些研究利用了额外的语义信息，例如类别名称的文本嵌入，通过将语义原型与视觉原型相结合来解决稀缺样本的问题。然而，这些方法仍然受到从稀缺支持样本中学习到的虚假视觉特征的影响，导致收益有限。在本文中，我们提出了一种用于小样本学习的新颖语义提示（Semantic Prompt，SP）方法。我们并非简单地利用语义信息来修正分类器，而是探索将语义信息作为提示来自适应地调整视觉特征提取网络。
浅析原型学习（Prototype Learning）及代码实现|Prototypical Verbalizer for Prompt-based Few-shot Tuning
c___c18的博客
11-26 4620
看了一些博客的内容而本次是基于和这两篇论文来讨论的。接下来将从代码和论文本身的角度来阐述。
论文笔记：Prototypical Verbalizer for Prompt-based Few-shot Tuning
Daisymanman的博客
10-12 1775
提示学习、原型向量、对比学习
《Prototypical Networks for Few-shot Learning 》论文翻译
Ma_tx
11-18 2895
Prototypical Networks for Few-shot Learning Abstract 我们为小样本分类问题提出了原型网络，其中分类器能够很好的泛化到其他没有在训练集中出现的新类别，对于每一种新出现的类别，我们只给出很少的样本。原型网络学习一个度量空间，在该空间中，可以通过计算到每个类的原型表示的距离来执行分类。与最近的小样本学习方法...
Prompt Learning | 一文带你概览Prompt工作新进展
zenRRan的博客
12-18 2638
每天给你送来NLP技术干货！© 作者｜唐天一机构｜中国人民大学高瓴人工智能学院导师｜赵鑫研究方向｜自然语言处理来自 |RUC AI Box题图来源于[1]Prompt Learning（...
大模型LLM微调的方式：Instruction/Promt/Prefix/PET、
强化学习曾小健
07-03 2113
先从预训练模型开始，初始化多个不同的模型（图中1步骤），在有标注的少量样本上进行Prompt-Tuning，然后通过多个不同的PVP训练得到多个不同的模型（图中a步骤），每个模型在无标注数据上进行推理打标，并根据置信度筛选（图中b步骤），根据新标注的数据与原始标注数据融合后，再重新进行Prompt-Tuning（图中c步骤），重复abc三个步骤多次后，获得每个模型后，在测试时进行集成投票（图中2、3步骤）。同连续的模板一样，为了让label word也可以自适应的变化，提出连续的label word。
EMNLP 2022事件相关(事件抽取、事件关系抽取、事件预测等)论文汇总
o11oo11o的博客
02-08 930
EMNLP 2022事件抽取相关(事件抽取、事件关系抽取、事件预测等)论文汇总，后续会更新全部的论文讲解。
大语言模型LLM微调技术：Prompt Tuning
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
01-02 2676
Prompt本质上是对下游任务的指令，可以作为一种信息增强 。 简单的来说，就是告诉模型需要做什么任务，输出什么内容。上文我们提及到的离散或连续的模板，本质上就是一种对任务的提示。当数据集不同（乃至样本不同）的时候，我们期望模型能够自适应的选择不同的模板，这也相当于说不同的任务会有其对应的提示信息。
清华大学实验组18篇论文被ACL 2022录用
weixin_40920183的博客
02-28 1873
近日，ACL 2022录用结果出炉，我组18篇论文被ACL 2022录用，其中主会论文13篇，Findings论文5篇。以下为论文列表及介绍：一ACL2022主会Packed Lev...
ACL2022论文分类汇总-Prompt、句子表征、检索排序&摘要
lc_love_ty的博客
06-12 3096
ACL2022会议的论文已经出来一阵子了，将论文列表过了一边，筛选了一些自己正在做或者感兴趣方向的相关论文，包括：Prompt（35篇）、句子表征（21篇）、检索排序（13篇）、摘要（35篇）和其他（11篇，个人觉得蛮有意思的论文）。...
ACL 2022 主会长文论文分类整理
Kaiyuan_sjtu的博客
05-13 6974
© 作者｜蒋锦昊 机构｜中国人民大学高瓴人工智能学院研究方向 | 自然语言处理导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表：Accepted Papers...
清华ACL'22 | 一文读懂刘知远所在实验室18篇论文详情
zenRRan的博客
03-01 1681
每天给你送来NLP技术干货！来自：TsinghuaNLP近日，ACL 2022录用结果出炉，我组18篇论文被ACL 2022录用，其中主会论文13篇，Findings论文5篇。以下为论文列...
Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
David_B的博客
03-10 4514
1 标题+作者 KPT，将知识引入Prompt Verbalizer 处理文本分类任务，清华大学 2 摘要 在低数据场景下，Prompt-tuning（PT）比fine-tuning（FT）效果好，PT将分类问题转为带掩码的语言模型问题，关键就在于如何构建一个verbalizer实现标签空间到标签词空间的映射。现有的verbalizer大多由人工构建或者基于梯度下降进行搜索得到，不足在于标签词的覆盖范围小、存在巨大的偏差（bias） 。 KPT通过引入额外的知识扩展标签词空间，为了更好的利用知识利用PLM重
Prototypical Networks for Few-shot Learning
Xin1203的博客
04-04 4679
小样本学习的原型网络 摘要 我们为小样本分类问题提出了原型网络，分类器必须推广到训练集中没有的新类，每个新类只给出非常小的数量的样本。 原型网络在这样一个度量空间中学习：分类可以通过计算每个类的原型之间的距离来区分。 与最近的小样本学习的几种方式，它反映了一种在这种有限数据的情况下有利的更简单的归纳偏差，并且取得了非常好的结果。 我们提供的分析结果表明一些简单的设计决策能够对最近的包含复杂的架构选...
【ACL2022】Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text
dongguanting的博客
09-21 1562
原文链接: https://arxiv.org/abs/2108.02035 本文参考了舍友的一篇知乎链接：https://zhuanlan.zhihu.com/p/398009000 intro 这是一篇清华刘知远老师组在arxiv上放出来了Prompt-tuning相关的新工作，本文是promp应用于文本分类的一篇工作，应用一种基于外部知识库的 prompt tuning（knowledgeable prompt tuning，简称kpt）, KPT包含以下三个步骤： 标签词的扩
清华大学OpenBMB正式开源部署至OpenI启智社区：让大模型飞入千家万户
OpenI启智社区
04-08 6236
国内独家开源合作！
TensorRT笔记（5）：研究timingCache
最新发布
ouliten的博客
12-02 1098
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习与集成方法：组合多个学习器来提高整体性能
hiliang521的博客
12-02 902
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习
Prototypical networks for few-shot learning
11-12
Prototypical networks for few-shot learning 是少样本学习领域的重要研究，其核心论文《Prototypical Networks for Few - Shot Learning》提出了原型网络用于解决少样本学习问题。 原型网络的基本原理是在嵌入空间中为每个类别学习一个“原型”（prototype），这个原型是该类别所有样本嵌入向量的均值。在测试阶段，通过计算测试样本与各个类别原型之间的距离来进行分类，将测试样本分类到距离最近的原型所代表的类别中。 以下是一个简单的 PyTorch 代码示例，用于说明原型网络的基本流程： ```python import torch import torch.nn as nn import torch.optim as optim # 定义一个简单的嵌入网络 class EmbeddingNetwork(nn.Module): def __init__(self): super(EmbeddingNetwork, self).__init__() self.fc1 = nn.Linear(10, 20) self.relu = nn.ReLU() self.fc2 = nn.Linear(20, 10) def forward(self, x): x = self.fc1(x) x = self.relu(x) x = self.fc2(x) return x # 计算原型 def compute_prototypes(support_set, labels, num_classes): prototypes = [] for c in range(num_classes): class_indices = (labels == c).nonzero(as_tuple=True)[0] class_samples = support_set[class_indices] prototype = torch.mean(class_samples, dim=0) prototypes.append(prototype) return torch.stack(prototypes) # 分类函数 def classify(query_set, prototypes): distances = torch.cdist(query_set, prototypes) predictions = torch.argmin(distances, dim=1) return predictions # 初始化网络 embedding_net = EmbeddingNetwork() criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(embedding_net.parameters(), lr=0.001) # 模拟数据 support_set = torch.randn(20, 10) # 20 个样本，每个样本 10 维 support_labels = torch.randint(0, 5, (20,)) # 5 个类别 query_set = torch.randn(10, 10) # 10 个查询样本 # 训练过程 for epoch in range(100): optimizer.zero_grad() support_embeddings = embedding_net(support_set) prototypes = compute_prototypes(support_embeddings, support_labels, 5) query_embeddings = embedding_net(query_set) predictions = classify(query_embeddings, prototypes) # 这里假设我们有查询样本的真实标签 query_labels = torch.randint(0, 5, (10,)) loss = criterion(predictions.float(), query_labels.float()) loss.backward() optimizer.step() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值