Pre-trained Language Models Can be Fully Zero-Shot Learners

LLM 日更 专栏收录该内容
829篇文章
已下架不支持订阅

本文是LLM系列文章,针对《Pre-trained Language Models Can be Fully Zero-Shot Learners》的翻译。

摘要

在没有标记或额外的未标记数据的情况下,我们如何将预先训练的模型扩展到许多语言理解任务?经过预训练的语言模型(PLM)对于广泛的NLP任务是有效的。然而,现有的方法要么需要对下游标记的数据集进行微调,要么需要手动构建适当的提示。在本文中,我们提出了非参数提示PLM(NPPrompt)来完全理解零样本语言。与以前的方法不同,NPPrompt只使用预先训练的语言模型,不需要任何标记数据或额外的原始语料库来进行进一步的微调,也不依赖于人类来构建一组全面的提示标签词。在不同的NLP任务中,我们将NPPrompt与以前的主要小样本和零样本学习方法进行比较:文本分类、文本蕴涵、相似文本检索、转述和多选问题回答。实验结果表明,我们的NPPrompt在很大程度上优于以前最好的完全零样本方法,在文本分类上的准确率和在GLUE基准上的准确度分别提高了12.8%和15.6%。我们的源代码可在https://github.com/Xuandong Zhao/NPPrompt。

1 引言

2 相关工作

3 背景:PLMs基于提示的调整

4 提出的方法:NPPrompt

5 实验

6 讨论

7 结论

视觉特征-自监督-掩码像素预测【2021-11】:SimMIM【一种用于掩码图像建模的简单框架】 ¹ 清华大学²微软亚洲研究院⁸ 西安交通大学Abstract摘要本文提出了SimMIM,一个用于掩码图像建模的简单框架。我们简化了最近提出的相关方法,无需采用特殊设计,例如按块掩码以及通过离散VAE或聚类进行 tokenization。为了研究是什么使掩码图像建模任务能够学习到良好的表征,我们系统地研究了框架中的主要组件,并发现每个组件的简单设计都展现出非常强的表征学习性能:1)以适度较大的掩码 patch大小(例如32)对输入图像进行随机掩码,可构成一个强大的 pre-text 任务; 阅读详情

相关推荐

视觉特征-自监督-同源不同crop视图一致性【2023-04】:DINOv2(无监督学习鲁棒视觉特征)【12 亿张互不重复的图像】【判别式自监督方法】【交叉熵损失+iBOT损失】

近期,自然语言处理领域在大量数据上进行模型 Pretraining 取得的突破,为计算机视觉中类似Foundation Model 的发展开辟了道路。这些模型能够生成通用视觉特征,即无需微调即可跨图像分布和任务发挥作用的特征,从而大幅简化图像在任何系统中的使用。本研究表明,现有的 Pretraining 方法,尤其是自监督方法,如果在来自多样化来源的充足精选数据上进行训练,便能够产生此类特征。我们重新审视了现有方法,并结合不同技术,从数据规模和模型规模两方面扩展我们的 Pretraining。

u013250861的博客 385

视觉特征-自监督-掩码特征预测【2023-01】:I-JEPA【单上下文块编码器取可见特征;窄预测器接特征和多个目标块位置标记在特征空间算L2损失;目标编码器由上下文权重指数移动平均更新】

Abstract摘要本文展示了一种无需依赖手工设计的数据增强即可学习高度语义化图像表示的方法。我们提出了基于图像的联合 Embedding 预测架构(Imagebased Joint-Embedding Predictive Architecture,I-JEPA),这是一种用于从图像进行自监督学习的非生成式方法。I-JEPA背后的理念很简单:从单个上下文块中,预测同一图像中多个目标块的表示。引导I-JEPA生成语义表示的核心设计选择是掩码策略;

u013250861的博客 68

视觉特征-自监督-掩码特征预测【2026-03】:V-JEPA2.1【2B】【全Token稠密预测损失】【多层深度自监督】【图像/视频多模态Tokenizer】【160万小时视频】【1.42亿张图像】

Lorenzo Mur-Labadia1,2,∗, Matthew Muckley1, Amir Bar1, Mido Assran1, Koustuv Sinha1, Mike Rabbat1, Yann LeCun1, Nicolas Ballas1,†, Adrien Bardes1,†1FAIR at Meta, 2Universidad de Zaragoza ∗Work done at Meta, †Joint last authorWe present V-JEPA 2.1, a family

u013250861的博客 356

What Makes Pre-trained Language Models Better Zero-shot Learners?

当前在零样本场景中进行提示学习的方法广泛依赖于具有足够的人工注释数据的开发集,以事后选择性能最佳的提示模板。这并不理想,因为在现实世界中具有实际相关性的零样本场景中,没有标记的数据可用。因此,我们提出了一种简单而有效的方法来筛选零样本文本分类中合理的提示模板:困惑选择(Perption)。我们假设语言差异可以用来衡量提示模板的效果,从而开发出一个基于困惑的方案,可以提前预测提示模板的性能。实验表明,我们的方法在现实的零样本设置中提高了预测性能,消除了对任何标记示例的需要。

c_cpp_csharp的专栏 700

具身智能【2026-01】:Being-H0.5【VLA + Flow Matching】【MoT+MoE架构】【UniHand2.0数据集:4 亿个样本/35000小时 】

BeingBeyond Teamhttps://research.beingbeyond.com/being-h05Real-World Deployment Figure 1: Being-H0.5 at a Glance. We scale human-centric robot learning with Being-H0.5 toward cross-embodiment generalization. We introduce UniHand-2.0, a large-scale corpus

u013250861的博客 262

AD在建PCB封装时如何添加元器件的3D模型

3D模型

k1ang的博客 1万+

信息抽取实战:三元组抽取(限定领域 vs 开放领域)(附代码)

信息抽取实战:三元组抽取 目录信息抽取实战:三元组抽取一、限定领域的三元组抽取比赛介绍数据分析序列标注模型关系分类模型三元组提取总结开放领域的三元组抽取标注平台文本分类新数据进行三元组抽取总结参考文献 一、限定领域的三元组抽取   本项目将会介绍在2019语言与智能技术竞赛的三元组抽取比赛方面的一次尝试。由于该比赛早已结束,当时也没有参加这个比赛,因此没有测评成绩,我们也只能拿到训练集和验证集。但是,这并不耽误我们在这方面做实验。 比赛介绍   该比赛的网址为:http://lic2019.ccf.org.

南有芙蕖 2万+

数字信号处理实验:信号谱分析与FFT算法的应用

​ (1)给定信号为 ,其中a为42,b为1。理论分析信号 的频率成分。 (2)分别采用采样频率为 , , , 对 进行采样,其中 , , , ,根据是否满足采样定理要求分析四种采样频率下频谱的分布,在满足采样定理情况下做频谱分析。 (3)任意生成两组有限长信号,对信号分别进行直接卷积和FFT算法求卷积,并分析圆周卷积与线性卷积的关系。

m0_56324525的博客 3205

交换机基本介绍(分类、性能指标、硬件构成及工作方式)

一、交换机的分类与性能指标 1.1交换机的分类 按照网络构成方式来分的话,交换机分为三类:接入层交换机、汇聚层交换机和核心层交换机。 按照OSI模型来划分的话,分为:二层交换机、三层交换机和四层交换机 还有一种按照硬件形态来划分,可以分成两类:盒式交换机和机框式交换机。 盒式交换机是一种有固定端口数,有时也会带有少量扩展槽的交换机。机架式交换机是一种插槽式的交换机,这种交换机扩展性较好,可支持不同的网络类型,可支持更大端口密度的网络。一般在数据中心的接入层都会采用盒式交换机,盒式...

monologuezjp的博客 4万+

基于51单片机的智能花盆灌溉系统设计与实现

本文详细介绍了基于51单片机的智能花盆灌溉系统设计与实现,通过DS18B20温度传感器、土壤湿度传感器和LCD1602显示屏等硬件模块,结合精确的算法控制,实现自动监测与灌溉。系统解决了传统灌溉依赖定时器、缺乏可视化界面的问题,适合上班族、园艺爱好者和植物园工作人员使用,有效提升植物养护效率。

honey的博客 1017

nsight-system教程

参考nsight-compute使用教程-优快云博客。

youzjuer的博客 1894

Rstan下载安装攻略

准备把Rtools删掉,重新下载(胡乱猜测是安装顺序的问题),但是卸载时显示Rtools被占用,但我已经把该关的都关了。这一问题的出现,直接让我卸载掉了Rstudio,又重新安装了一个,不过这次安装在另一个磁盘,因为原来的内存不多了。或者参考知乎,使用清华镜像网址进行下载:(知乎链接)https://zhuanlan.zhihu.com/p/346947595(清华下载链接)https://mirrors.tuna.tsinghua.edu.cn/CRAN/bin/windows/Rtools/

m0_64643017的博客 3101

STM32CubeMX+Keil5新建工程

STM32CubeMX+Keil5新建工程

xu96944967的博客 3373

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

上一篇: What Makes Pre-trained Language Models Better Zero-shot Learners?
下一篇: MetaVL: Transferring In-Context Learning Ability From Language Models to Vision-Language Models
UnknownBody
博客等级 码龄16年 5602粉丝 4758原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值