arXiv | 如何更好地理解自然语言?自训练+预训练

【AI视野·今日NLP 自然语言处理论文速览 第八十期】Fri, 1 Mar 2024 AI视野·今日CS.NLP 自然语言处理论文速览 Fri, 1 Mar 2024 Totally 67 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Loose LIPS Sink Ships: Asking Questions in Battleship with Language-Informed Program Sampling Authors Gabriel Grand, Valerio Pepe, Jaco 阅读详情

今天给大家介绍的是Facebook AI研究团队发表在arXiv上的一篇文章“Self-training Improves Pre-training for Natural Language Understanding”。作者在文章中提出,可以利用自训练提升自然语言理解的预训练模型,并且提出了一种用于数据增强的新方法——SentAugment,可从大规模无标签的网络句子中检索用于特定任务的无标签句子,辅助语言模型的自训练过程。实验表明,SentAugment实现了有效的自训练,并且在知识蒸馏和小样本学习上有明显效果。

1

研究背景

自训练是一种半监督学习方法,它使用有标签数据训练一个教师模型,再用训练后的教师模型为无标签数据创建合成标签。这些带有合成标签的数据被用于训练一个学生模型,使得学生模型具有与教师模型相似或更好的性能。最近在自然语言理解上的工作通常集中在预训练模型上,而自训练也是利用无标签数据的一种有效方法。作者在预训练基准上引入自训练,通过研究表明自训练是对自然语言理解的强大预训练模型的一种补充。

此外,无标签数据通常是半监督学习的一个重要组成部分。但是,现有的工作通常假设这些无标签数据来自与下游任务相同的领域,该假设限制了半监督方法的应用,尤其是在数据较少的下游任务中。为此,作者在本文中提出了一种数据增强方法——SentAugment,用于从网络上爬取的数据中,为给定任务构建相同领域的数据集。实验表明,SentAugment可有效辅助模型自训练,知识蒸馏和小样本学习。

2

方法

2.1 检索策略

SentAugment方法使用网络数据作为句子库。首先,使用一种通用句子编码器对句子库中的每个句子进行嵌入,这个编码器对于有相近意思的句子输出相似表示。这些句子表示被用于检索特定任务相关的无标签数据。其次,使用同样的通用句子编码器对下游任务的训练数据集进行嵌入,然后根据训练数据集的嵌入表示计算出任务嵌入。任务嵌入的计算方法有以下三种:(1)all-average:计算训练数据集中的所有嵌入表示的平均嵌入表示;(2)label-average:分别为每个类别的数据计算一个平均嵌入;(3)per-sentence:每个句子拥有一个单独的嵌入表示。然后,将任务嵌入作为查询条件,在句子库中检索出一个子集作为候选数据集,然后使用教师模型从候选数据集的每个类别中选出前k个样本进行标记,形成最终的合成数据。

2.2 自训练过程

如图1所示, 自训练过程分为多个步骤。首先,在下游任务中对中文预训练模型RoBERTa-Large精调,将精调后的模型作为教师模型;其次,从句子库中检索特定任务的无标签数据;之后,使用教师模型对检索到的无标签数据进行标记;最后,使用带合成标签的数据来精调一个新的RoBERTa-Large模型,将这个模型作为学生模型。

图1 SentAugment方法

3

实验

3.1 数据集

在评估SentAugment方法性能的实验中使用的数据集信息如表1所示。用于情感分析的数据集有SST-2和SST-5,其中SST-2是Stanford Sentiment Treebank的二元情感分析数据集,SST-5则是细粒度情感分析数据集。CR数据集用于产品分类任务,IMP数据集用于仇恨言论分类,TREC数据集用于问题分类,CoNLL数据集用于命名实体识别任务。

表1 数据集和下游任务

3.2自训练实验

该实验的目的是了解自训练是否能对下游任务的目标领域进行域适应。实验中使用了三个模型,分别是RoBERTa-Large基准模型、RoBERTa-Large+ICP和RoBERTa-Large+ST。ST表示自训练,即用带合成标签的数据集来训练预训练模型RoBERTa-Large,ICP表示域内连续预训练,直接在目标领域的检索数据上进行预训练,不适用合成标签。实验结果如表2所示,自训练可以提高RoBERTa-Large基准模型的性能,使平均水平提高了1.2%。而当使用ICP继续使用自训练数据进行预训练时,模型性能从87.4%降低到86.2%。尽管ICP在RoBERTa-Large模型预训练时执行域适应,但它的性能并不优于RoBERTa-Large。因此,自训练是提高泛化能力并在精调时进行域适应的重要途径。

表2 自训练实验结果

3.3 小样本学习实验

作者在小样本学习的情况下研究了SentAugment方法的有效性。针对每个任务,作者从特定任务的训练数据集中选取少量样本对RoBERTa-Large模型进行精调,并将其用作教师模型。实验结果如表3所示。自训练可以使所有任务的精确度平均提高3.5%,在序列标记任务中表现尤为突出。

表3 小样本学习任务中的自训练实验结果

3.4 知识蒸馏实验

知识蒸馏(KD)也受益于大规模数据增强。在该实验中,作者使用了真实数据(GT)、随机数据(random)和检索的无标签数据(SA),比较了基于不同数据的知识蒸馏的效果,实验结果如表4所示。实验结果表明,与基于随机数据相比,使用真实数据提炼模型时性能显着提高,从77.1%变为82.5%。本文的数据增强方法达到了81.9%的平均准确度。

表4 基于真实数据、随机数据和检索数据的知识蒸馏实验结果

4

总结

在本文中,作者表明自训练是利用无标签数据的另一种有效方法,当自训练和预训练结合时,可以进一步改进RoBERTa模型性能。此外,作者介绍了一种新的用于自然语言处理的数据增强方法SentAugment,该方法可从大规模网络数据语料库中检索特定任务的相关领域的句子,并且在知识蒸馏和少样本学习上也有明显效果。

推荐阅读:1.8W字MySQL超全笔面试题(含答案) 5月最新整理 .NET开发者必看

AI 的测试:模型的基准测试 在评估一个模型的时候,仅通过ROUGE、BLEU SCORE评价模型还是太单薄了,并不能全面的反馈模型的能力。在相完整评估一个模型的能力的时候,最重要的是提供一套有效的评估模型。现在常见的模型的基准测试有 GLUE、SuperGLUE、HELM、MMLU等等。 阅读详情

相关推荐

细粒度的情感:SST-5数据集上五类情感分类的不同NLP方法的比较和讨论

细粒度情感分类 此仓库显示了对各种NLP方法的比较和讨论,这些方法可以在(SST-5)数据集上执行5级情感分类。 目标是使用多个基于规则,基于线性和神经网络的分类器来预测此数据集上的类,并查看它们之间的区别。 当前已实现以下分类器: TextBlob :基于规则,使用库中的内部polarity度量。 Vader :基于规则,使用库中的compound极性分数。 Logistic回归:在将词汇表转换为特征向量并考虑使用TF-IDF的词频影响后,在scikit-learn中训练简单的logistic回归模型。 SVM :在将词汇表转换为特征向量并使用TF-IDF考虑词频的影响后,在sci

GLUE数据集介绍

From: http://www.xuwei.io/2018/11/30/%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB-glue%E6%95%B0%E6%8D%AE%E9%9B%86%E4%BB%8B%E7%BB%8D/ GLUE榜单地址:https://gluebenchmark.com/leaderboard/ NLP可以分为自然语言理解(NLU)和自然语言生成(NLG)。在NLU方面,我们拿时下最流行的GLUE(General Language Understanding

bbbbbubble的博客 832

自然语言处理用的二分类微调数据SST,可以参考huggingface来具体操作训练

自然语言处理,预训练模型微调专用数据,SST2 文本分类,情感分类等等类似下游任务都可以用。

基于BERT实现简单的情感分类任务

使用BERT进行简单的情感2分类任务,代码包含大量注释适合新手阅读。

weixin_45101959的博客 7958

imdb、SST-1、SST-2、yelp-2013、yelp-2014 文本分类数据集

imdb、SST-1、SST-2、yelp-2013、yelp-2014 文本分类数据集 https://github.com/JerrikEph/Capsule4TextClassification/blob/master/data/downloadDataset.md

Self_Explaining_Structures_Improve_NLP_Models

不言自明的NLP 代码、模型和数据集。 安装 pip install -r requirements.txt 准备数据集和模型 下载SST-5数据集,官方语料可以在找到。 我们提供经过处理的原始文本,您可以在下载。 将处理后的原始文本数据集保存在[SST_PATA_PATH] 。 下载SNLI数据集,官方语料可以在找到。 将 SNLI 数据集保存在[SNLI_PATA_PATH] 。 下载 HuggingFace 发布的基于 RoBERTa 的 vanilla 模型。 将模型保存在[ROBERTA_BASE_PATH] ,可以在找到 下载我们为不同任务训练的模型检查点。 您可以使用我们的检查点进行评估。 检查点可以在下载 一步步重现论文结果 在本文中,我们在不同的 NLP 任务中使用自解释结构。 此 repo 包含所有训练和评估代码,但在这里,我们仅提供 SST-5 任务的命令作为

情感分析常见数据集以及任务进展

情感分析 原文:https://github.com/sebastianruder/NLP-progress/blob/master/english/sentiment_analysis.md IMDb IMDb数据集是一个二分类的情感分析数据集,包括了来自Internet Movie Database(IMDb)的50000条电影评论,分别标注为正面和负面两类情感。数据集包含偶数个正面和负面评论。评论打分满分为10分,分数<=4归为负面评论,分数>=7归为正面评论。每部电影的评论不得超过30条

xxr233的博客 8918

细粒度用户评论情感分析数据集(2018-AI-challenger)

共包含6大类20个细粒度要素的情感倾向.数据集分为训练、验证、测试A与测试B四部分。数据集中的评价对象按照粒度不同划分为两个层次,层次一为粗粒度的评价对象,例如评论文本中涉及的服务、位置等要素;层次二为细粒度的情感对象,例如“服务”属性中的“服务人员态度”、“排队等候时间”等细粒度要素。每个细粒度要素的情感倾向有四种状态:正向、中性、负向、未提及.

【AIGC】2021-arXiv-LoRA:大型语言模型的低秩自适应

自然语言处理的一个重要范例是对通用领域数据进行大规模预训练,并适应特定任务或领域。随着我们对更大的模型进行预训练,完全微调(重新训练所有模型参数)变得不太可行。以 GPT-3 175B 为例 - 部署经过微调的模型的独立实例(每个实例有 175B 个参数)的成本过高。我们提出了低秩自适应(LoRA),它冻结了预训练的模型权重,并将可训练的秩分解矩阵注入 Transformer 架构的每一层,大大减少了下游任务的可训练参数数量。

weixin_42475026的博客 1986

SST2的数据集,哈哈

情感分析数据集,从上文对text-cnn模型的介绍,想必读者对该模型已经有了初步的理解了。趁热打铁,我们将利用Keras搭建该模型并对imdb数据集进行情感分析。由于数据集预处理部分上一篇文章已经讲解,在此将不再叙述。

Ubuntu中交叉编译armadillo库

网上关于交叉编译armdillo库比较少,借鉴了一些但是在前几天编译时总是磕磕绊绊,于是写一个详细的编译过程。交叉编译armdillo库包含两个步骤:交叉编译依赖库和交叉编译armdillo库。

weixin_39813867的博客 1879

语言身高预测实验注意事项_新预训练模型CodeBERT出世,编程语言和自然语言都不在话下,哈工大、中山大学、MSRA出品...

选自arXiv作者:Zhangyin Feng等机器之心编译参与:魔王、蛋酱对于自然语言处理从业者来说,BERT 这个概念一定不陌生,自从诞生以来,它在诸多任务检测中都有着非常优秀的表现。近日,来自哈尔滨工业大学、中山大学和微软亚洲研究院的研究者合作提出了一个可处理双模态数据的新预训练模型 CodeBERT,除了自然语言(NL),编程语言(PL)如今也可以进行预训练了。在这篇名为《Cod...

weixin_42500625的博客 150

资治通鉴:文言文、白话文对照读本

介绍一处可以免费下载资治通鉴的网址,该文献共20卷,排版为左边是文言文,右边是白话文翻译,对照阅读非常方便。下面是1-20卷的链接地址:第一卷:http://www.docin.com/p-9705067.html 第二卷:http://www.docin.com/p-9705979.html 第三卷:http://www.docin.com/p-9709382.html 第四卷:

aiwis的专栏 2548

BART:用于自然语言生成、翻译与理解的去噪序列到序列预训练

BART,一种用于预训练序列到序列模型的去噪自编码器。BART 通过两步进行训练:(1)使用任意噪声函数破坏文本;(2)学习一个模型以重建原始文本。它采用标准的基于 Transformer 的神经机器翻译架构。尽管结构简单,但它可以被视为对 BERT、GPT 以及许多更近期预训练方案的推广,因为它同时具有双向编码器与从左到右的解码器。

lihao2372的专栏 87

钢铁雄心4存档修改全攻略:从基础设置到高级玩法(附国家代码表)

本文详细解析《钢铁雄心4》存档修改技巧,从基础设置到高级玩法全覆盖。包括存档文件位置、格式转换、国家实力调整、国际关系修改等实用内容,并附赠国家代码表。掌握存档修改技能,解锁游戏全部潜力,实现精细参数控制,超越控制台指令的局限。

weixin_29233857的博客 1439

Veeam Backup & ONE download

前言 Veeam® Availability Suite™ 是 Veeam 的旗舰解决方案,可实现简单、灵活和可靠的数据管理。消除与数据保护、恢复、监控、勒索软件防护和合规性相关的手动流程,从而减轻数据维护压力。Veeam 能够帮助您节省时间和成本,同时支持您减少在备份方面花费的时间,将更多精力放在推动业务发展上。 Veeam Availability Suite Release 版本 包含 发布时间 复制磁力链接使用迅雷或者bittorrent ...

极致,细节 2005

2024年6月4日Arxiv大语言模型相关论文

原标题作者摘要: 视频是一种越来越突出且信息密集的媒介,但对于语言模型来说却带来了重大挑战。典型的视频由一系列较短的片段或镜头组成,共同构成一个连贯的叙事。每个镜头类似于句子中的一个单词,其中必须同时处理多个数据流的信息(如视觉和听觉数据)。理解整个视频不仅需要理解每个镜头的视听信息,还需要模型将每个镜头之间的思想联系起来,生成一个更大、全面的故事。尽管该领域取得了显著进展,但当前的研究往往忽视了视频更细粒度的逐镜头语义信息。

数智笔记 1869

UnityWebGL异常捕获全攻略:从报错提示到完美解决的3种配置方案

本文详细解析了UnityWebGL项目中异常捕获的三种核心配置方案:禁用异常、仅捕获显式异常以及完全捕获异常(无堆栈跟踪)。通过对比不同方案在构建体积、运行性能及错误信息详细度上的差异,帮助开发者根据开发、测试与发布阶段的不同需求,选择并配置最优的异常处理策略,从而有效提升WebGL应用的调试效率和线上稳定性。

5f4d3s2a1q的博客 402

【AI视野·今日NLP 自然语言处理论文速览 第八十四期】Thu, 7 Mar 2024

AI视野·今日CS.NLP 自然语言处理论文速览 Thu, 7 Mar 2024 Totally 52 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers The Heuristic Core: Understanding Subnetwork Generalization in Pretrained Language Models Authors Adithya Bhaskar, Dan Friedman, Danqi

TomRen 3255

2 硬件工程师笔面试高频知识考点真题解析——电容

本文全面解析了电容在电子电路中的关键应用与技术要点。主要内容包括:1. 电容选型核心要素:介质材质(陶瓷/电解/钽电容等)、容值精度、耐压等级、温度特性、ESR参数等,不同应用场景(滤波/去耦/谐振等)的选型策略。2. 典型电路应用原理:详细阐述去耦电容布局规则、晶振负载电容作用、共射放大电路旁路电容功能,以及RC电路的滤波/定时等应用。3. 特殊问题解决方案:MLCC啸叫机理与对策、寄生电容影响与消除、高速信号线电容使用禁忌等工程实践难题。4. 安全规范要点:X/Y电容的区别与选用、电解/钽电容防反接措施

XU157303764的博客 1567

LVGL 拨盘菜单(Dial Menu)

h。

摸鱼专家 196

GPT横空出世,开山论文:通过生成式预训练(GPT)提升语言理解能力

GPT-1论文提出了"无监督预训练+有监督微调"的创新范式,通过Transformer架构在大型文本语料上进行预训练,再针对具体任务微调。该方法在12个NLP任务中的9个刷新了SOTA成绩,包括常识推理(提升8.9%)、问答(提升5.7%)等任务。研究表明:(1)预训练模型能学习到可迁移的高层语言表示;(2)辅助语言模型目标能提升微调效果;(3)Transformer高层特征具有最佳迁移能力。该工作为后续大语言模型发展奠定了基础,并初步展现了零样本学习潜力。

lihao2372的专栏 228

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

RPT:拿强化学习做 LLM 预训练

结合预训练的规模优势与强化学习的决策优势

qq_36671160的博客 959

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

BERT:用于语言理解的深度双向 Transformer 预训练

Abstract摘要我们提出了一种新的语言表示模型,称为 BERT,即来自Transformer的双向编码器表示。与近期的语言表示模型(Peters et al., 2018a;Radford et al., 2018)不同,BERT 旨在通过在所有层中联合利用左右上下文,从无标注文本中预训练深度双向表示。因此,只需添加一个额外的输出层,即可对预训练的BERT模型进行微调,从而为包括问答和语言Inference在内的广泛任务创建最先进的模型,而无需对特定任务的架构进行实质性修改。

u013250861的博客 127

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

CV最新论文|3月26日 arXiv更新论文合集

计算机视觉

2686
上一篇: 1.8W字MySQL超全笔面试题(含答案) 5月最新整理 .NET开发者必看
下一篇: 大一的时候因为听了学长的这些建议,毕业后我直接拿到了奇安信年薪20W的offer......
AI小模型
博客等级 码龄6年 6863粉丝 487原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI小模型

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值