Re26：读论文 Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks

原创 已于 2022-08-22 20:31:01 修改 · 936 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #NLP #自然语言处理 #预训练 #RoBERTa

于 2022-08-22 19:55:37 首次发布
该博客探讨了2020年ACL论文的研究成果，指出在专业领域上继续预训练通用语言模型（如RoBERTa）能提升性能。论文提出了域适应预训练（DAPT）和任务适应预训练（TAPT）的概念，并通过实验展示了多阶段适应预训练的有效性。DAPT在不相似领域的潜力更大，而TAPT则是在特定任务无标签数据上的预训练，用于防止灾难性遗忘。此外，数据增强策略也在任务语料中得到应用。博客还讨论了预训练资源有限时的数据选择策略和轻量级模型VAMPIRE。

诸神缄默不语-个人优快云博文目录

论文名称：Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
（不要停下来啊！）
论文ACL官方下载地址：https://aclanthology.org/2020.acl-main.740/（包含ACL官方讲解视频，本博文中非论文配图都来自此视频）
官方GitHub项目：allenai/dont-stop-pretraining: Code associated with the Don’t Stop Pretraining ACL 2020 paper

本文是2020年ACL论文，主要的发现是：在通用域预训练模型在专业领域上，如果再进一步进行预训练，效果会更好。（现在听起来挺常识的）
在特定域上再一次预训练：domain-adaptive pretraining DAPT
用指定任务（本文中是分类任务）的无标签数据（从task distribution中drawn）上再一次预训练：task-adaptive pretraining TAPT
在任务语料上使用简单的数据选择策略来进行数据增强是有效的，尤其在domain-adaptive预训练资源难以获取的情况下。
整体上，multiphase adaptive pretraining可以提供很大的任务效果提升。

文章目录

1. Background & Motivation

在这里插入图片描述

在这里插入图片描述

本文想要证明：任务的textual domain仍然有效。
现存工作大多仅在一个领域、用多样性比预训练模型更弱的语料微调一次，而连续预训练的优势是否与可获得有标签任务数据、目标域和原始预训练语料域的相似性等元素有关，扔待探究。

在这里插入图片描述
本文主要研究RoBERTa在非预训练语料域上的分类任务表现在连续预训练之下的影响。

2. DAPT

在这里插入图片描述

2.1 数据集和实验

在这里插入图片描述

在这里插入图片描述

baseline：直接在每个分类任务上finetune

在这里插入图片描述

在这里插入图片描述

2.2 分析域相似性

在海量的域测试集文本上一万个最常见的unigram（去掉停用词）
在这里插入图片描述
DAPT在不相似域上潜力更大。

在这里插入图片描述

3. TAPT

在这里插入图片描述

在这里插入图片描述在这里插入图片描述

跨域DAPT+TAPT灾难性遗忘问题（说明了通用预训练模型的不足，DAPT和TAPT的必要性）：
在这里插入图片描述

在这里插入图片描述

三阶段预训练：
在这里插入图片描述

在这里插入图片描述

4. TAPT训练集数据增强

  1. 用human-curated corpus中抽取的大量无标签数据
  2. 在没有human-curated corpus的任务下，检索无标签领域语料中的TAPT相关数据

在这里插入图片描述

VAMPIRE：轻量BOW语言模型
在这里插入图片描述

在这里插入图片描述

0

5. 参考文献

同一任务训练集和测试集分布的domain shift

其他细节略。

在这里插入图片描述

6. 代码复现

我觉得这个代码我复现不了……太金钱游戏了……

【论文笔记】Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
BodyCsoulN的博客
11-10 1202
原文作者：Suchin Gururangan，Ana Marasović，Swabha Swayamdipta，Kyle Lo，Iz Beltagy，Doug Downey，Noah A. Smith 原文标题：Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks 原文来源：ACL2020 原文链接：https://www.aclweb.org/anthology/2020.acl-main.740.pdf Don’t Stop
论文阅读——Don‘t Stop Pretraining: Adapt Language Models to Domains and Tasks
SimonSmile的博客
10-13 3984
文章链接：https://www.aclweb.org/anthology/2020.acl-main.740.pdf 背景：预训练 在正式开始阅读论文之前，我们必须要理解nlp中语言模型的“预训练(pretraining)”。 我们知道，文本是不能直接输入神经网络的，因此需要找到关于文本的合理的数学表示方法，能将文本映射为向量，这些向量应该要包含文本的语法和语义信息，然后再将这些向量输入到下游任务的神经网络中进行训练。 因此，从2018年开始（这个时间点是论文里说的...），nlp的模型训练.
ACL20 - Don‘t stop pretraining: adapt language models to domains and tasks
ywm_up
12-28 914
Gururangan S, Marasović A, Swayamdipta S, et al. Don’t stop pretraining: adapt language models to domains and tasks[J]. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. (ACL 2020). Github：https://github.com/allena
Don‘t Stop Pretraining: Adapt Language Models to Domains and Tasks
Jeaksun的博客
07-26 712
现有的语言模型大多是在大量且广泛的文本数据上训练而成的。作者思考有没有必要将模型迁移到特定目标任务领域上。作者在4个领域上的8个分类任务，将已经在大量且广泛文本上预训练过的模型进行第二阶段的预训练，作者分别在领域数据、任务数据、增强的任务数据进行了试验，即用这些数据对模型进行第二阶段的预训练，然后再用经过两个预训练阶段后得到的模型生成的数据做分类任务。试验结果表明，不要停止预训练，对于特定的任务，完全可以用任务相关的数据在对语言模型做第二次预训练，能大大提高模型性能。...
【论文泛读】Don‘t Stop Pretraining: Adapt Language Models to Domains and Tasks
⛄
03-27 658
背景（nlp中语言模型的“预训练(pretraining)”） ==解决问题== ==解决对策== ==未来的研究方向==
NLP：继续预训练 Don’t Stop Pretraining.pdf
04-21
本文“Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks”深入探讨了预训练模型在特定领域和任务上的适应性，并提出了两个关键的概念：领域适应性预训练（DAP）和任务适应性预训练（TAP）。...
精选资源
dont-stop-pretraining:与``不要停止预培训ACL 2020''论文相关的代码
03-20
title = { Don't Stop Pretraining: Adapt Language Models to Domains and Tasks } , year = { 2020 } , booktitle = { Proceedings of ACL } , } 安装 conda env create -f environment.yml co
Don't stop pretraining，继续预训练！
Kaiyuan_sjtu的博客
10-10 1782
作者|周俊贤整理|NewBeeNLP大家在用BERT等预训练模型的时候，是否有根据具体的下游任务，再进行领域的预训练？可能很多朋友是直接进行fine tuning的，毕...
active directory domain services自动停止_ACL2020 Best Paper提名奖：不要停止预训练！
weixin_33224795的博客
12-05 274
在昨晚23点的best paper典礼上我惊了，这篇看似标题党的论文获得了今年ACL2020 best paper荣誉提名！PS：今年一共只有2篇最佳论文提名，完整获奖名单戳这里。我的这篇专栏文章完成于6月22日，没想到居然获得最佳论文提名了（意外～）！回想当初写这篇文章的初衷，大概是这个paper比较轻松、直抒胸臆吧～，同时在做医疗NLP任务的时候，发现BERT在自己的大量医疗语料中继续预训练，...
ACL20 best paper荣誉提名 | DO NOT STOP Pre-training！
夕小瑶科技说
07-09 1285
星标/置顶小屋，带你解锁最萌最前沿的NLP、搜索与推荐技术文 |JayLou娄杰（NLP算法工程师，信息抽取方向）编 | 可盐可甜兔子酱在昨晚23点的best paper典礼上我惊了...
Global or Local Adaptation? Client-Sampled Federated Meta-Learning for Personalized IoT Intrusion De
最新发布
qq_27789905的博客
03-19 1391
Haorui Yan, Xi Lin ​® , Member, IEEE, Shenghong Li ​® , Senior Member; IEEE, Hao Peng ​® , and Bo ZhangAbstract：With the increasing size of Internet of Things (IoT) devices, cyber threats to IoT systems have increased. Federated learning (FL) has been impl
【数据集资源】大数据资源-数据集下载方法-汇总
A-Itfuture的博客
10-20 5227
数据集中的评价对象按照粒度不同划分为两个层次，层次一为粗粒度的评价对象，例如评论文本中涉及的服务、位置等要素；深证创业板日线数据，截止 2017.05.05，原始价、前复权价、后复权价，636支股票http://dataju.cn/Dataju/web/datasetInstanceDetail/343。深证主板日线数据，截止 2017.05.05，原始价、前复权价、后复权价，466支股票http://dataju.cn/Dataju/web/datasetInstanceDetail/341。
DAPT: Distribution-Aware Prompt Tuning for Vision-Language Models
weixin_50917576的博客
10-25 990
通过利用从大数据中学习到的知识，预训练的视觉语言模型(VLMs)在各种下游任务中表现出令人印象深刻的性能。通常，通过提示调优，可以进一步提高VLM在目标任务上的性能，这可以为输入图像或文本添加上下文。通过利用目标任务的数据，文献中研究了各种提示调优方法。提示调整的关键是通过固定模型参数的可学习向量在两个模态之间进行特征空间对齐。我们观察到，当每个模态的嵌入在潜在空间中“排列良好”时，对齐变得更加有效。受这一观察结果的启发，我们提出了用于视觉语言模型的分布感知提示调优(DAPT)，该方法简单而有效。
ACL2020 奇葩论文标题大赏
夕小瑶科技说
07-17 886
星标/置顶小屋，带你解锁最萌最前沿的NLP、搜索与推荐技术文 |灵魂写手rumor酱编 | 不拖更的夕小瑶又是一年一度的ACL，之前通过卖萌屋Arxiv服务已经零零碎碎看了一些，还是...
拒绝无脑吹！从ACL20看预训练缺陷
夕小瑶科技说
08-04 1075
星标/置顶小屋，带你解锁最萌最前沿的NLP、搜索与推荐技术文 | 舒意恒、兔子酱以 BERT 为代表作的预训练模型的研究热度一直很高，到 0202 年了，预训练的研究依旧层出不穷，而且 ...
【NLP】Pytorch中文语言模型bert预训练代码
fengdu78的博客
07-22 4976
ACL2020 Best Paper有一篇论文提名奖，《Don’t Stop Pretraining: Adapt Language Models to Domains and Task...
[深度学习] 自然语言处理 --- Huggingface-Pytorch中文语言Bert模型预训练
热门推荐
摩登都市天空---专栏
07-23 1万+
CL2020 Best Paper有一篇论文提名奖，《Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks》。这篇论文做了很多语言模型预训练的实验，系统的分析了语言模型预训练对子任务的效果提升情况。有几个主要结论： 在目标领域的数据集上继续预训练（DAPT）可以提升效果；目标领域的语料与RoBERTa的原始预训练语料越不相关，DAPT效果则提升更明显。 在具体任务的数据集上继续预训练（TAPT）可以十分“廉价”地
2021秋招-机器阅读理解整理
LBJ_King的博客
07-09 4900
机器阅读理解整理 经典模型整理 笔记 后Bert时代机器阅读理解 后续 自己论文整理 已经分类整 大的实验室: UCL MRC_Group: AI2: 微软: THU: PKU: 数据集文章 ROPES | Reasoning Over Paragraph Effects in Situations arXiv: https://arxiv.org/abs/1908.05852 Leadboard: https://leaderboard.allenai.org/ropes Note L
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值