Raki的读paper小记：BART

最新推荐文章于 2023-07-24 01:32:49 发布
最新推荐文章于 2023-07-24 01:32:49 发布
阅读量413 收藏
点赞数
分类专栏： NLP 读paper 文章标签： 深度学习 人工智能 自然语言处理 transformer 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Raki_J/article/details/128678735
版权

Abstract&Introduction&Related Work

  • 研究任务
    预训练语言模型
  • 已有方法和相关工作
    BERT等
  • 面临挑战
    已有的方法依赖下游任务
  • 创新思路
    • 融合了双向和自回归模型
    • 随机打乱原始句子的顺序，并同时使用一种novel的填空方案，文本的span只用一个masked token置换，取得了最好的效果
  • 实验结论

在预训练阶段，encoder类似bert，decoder类似gpt，一个双向一个自回归

在fine-tune阶段，未被破坏的文本被同时输入到encoder和decoder，用decoder的最后隐藏层作为表示

这种设置的一个关键优势是去噪的灵活性；可以对原始文本进行任意的转换，包括改变其长度
在这里插入图片描述

BART

使用跟transformer一样的结构，区别有两点：

  1. decoder的每一层都跟最后一层隐藏层做交叉注意力
  2. 没有像BERT一样在词预测前设置的一个全连接层
  3. 比同层数BERT多10%的参数

decoder的输出和原文本做交叉熵损失，BART允许所有类型的文本破坏

如图：

text infilling受到spanBERT的启发，但是spanBERT用等长的『MASK』

最低0.47元/天 解锁文章
如何从大型模型（BART）fine tune一个小模型及代码实现
weixin_43718786的博客
05-19 6879
本文目的是从上游大型模型进行知识蒸馏以应用于下游自动摘要任务，主要总结了自动摘要目前面临的难题，BART模型的原理，与fine tune 模型的原理。对模型fine tune部分进行了代码复现，通过fine tune使得student模型能够在一块8G显存的GPU上进行训练。
bart 生成mask (python)
weixin_41983807的博客
03-01 1211
import sys import os os.environ['TOOLBOX_PATH'] = '/home/txx/program/software/bart-0.4.04' sys.path.append('/home/txx/program/software/bart-0.4.04/python') import numpy as np import h5py import time ...
BART模型和 Electra模型对比
xiaziqiqi的博客
07-23 363
本文主要是对比BART和Electra模型的实验结果，具体中有说明BART模型的特点和Electra模型的特点
BART模型
qq_15821487的博客
08-18 1985
文本填充：采样多个文本段，文本段长度取决于泊松分布 (λ = 3)。用单个掩码 token 替换每个文本段。长度为 0 的文本段对应掩码 token 的插入。 句子排列变换：按句号将文档分割成多个句子，然后以随机顺序打乱这些句子。 文档旋转：随机均匀地选择 token，旋转文档使文档从该 token 开始。该任务的目的是训练模型识别文档开头。 BART模型其实就是transformer的架构，只是有不同的预训练构造方式而已 ...
ACL2020论文阅读笔记：BART
ljp1919的专栏
09-26 3788
背景 题目： BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 机构：Facebook AI 作者：Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, Luke Zettlem
Raki的读paper小记：Kernel Continual Learning
Raki_J的博客
04-09 597
Abstract & Introduction & Related Work 研究任务 持续学习 已有方法和相关工作 面临挑战 创新思路 部署了一个外显记忆单元，为每个任务存储一个子储存每个任务的子样本集，以学习特定任务的 基于核岭回归的分类器 不需要记忆重放，而且系统性地避免了分类器的任务干扰 我们进一步引入变分随机特征，来为每个任务学习一个数据驱动的内核，为此，我们将核持续学习表述为一个变分推理问题，其中随机傅里叶基被纳入为隐变量 实验结论 随机傅里叶基础上的变分后验分布是从每
Raki的读paper小记：DualNet: Continual Learning, Fast and Slow
Raki_J的博客
04-09 3318
Abstract & Introduction & Related Work 研究任务 持续学习 已有方法和相关工作 面临挑战 虽然无监督和元训练在简单的数据集如MNIST和Omniglot上显示出比较好的结果，但它们缺乏对现实世界基准的扩展性。相比之下，我们的DualNet将表征学习解耦到慢速学习器中，通过与监督学习阶段的同步训练，在实践中是可以扩展的。此外，我们的工作将自我监督的表征学习纳入持续的学习过程中，不需要任何预训练步骤 创新思路 提出了DualNet，其中包括一个快速
Raki的读paper小记：Style Transformer
Raki_J的博客
01-16 819
摘要与总结 将内容和风格在隐空间解耦在不成对文本风格迁移的是非常流行的，然而现在的模型不太行，主要体现在两点： 模型 Z是经过编码后的文本表示，S是style embedding Discriminator Network 因为缺少平行语料，没法直接获得风格不为S的迁移后的监督文本，本文提出一种判别网络来从非平行预料中学习到这种监督 为了更好的保存内容，训练一个网络，用文本为X，风格不为S的样本去迁移到风格为S的文本 为了风格控制，训练一个判别网咯来辅助style transformer更好的控制生成文
Raki的读paper小记：Retentive Network: A Successor to Transformer for Large Language Models
最新发布
Raki_J的博客
07-24 638
RetNet = linear attention + rope + 显式衰减（即 $\gamma$）
【文本标注】文本标注工具brat的使用
热门推荐
guofei_fly的博客
01-30 1万+
brat是linux下的一款应用于webserver端的文本标注工具，可用于标注如下类型信息： （1）实体：命名实体，可用于NER； （2）关系：实体间关系，可用于关系抽取； （3）事件：实体参与的事件； （4）属性：事件或实体的属性，常用于知识图谱。 本文将依次介绍brat的安装、配置和基本使用。 1. brat的安装 1.1 基本环境配置 【系统环境】 brat只能用于linux下，若为win...
论文阅读：BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation,
Hero19980512的博客
04-28 1272
论文阅读：BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 来源：ACL 2020 下载地址：https://aclanthology.org/2020.acl-main.703.pdf Abstract 我们提出了 BART，一种用于预训练序列到序列模型的去噪自动编码器。 BART 通过以下方式进行训练：(1) 使用任意噪声函数破
一文了解TextCNN文本分类
hecongqing的博客
02-25 925
在之前的文章中，我介绍了撩一发深度文本分类之RNN via Attention，解决有毒评论文本分类问题。然而，在工业界，RNN、LSTM、GRU等循环神经网络不能并行计算，尽管研究者提...
在文本分类和ner领域的基于prompting的论文解读
samoyan的博客,记录技术成长~
01-17 626
1、pet(pattern exploit training) Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference classification_pet_seq2seq: toolkit4nlp/classification_pet_seq2seq.py at master · xv44586/toolkit4nlp · GitHub classification_tnew
【自动文摘】BART实现finetune及evaluate
Cece11011的博客
03-07 1697
BART介绍 最近在看自动文摘相关的预训练模型。
Bart模型应用实例及解析（二）————基于泰坦尼克号数据集的分类模型
丢掉幻想；准备斗争的博客
04-29 1807
Bart模型应用实例及解析（一）————基于波士顿房价数据集的回归模型前言一、数据集1、数据集的获取2、数据集变量名及意义二、完整代码三、代码运行结果及解析1.数据描述性分析2.建立Bart模型以及分析3.变量选择4.各模型效果对比特别声明 前言 这里是在实战中使用Bart模型对数据进行建模及分析，如果有读者对如何建模以及建模函数的参数不了解，对建模后的结果里的参数不清楚的话，可以参考学习作者前面两篇文章内容。以便更好地理解模型、建模过程及思想。 R bartMachine包内bartMachine函数参数
【论文阅读笔记】BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translati
baweikamisama的博客
01-12 730
BART:去噪序列到序列的预训练自然语言生成、翻译和理解
【论文精度】生成式预训练模型——BART（Bidirectional and Auto-Regressive Transformers）
weixin_45828972的博客
12-17 6540
​ BART是一个预训练的seq2seq的去噪自编码（denoising autoencoder）模型，BART以下方式进行训练①用任意的噪声函数(noising function)去破坏文本；②学习一个模型来重建原始文本。它使用一个标准的基于transformer的神经机器翻译架构，可以看作是BERT（双向编码器）、GPT（left-to-right解码器）以及其他预训练方案的推广。
BART原理简介与代码实战
Kaiyuan_sjtu的博客
03-27 1万+
写在前面 最近huggingface的transformer库，增加了BART模型，Bart是该库中最早的Seq2Seq模型之一，在文本生成任务，例如抽象总结方面达到了SOTA的结果。 本次放出了三组不同的预训练权重： bart-large：基础预训练模型； bart-large-cnn：基础模型在 CNN/Daily Mail Abstractive Summarization Task微调...
NLP实践系列：10、最强NLP模型：BERT
suifeng2018的专栏
03-23 1964
导论： 2018年NPL领域，很不凡，二月出了 ELMo，六月出了 OpenAI Transformer，十月又出了BERT，模型一个比一个强大，性能也是越加优良，最为目前特别亮眼的Bert模型，被称为最强NPL模型，究竟有何特别之处呢？他是有何而来的？接下来我们来探讨一下。 1. Transformer的原理。 自从google推出word2vec，传统的基于统计学的语言处理模型与基于神经网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值