阅读笔记 | REFORMER: THE EFFICIENT TRANSFORMER

已于 2024-03-03 15:04:07 修改
阅读量1.1k 收藏 19
点赞数 23
分类专栏： # 笔记 Transformer时序建模 文章标签： 笔记 transformer 深度学习
于 2024-03-03 14:58:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43114076/article/details/136431957
版权
论文介绍了一种名为Reformer的Transformer变体，通过使用LSH和可逆残差网络降低长序列任务中的计算与内存负担。实验结果显示，Reformer在保持模型性能的同时，显著提高了处理长序列的能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

阅读论文：

Kitaev, Nikita, Łukasz Kaiser, and Anselm Levskaya. “Reformer: The efficient transformer.” arXiv preprint arXiv:2001.04451 (2020).

背景与动机

这篇论文发表较早，主要关注Transformer的效率问题。标准的Transformer模型在许多自然语言处理任务上取得了最先进的结果，但它在长序列上的训练和推理代价非常大。主要的计算和内存瓶颈在于自注意力机制中的点积注意力，其复杂度为 O ( L 2 ) \Omicron(L^2) O(L

最低0.47元/天 解锁文章
Attention Is All You Need论文解析之七——reformer模型
AI天才研究院
08-30 650
作者：禅与计算机程序设计艺术 1.简介 自从Transformer问世之后，基于Transformer结构的模型层出不穷，经典的Transformer结构如BERT、GPT-2等都在越来越多地应用到各个领域中。但是随着深度学习的兴起，计算性能的提升带来了新的挑战，Transformer结构对于大规模并行
[论文笔记]ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING(下)
日积月累，天道酬勤
04-13 616
该论文提出了旋转位置编码，是后续很多大模型默认的编码方式。
Reformer: The Efficient Transformer
hecongqing的博客
02-24 1652
作者：光彩照人学校：北京邮电大学研究方向：自然语言处理，精准营销，风险控制一、背景与算法介绍　　Transformer结构被广泛应用与自然语言处理中，并且在许多任务上都产生了当前最好的...
LiteratureReading:[2022] Reformer: The Efficient Transformer
最新发布
有朋自远方来，不亦乐乎。
03-21 713
所属机构：加州大学伯克利分校（U.C. Berkeley）和谷歌研究（Google Research）。电子邮件：kitaev@cs.berkeley.edu所属机构：谷歌研究（Google Research）。电子邮件：lukaszkaiser@google.com所属机构：谷歌研究（Google Research）。电子邮件：levskaya@google.com大型Transformer模型在许多任务上通常能够达到最先进的结果，但训练这些模型可能非常昂贵，尤其是在处理长序列时。
论文阅读笔记-Reformer: The Efficient Transformer
mohen_777的博客
10-09 729
原始Transformer结构提出后，其中的Attention的L2计算复杂度以及整体模型的计算内存空间占用一直都是优化的一个方向。本篇文章提出的Reformer模型，通过改进Attention方式、可逆层等，来优化计算复杂度和内存空间。
图解 Reformer: The efficient Transformer
weixin_37179744的博客
02-09 3895
目录????图解 Reformer: The efficient TransformerWhy Transformer?What’s missing from the Transformer????? Problem 1 (Red ????): Attention computation???? Problem 2 (Black ????): Large number of layers???? Problem 3 (Green ...
《论文阅读》REFORMER: THE EFFICIENT TRANSFORMER
未知丶的博客
03-10 1188
留个笔记自用 REFORMER: THE EFFICIENT TRANSFORMER 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 众所周知的大型transformer这种东西很费
阅读笔记 | Informer: Beyond efficient transformer for long sequence time-series forecasting
一颗蚂蚱
03-04 1087
与Autoformer和FEDformer等相似，Informer算是较早的一篇致力于将Transformer应用于长期时序预测的论文。本文同样着眼于解决原始Transformer的计算和存储复杂度问题，不同的是还注意到了原始Encoder-Decoder结构中，Decoder结构导致的step-by-step的生成方式带来的低效问题。文章发现并非所有时点的数据都与其他时点有很强的相关性，因此希望利用这种性质减少注意力计算。本文模型依旧是Encoder-Decoder结构，其中Encoder同样是多层结构，
论文阅读笔记 - Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
mohen_777的博客
10-11 820
在开始之前，先来感受一下LSTM在长序列中的一个例子的实验结果：随着数据量的增加，很明显LSTF的主要挑战是增强预测能力以满足日益增长的序列需求，即要求模型具有出色的long-range对齐能力对长序列输入和输出的有效操作Transformer的出现，由于其自注意力机制可以减少网络信号传播路径的最大长度至理论最短O1O(1)O1，从而是Transformer表现出了解决LSTF问题的巨大潜力。
顶会速递 | ICLR 2020录用论文全集
热门推荐
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
Reformer: The Efficient Transformer（2020-1-13）
weixin_49346755的博客
10-10 674
现如今NLP领域的预训练模型实在是太大了，从最开始的显存装不下，到内存装不下，再到如今的硬盘装不下，让多少人望而却步，大模型就非得这么耗存储吗？有没有优化手段呢？针对长序列的Transformer训练问题，Reformer给出了一种存储极致压缩的方案。使用Axial Positional Embedding来减小位置编码矩阵提出了基于局部敏感性哈希算法(Locality Sensitive Hashing, LSH)的self-attention机制。
ReFormer论文解读（THE EFFICIENT TRANSFORMER）
习惯与规则决定命运
09-12 3144
ReFormer论文解读（THE EFFICIENT TRANSFORMER） Reformer要解决的问题 attention的内存、计算复杂度是文本长度L的平方复杂度即O(L* L)（self-attention每个位置都要看整句的其他每个位置）, 这在超长文本时（比如文章）是不可接受的。传统transformer一般是按512长度分块，这样损失了块与块之间的互信息。 原生transformer训练是需要的内存是层数的倍数（因为反向传播是需要存储每层的结果来求误差的梯度）。 feed-forward层
Reformer: 高效的Transformer
Oner.wv的专栏
01-21 569
作者：Nikita Kitaev,Łukasz Kaiser编译：ronghuaiyang导读来自Google AI的最新的进展。理解序列数据 —— 如语言、音乐或视频 —— 是一项具...
ICLR2020论文阅读笔记reformer: THE EFFICIENT TRANSFORMER
ljp1919的专栏
05-11 1659
0. 背景 机构：Google Research 、U.C. Berkeley 作者：Nikita Kitaev、Łukasz Kaiser、Anselm Levskaya 论文地址：https://arxiv.org/abs/2001.04451 收录会议：ICLR2020 论文代码：https://github.com/google/trax/tree/master/trax/models/reformer 0.1 摘要 基于Transformer的各种巨型模型在各种自然语言处理任务中常常能够取得最优结
transformer论文解读_ReFormer论文解读（THE EFFICIENT TRANSFORMER）
weixin_33504324的博客
01-13 897
本文带来各类奇怪的IT百科知识。文章目录Reformer要解决的问题Reformer怎么解决以上三个问题Reformer时间、空间复杂度汇总我们接下来详解以上三个改进一. hash近似Attention二. 可逆网络三. 可逆网络分块四. 总结一下：Reformer确实在内存、性能优化方面明显改进：提出或借鉴的方法比较有意思。如有不对地方：欢迎指出：谢谢。参考链接：论文：https://arxiv...
9种高效提速的transformer魔改版本
学姐带你玩AI的博客
11-14 1173
Transformer目前已经成为人工智能领域的主流模型，应用非常广泛。然而Transformer中注意力机制计算代价较高，随着序列长度的增加，这个计算量还会持续上升。为了解决这个问题，业内出现了许多Transformer的魔改工作，以优化Transformer的运行效率。我这次就给大家分享9篇对Transformer模型进行效率优化的改进文章，以方便大家更高效地使用模型，寻找论文创新点。
Reformer模型详解
m0_51200050的博客
06-17 1484
Reformer模型
图解Reformer：一种高效的Transformer
AI公园
03-09 7643
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Alireza Dirafzoon编译：ronghuaiyang导读在单GPU上就可以运行的Transformer模型，而...
对Reformer的深入解读
AI公园
03-23 991
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Madison May编译：ronghuaiyang导读Reformer之前已经提过几次...
高效变压器模型Reformer：NLP阅读笔记
资源摘要信息:"本文件是一篇关于自然语言处理（NLP）领域内的阅读笔记，重点关注了名为“Reformer”的新型转换器模型。该模型被设计以解决传统Transformer模型在处理长序列数据时的效率问题。笔记概述了模型的两个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一条独龙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值