Transformer系列论文总结

最新推荐文章于 2024-06-11 09:30:20 发布
最新推荐文章于 2024-06-11 09:30:20 发布
阅读量1k 收藏
点赞数
分类专栏： Transformer 文章标签： 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lizy_fish/article/details/118162150
版权

专栏背景

最近的Transformer文章特别的火，朋友圈每几天就有相关的新论文，号称要替换CNN的框架。作为一个AI的工程师，觉得需要把这些比较经典的论文都研究下，所以开设了这个专栏，记录下过程的想法。

【大模型系列篇】论文解读：Transformer - Attention Is All You Need
木亦汐丫
08-09 1398
当今大模型初学者必读的一篇论文，已经有不少业内大佬都翻译解读过这篇论文，此处仅作为自己学习的记录。该论文是由谷歌机器翻译团队于2017年发表在NIPS ，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为Encoder-Decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。
51-6 Vision Transformer ，ViT 论文精读
AIgraphX
01-09 1785
ViT取代了CNN，打通了CV和NLP之间的鸿沟，而且挖了一个更大的多模态的坑。ViT未来有可能真就是一个简洁、高效、通用的视觉骨干网络，而且可以完全不用任何标注信息。当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果。
14篇最新Transformer热门论文！涵盖注意力机制、架构改进、适用性扩展等
2401_82426425的博客
01-31 6841
实验表明，M2在非因果BERT风格语言建模、ViT风格图像分类和因果GPT风格语言建模中表现出色，与BERT-base和BERT-large在GLUE质量上相匹配，参数最多减少27%，在ImageNet上精度提高，同时在The PILE的预训练困惑中以360M参数匹配GPT风格的Transformers，表明了在缺乏注意力或MLP的情况下匹配Transformer质量的可能性。通过分析线性注意力的局限性，研究人员引入了映射函数和秩恢复模块，增强了自我注意力的表现力，同时保持较低的计算复杂度。
Transformer相关论文与知识总结
qq_42820467的博客
03-06 535
attention seq2seq-models-with-attention https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Transformer在视觉领域的应用 https://www.cnblogs.com/ziyuzhu-edward/p/14132194.html transformer模型结构 http://jalammar
读论文——Transform
y1040468929的博客
11-19 1469
第一遍 题目：Attention is all you need 作者：Ashish Vaswani 谷歌大脑实验室 摘要： 提出一个纯使用注意力机制的编码-解码器 优点：机器翻译任务上，模型具有更好的表现，且训练时间更短（并行能力强） Transformer成功用于英语的constituency parsing 结论： 展望：使用局部的受限自注意力机制去处理图片、语音和视频 第二遍 重要的图和表 图1 模型结构 主要由编码器和解码器组成， 图 2. 按比例点乘注意力模块 注意
transformer系列论文-Sliced Recursive Transformer
dear_queen的博客
10-13 621
我们发现，对于以分层方式学习视觉数据上更好的表示是非常重要的，正如我们将在实验的图10中介绍的那样。此外，即使是最简单的递归操作，也可以提高利用参数的紧凑性，而无需修改变压器块结构，这与其他 [50、61、24、55、57、37、31、59] 不同，它们会添加更多参数或涉及来自输入的其他细粒度信息 [19]。，并提出了用于降低递归运算复杂性的自我注意方法的近似方法。-我们研究了在视觉变压器中利用切片组自我注意来利用递归操作的可行性，这是建立有效变压器的有希望的方向，并且以前尚未得到很好的探索。
【论文精读】Transformer
weixin_44934783的博客
02-07 2155
transformer
Transformer系列论文阅读
Mi_Hao_YOUNG的博客
05-14 5248
这是博主在五一期间对Transformer几篇相关论文阅读的小笔记和总结 也借鉴参考了很多大佬的优秀文章，链接贴在文章下方，推荐大家前去阅读 该文章只是简单叙述几个Transformer模型的基本框架，对其详细信息（如实验情况等）请阅读论文或点击下方对应文章链接前往阅读 阅读论文 A Survey on Visual Transformer[1] Transformers in Vision: A Survey[2] An Image Is Worth 16X16 Words: Transformers f
Transformer论文
LQX2018212700的博客
09-22 205
Attention is All You Need》论文精读，此论文提出了transformer模型《Attention is All You Need》论文精读，此论文提出了transformer模型论文地址：https://arxiv.org/abs/1706.03762知乎：https://zhuanlan.zhihu.com/p/338817680。
Transformer解读（论文 + PyTorch源码）
热门推荐
Magical_Bubble的博客
04-08 4万+
2017年6月，Google发布了一篇论文《Attention is All You Need》，提出了Transformer模型。正如论文的名称所说，其旨在全部利用Attention方式来替代掉RNN的循环机制，从而能并行化计算并实现提速。同时，在特定的任务上，这个模型也超过了当时Google神经机器翻译模型。笔者主要阅读了论文及两篇博客（链接见文末的传送门），这里主要是对这些内容做一个整合和提炼~
Transformer 系列训练库代码 mmcv-1.2.7
02-25
**Transformer系列训练库代码mmcv-1.2.7详解** `mmcv`是一个高性能的计算机视觉基础库，尤其在深度学习领域，它为Transformer模型的训练提供了强大的支持。Transformer模型，由Vaswani等人在2017年的论文...
【论文解读】transformer小目标检测综述
INTSIG的博客
02-22 3609
本综述论文回顾了60多篇研究论文，专注于开发小目标检测任务的transformer，包括纯基于transformer和集成cnn的混合技术。这些技术已经从七个不同的角度进行了研究：目标表示、用于高分辨率或多尺度特征图的快速注意机制、架构和块的修改、时空信息、改进的特征表示、辅助技术和完全基于transformer的检测。这些类别都包括几种最先进的（SOTA）技术，每一种都有自己的优点。
[论文阅读]（Transformer系列）
weixin_38800498的博客
05-07 2578
文章目录一.Video Transformer Network摘要引言相关工作：Applying Transformers on long sequencesVideo Transformer NetworkSpatial backboneTemporal attention-based encoderClassification MLP headLooking beyond a short clip contextVideo Action Recognition with VTNImplementatio
Transformer原版论文译文完整版
weixin_53682179的博客
11-01 4527
主要序列转导模型基于包含编码器和解码器的复杂循环或卷积神经网络。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构，Transformer，仅基于注意力机制，完全无需递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更好，同时可并行化且训练时间显着减少。我们的模型在 WMT 2014英语到德语的翻译任务上实现了28.4BLEU，比现有的最佳结果（包括集成）提高了2BLEU 以上。
transformer论文_EMNLP2020 | 近期必读Transformer精选论文
weixin_35618325的博客
02-02 1072
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。A...
Transformer论文理解
Rising_shit的博客
06-19 954
Transformer论文理解 文章目录Transformer论文理解一、背景二、模型结构2.1 Input Embedding2.2 Positional Encoding2.3 Encoder层2.3.1 Multi-Head Attention2.3.2 Add & Norm2.3.3 Feed Forward2.3.4 Add & Norm2.4 Output Embedding & Positional Encoding2.5 Decoder2.5.1 Masked Mul
Transformer论文解读
最新发布
xian0710830114的专栏
06-11 3617
Transformer有多牛逼不用多说，时隔7年我们再来看看论文原文，看看这篇深刻改变世界的文章都说了什么。当然逐字逐句解读已经意义不大，我们只列考点。
Transformer论文解读一（Transformer）
蓝鲸鱼的博客
11-01 8168
最近Transformer在CV领域很火，Transformer是2017年Google发表的Attention Is All Y ou Need，主要是针对自然语言处理领域提出的。本系列文章介绍Transformer及其在各种领域引申出的应用。 自我注意(Self-attention)，有时也称为内部注意(intra-attention)，是一种将单个序列的不同位置联系起来，以计算该序列的表示的注意机制。Transformer是第一个完全依靠自我注意来计算其输入和输出的表示，而不使用RNN的模型。 论文指
一文读懂transformer(CV专享)
CV技术指南（微信公众号）
12-21 2736
导言： transformer在这两年大火，CV界广泛应用transformer模型，充分吸收其idea到自己的领域。考虑到transformer本是应用于NLP的论文，其中很多内容都形成了共识，因此在论文中并未提及，就好像CV中论文提到图像预处理使用center crop , color jitter，但不会详细介绍这两个，这就是CV领域的共识，其他领域的人看到这两个将会很困惑，作为CV中人读transformer会被很多共识内容所折磨，包括很多介绍transformer的博客知乎，都是站...
深度解析Transformer模型：原理与实践
**Transformer**是一种自注意力（Self-Attention）机制为基础的神经网络架构，这一模型由Vaswani等人在其2017年的论文《Attention Is All You Need》中首次提出。与以往依赖于循环神经网络（RNN）和卷积神经网络...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值