The Evolved Transformer 学习笔记

最新推荐文章于 2024-09-03 23:11:47 发布
最新推荐文章于 2024-09-03 23:11:47 发布
阅读量1.3k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/guotong1988/article/details/89486379
这篇博客探讨了如何通过神经架构搜索(NAS)改进Transformer模型，实现了速度的两倍提升和机器翻译BLEU得分0.7的提高。文章详细介绍了搜索空间，包括在encoder和decoder中的stackable cell设计，每个cell由NASNet-style block组成，包含MLP、CNN等层。最终的优化结构在GitHub上的tensor2tensor库中可找到。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

摘要

通过neural architecture search的方法提升普通transformer，
速度比普通transformer提升两倍，
效果在机器翻译比普通transformer提升0.7 BLEU

neural architecture search

设计出一些可能的神经网络结构，分别在测试集上评估效果

Search Space

本文搜索空间包括两个stackable cell，一个在transformer模型的encoder，一个在transformer模型的decoder。

每个cell由NASNet-style block组成, 具体通过左右两个block将输入的hidden state转成左右两个hidden state再归并成为一个新的hidden state，作为self-attention的输入。

encoder包括6个block，decoder包括8个block。

block可以由MLP和各种CNN等组成（实际好像还有attention作为layer），里面的normalization, layer, output dimension and activation就是搜索空间

-

<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
《The Evolved Transformer》论文笔记
Little Garden
03-28 2486
Google Brain-The Evolved Transformer 论文创新点： ​ 使用神经架构搜索的方法，为 seq2seq 任务找到了一种比Transformer更好的前馈网络架构。架构搜索是基于Transformer进行演进，最终得到的Evolved Transformer 的新架构在四个成熟的语言任务（WMT 2014 英德、WMT 2014 英法、WMT 2014 英捷及十亿...
[论文解读]《The Evolved Transformer》。研究背景背景介绍: 近年来，Transformer架构在序列任务中的表现非常出色，同时神经架构搜索（NAS）也开始超越人类设
最新发布
强化学习曾小健
11-14 558
本文题为《The Evolved Transformer》。
The Evolved Transformer翻译
nopSled
09-24 503
摘要 最近的工作凸显了Transformer结构在序列任务上的处理优势，与此同时，神经架构搜索（NAS）已开始超越人类设计的模型。我们的目标是应用NAS寻找Transformer的更好替代结构。我们首先根据前馈序列模型的最新进展构建一个大型搜索空间，然后通过用Transformer构建我们的初始种群，以热启动（warm starting）运行进化结构搜索。为了直接搜索计算量大的WMT 2014 English-German翻译任务，我们开发了Progressive Dynamic Hurdles方法，该方法
谷歌开源进化版Transformer！基于神经网络架构搜索，效果更好、训练更快
啊啊啊啊2
04-26 926
谷歌大脑的新论文《The Evolved Transformer》提出了首个用于改进Transformer的神经网络架构搜索算法（NAS）。Transformer是许多自然语言处理任务的最流行的网络架构之一。该论文使用基于锦标赛选择的进化算法，通过网络搜索算法得到进化版 Transformer。新的网络结构比原来的Transformer取得了更好的表现，并且减少了所需要的训练时间。本文是AI前线第...
The evolved Transformer，进化的变换器
强化学习曾小健
07-26 268
Search Space搜索空间： ​ 一个模型包含encoder和decoder，各包含若干个单元，encoder的单元包含6个模块，解码器的单元包含8个模块。每个模块分左右两个分支，各自接受一个隐藏状态作为输入。按照层次从低到高分支搜索项分为： input、 normalization、 layer、 output dimension和 activation。 左右分支通过combiner function合并为新的隐藏状态作为输出。 编码器的架构合成：每个块产生一个新的隐状态，该隐藏
（转）The Evolved Transformer - Enhancing Transformer with Neural Architecture Search
a1424262219的博客
03-26 436
The Evolved Transformer - Enhancing Transformer with Neural Architecture Search 2019-03-2619:14:33 Paper："The Evolved Transformer."So, David R., Chen Liang, and Quoc V. Le.arXiv ...
lte 学习笔记
02-23
9. **EPS（Evolved Packet System）**：是LTE的核心网络组成部分，包括MME（Mobility Management Entity）、S-GW（Serving Gateway）和P-GW（Packet Data Network Gateway），负责用户会话管理和移动性管理。...
LTE学习笔记.docx编程资料
04-15
**EPC标准架构**（Evolved Packet Core）：仅指核心网络部分，它是SAE网络的一部分，专注于分组交换技术。EPC网络的特点在于仅包含分组域（Packet Switched Domain），不再支持传统的电路域（Circuit Switched ...
谷歌Transformer大进化，机翻最强王者上线
人工智能观察
06-17 622
智造观点谷歌Evolved Transformer通过AutoML技术进行特定任务定制，在编码器和解码器模块底部的卷积层以分支模式运行，提高了语言建模的性能，目前在机器...
谷歌开源进化版 Transformer！基于神经网络架构搜索，效果更好
qq_39662660的博客
03-19 2224
谷歌大脑的新论文《The Evolved Transformer》提出了首个用于改进 Transformer 的神经网络架构搜索算法（NAS）。Transformer 是许多自然语言处理任务的最流行的网络架构之一。该论文使用基于锦标赛选择的进化算法，通过网络搜索算法得到进化版 Transformer。新的网络结构比原来的 Transformer 取得了更好的表现，并且减少了所需要的训练时间。本文...
Transformer学习总结——原理篇
01-27
首先从整体上看一下Transformer的结构：从图中可以看出，整体上Transformer由四部分组成：Inputs:Inputs=WordEmbedding(Inputs)+PositionalEmbeddingInputs=WordEmbedding(Inputs)+PositionalEmbeddingInputs=WordEmbedding(Inputs)+PositionalEmbeddingOutputs:Ouputs=WordEmbedding(Outputs)+PositionalEmbeddingOuputs=WordEmbedding(Output
深度学习7这就是Transformer：深度详解（内附思维导图）
欢迎光临我的博客
09-03 1793
全文思维导图在这篇文章中，我们首先会介绍三个部分。1序列到序列模型应用，之后介绍2Transformer结构，最后，我们会提到一些Transformer训练技巧。7.1 序列到序列模型的应用序列到序列模型输入和输出都是一个序列，输入与输出序列长度之间的关系有两种情况。第一种情况下，输入跟输出的长度一样；第二种情况下，机器决定输出的长度。序列到序列模型有广泛的应用，通过这些应用可以更好地了解序列到序列模型。下面是一些有关应用的介绍。
Transformer模型的改进-句子相似性的探索
mudongcd0419的博客
11-07 1603
基于模型结构与模型源码两个层面理解Transformer
心流的博客
08-14 322
之前看的Transformer源码，当时为了理解Transformer的框架，就从模型结构和模型源码两个层面做了思维导图。最近在复盘，从两个层面上又梳理了一遍，针对重要部分的内容，将个人的理解记录下来。本文从Transformer的模型结构和模型源码两个层面对Transformer进行解读。在模型结构层面上，分析了Transformer主要结构的功能；在模型源码层面，记录了本人对于源码的理解。以上就是全部内容了，本文内容都是基于个人的理解进行的记录，如果错误欢迎批评指正。
transformer的bert结构思维导图
hufei_neo的博客
02-07 1271
Bertmodel ## reference: transformers.modeling_bert.BertModel class BertModel(BertPreTrainedModel): def __init__(self, config): self.embeddings = BertEmbeddings(config) self.encoder = BertEncoder(config) self.pooler = Bert..
[NAS+Transformer]GLiT: Neural Architecture Search for Global and Local Image Transformer
qq_37151108的博客
12-21 3516
GLiT：NAS搜索局部和全局Transformer
AbstractSection I IntroductionSection II Related workSection III MethodPart 1 Global-Local blockPart 2 Search Space of the global-local blockPart 3 Hierarchical Neural Architecture SearchSection IV ExperimentsPart 1 Results on Im
Transformer总结
AmuSX的博客
03-31 388
这是根据网上对Transformer的经验贴自己总结的Transformer思维导图，根据自己的理解画成的，可能存在一些错误，欢迎批评指正。 链接：https://pan.baidu.com/s/1lhZhRK-nmIEtOSXqpPDTvQ 提取码：gmtt ...
【时间序列】AAAI21最佳论文Informer：效果远超Transformer的长序列预测神器！
AI蜗牛车
02-07 4958
炼丹笔记干货作者：一元，四品炼丹师Informer:最强最快的序列预测神器01简介在很多实际应用问题中，我们需要对长序列时间序列进行预测，例如用电使用规划。长序列时间序列预测（LSTF...
Transformer模型结构详解【小白必看】
热门推荐
机器学习初学者必看，关注我，一起了解机器学习
03-30 1万+
Transformer模型详解 https://terrifyzhao.github.io/2019/01/11/Transformer%E6%A8%A1%E5%9E%8B%E8%AF%A6%E8%A7%A3.html 简介 Attention Is All You Need是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

-Love-Coding-

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值