UNIVERSAL TRANSFORMERS读书笔记

最新推荐文章于 2025-02-23 17:26:58 发布
原创 最新推荐文章于 2025-02-23 17:26:58 发布 · 714 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Universal Transformer（UT）模型综合了Transformer的并行性和全局视野，以及RNN的递归特性。作者在每个位置添加动态停止机制，提升模型在多个任务的准确性。模型结构中，FFN被Transition Function替代，允许引入如卷积网络的高并行度结构。UT的时间维度体现在中间状态的不断调整，而非传统RNN的序列位置。模型使用Adaptive Computation Time（ACT）动态确定迭代次数，提高了效率和性能。

ABSTRACT

作者提出了一种称为universal transformer(简称UT)的模型，总的来说，该模型就是集合了Transformer和基于RNN结构的神经网络的优点而提出的更加通用的Transformer模型，具体来说它主要结合了这两个模型中的如下优点：

UTs combine the parallelizability and global receptive field of feed-forward sequence models like the Transformer with the recurrent inductive bias of RNNs.

  1. 像Transformer这种前向传播模型中的高效的并行性和全局接收域（global receptive field）
  2. RNN模型中的递归的特性。
    （本人英语不好，并且处于Machine Translation的入门阶段，所以一些名词和术语翻译的可能不准确）
    除此之外，在模型中作者还为每个单独的位置添加了一个动态停止机制，并发现通过这种机制的加入，可以极大的提高该模型在几个不同任务上的准确性。

2 MODEL DESCRIPTION

该模型的具体结构如下所示：
UT结构图
在模型当中，我们可以看到，该模型还是经典的encoder+decoder的结构，在encoder和decoder中，之前transformer中的FFN被替换成了更加一般的Transition Function这使得，Transformer模型可以更加的通用，并且可以引入诸如convolution network这种并行度较高的结构。在decoder中与encoder中的结构类似，也是将原来最上层的F

最低0.47元/天 解锁文章
5.13 Universal Transformers讲解
炫云云
04-05 561
💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖 🥝🥝 为什么提出Universal Transformer 🥝🥝 Universal Transformer 🍉🍉 encoder 🍉🍉 Recurrent机制 🍉🍉 Adaptive Computation Time (ACT) 🍉🍉 DECODER 🥝🥝 总结
Transformer家族4 -- 通用性优化（Universal-Transformer）
热门推荐
谢杨易的博客
06-30 1万+
1 背景 之前讲Transformer的时候，也提到过它的通用性的缺点。相比于RNN，Transformer不是图灵完备的，虽然大多数任务都是吊打RNN，但在某些看起来极为简单的任务上，却表现很差，比如字符串拷贝等。这个问题其实也不算大，但谷歌还是给出了他的解决方案，也就是Universal Transformer。这篇看看就好了，个人感觉实际应用中作用有限。 2 Universal-Transformer 论文信息：2018年7月，谷歌，ICLR2019论文地址 https://arxiv.org/ab
利用 Universal Transformer，翻译将无往不利！
谷歌开发者
09-04 2007
文 / Google Brain Team 的研究科学家 Stephan Gouws、阿姆斯特丹大学的 Mostafa Dehghani 博士生、谷歌研究实习生去年，我们...
【NLP】Universal Transformers详解
weixin_34326558的博客
11-12 733
上一篇transformer写了整整两周。。解读太慢了。。主要是自己也在理解，而且没有时间看源码，非常惭愧，如果哪里说错了希望大佬们可以提醒一下之前细细研究了attention和transformer之后，universal transformer读了一遍就理解了，缺乏之前基础的童鞋们请先移步：【NLP】Attention原理和源码解析2. 【NLP】Transformer详解Universal ...
Universal Transformer 论文解读
qq_43708647的博客
04-16 1148
论文出处：Universal Transformers 摘要 RNN一直是sequence modeling task 的主要选择。然而，固有的序列计算让它训练很慢，FCNN 和CNN架构在一些例如机器翻译在内的序列建模任务中取得了更好的结果，因为同时计算所有输入，所以并行性强，训练时间更快。然而，一些FCNN架构，例如vanilla transformer在一些简单的任务上不能处理RNN能够轻松应对的东西，例如 copy string，或者是当string长度超过训练数据集时的简单推断任务。我们提出了un
通用时间序列预测变压器的统一训练 Unified Training of Universal Time Series Forecasting Transformers
数智笔记
04-24 1842
传统上，用于时间序列预测的深度学习在一个数据集对应一个模型的框架内运行，限制了其利用大型预训练模型带来的颠覆性影响的潜力。通用预测的概念源自于在大量时间序列数据集上进行预训练，设想了一个能够处理多样化下游预测任务的单一大型时间序列模型。然而，构建这样一个模型面临着特定于时间序列数据的独特挑战：i）跨频率学习，ii）适应多变量时间序列的任意数量，以及iii）解决大规模数据固有的不同分布特性。
Pretrained Transformers As Universal Computation Engines Kevin笔记
昼
08-03 1013
在文本上预训练了的transformers可以轻松拓展到其他模态。
Transformers快速入门-学习笔记
wangchaodee的博客
02-23 776
Transformers快速入门-学习笔记
Transformers in Vision:A Survey 阅读笔记
pzb19841116的专栏
04-03 1313
Visual Grounding with Transformer[206]具有编码器-解码器架构，其中视觉标记(从预训练的CNN模型中提取的特征)和文本标记(通过RNN模块解析)在编码器的两个不同分支中并行处理，具有跨模态注意力，以生成文本引导的视觉特征。尽管有人可能认为像Transformer模型这样的架构应该是通用的，可以直接应用于各个领域，但我们注意到，预训练这些模型所需的高计算成本和时间成本需要新的设计策略，使它们在视觉问题上的训练更具成本效益。
万字长文带你一览ICLR2020最新Transformers进展（下）
fengdu78的博客
05-19 710
原文链接：http://gsarti.com/post/iclr2020-transformers/作者：Gabriele Sarti编译：朴素人工智能3. Embeddings原始的T...
Python-基于UniversalTransformerCRF的中文分词和词性标注
08-10
Sequence labeling base on universal transformer (Transformer encoder) and CRF; 基于Universal Transformer CRF 的中文分词和词性标注
万字长文带你一览ICLR2020最新Transformers进展
hwaust2020的博客
06-24 455
文章目录1. Self-atention 的变体Long-Short Range AttentionTree-Structured Attention with Subtree MaskingHashed AttentioneXtra Hop Attention2. 训练目标Discriminative Replacement TaskWord and Sentence Structural TasksType-Constrained Entity Replacement3. EmbeddingsPosit
transformer变体
u013596454的博客
09-28 1719
1. Introduction  在这篇博客，我们详细的介绍了transformer的结构，也介绍了transformer还存在的问题，接着本篇文章将会介绍关于transformer的多种改进，让我们了解一下更加丰富多彩的transformer结构。 2.各种变体 2.1 Universal transformers(UT)  提出于2018年，是transformer的后续工作，它的提出是为了解决transformer固有的非图灵完备性及缺少conditional computation的问题。  UT与
【自然语言处理 | Transformers】Transformers 常见算法介绍合集（三）
wzk4869的博客
09-18 867
【自然语言处理 | Transformers】Transformers 常见算法介绍合集（三）
【深度学习】Transformer及其变种
TwcatL
11-24 1860
本文主要介绍了Transformer模型以及针对其缺点作出改进的一些变种模型，总结了它们的设计思路和优缺点。未来，以Transformer及其改进版为基础特征抽取器的预训练模型，一定能够在自然语言处理领域取得更大的突破。
transformer详解：transformer/ universal transformer/ transformer-XL
彼得.攀的blog
10-08 2292
首发自彼得攀的小站 特别鸣谢刘陆琛@Mayouji在本文写作过程中的帮助 Attention机制在NLP领域的应用最早可以追朔到2014年，Bengio团队将Attention引入NMT(神经机器翻译)任务 [1]。之后更是在深度学习的各个领域得到了广泛应用：如CV中用于捕捉图像上的感受野；NLP中定位关键token/feature. 作为某种程度上可以称为当下NLP领域最强的特征抽取器的tran...
【NLP】Transformer大家庭简介！
fengdu78的博客
02-10 749
炼丹笔记干货作者：LilianTransformer Family01准备02Attention 以及 Self-Attention1.Attention是神经网络中的一种机制：模型可...
測試
weixin_30755393的博客
08-19 105
谷歌研究人员在《Universal Transformers》一文中使用一种新型高效的时间并行循环（parallel-in-time recurrence）方式（可在更广泛任务上产生更强大的结果）把标准 Transformer 扩展为计算通用（图灵完备）模型。研究者将该模型建立在 Transformer 的并行结构上，以保持其快速的训练速度。但是他们用单一、时间并行循环的变换函数的多次应...
Universal Transformer
啊噗啊噗
02-11 1327
参考： https://arxiv.org/pdf/1807.03819.pdf 学界 | 谷歌的机器翻译模型 Transformer，现在可以用来做任何事了 https://juejin.im/post/5b8f40776fb9a019e04ebe09 https://www.leiphone.com/news/201808/1nhPCi9jWWNGv6aw.html https://...
Universal transformers
最新发布
03-08
### Universal Transformers in Deep Learning Architecture and Implementation Universal Transformers represent an advanced variant of the traditional Transformer model, designed to enhance performance on a variety of tasks by incorporating iterative processing capabilities[^1]. Unlike standard Transformers that process each position once per layer through self-attention mechanisms, Universal Transformers apply multiple rounds of computation at every depth level until convergence or up to a fixed number of iterations. #### Iterative Processing Mechanism In Universal Transformers, instead of having separate layers with distinct parameters for different depths as seen in conventional architectures like BERT, these models share weights across all steps within one layer. This allows them to dynamically adjust how many times information should be processed based on input complexity without increasing parameter count significantly. The mechanism is described further in materials discussing transformer block structures where sub-layers such as self-attention play crucial roles during iteration processes[^2]. #### Enhanced Representational Power By allowing repeated application of transformations over inputs before producing final representations, Universal Transformers can capture more nuanced patterns compared to single-pass methods used traditionally in deep learning frameworks including those mentioned when visualizing transformer layers for deeper insights into neural network operations. Such enhanced capability leads not only to better generalization but also potentially improved interpretability since intermediate states provide additional context about what features are being emphasized throughout computations. #### Practical Considerations and Challenges Implementing this type of architecture requires careful consideration regarding stopping criteria – whether it's predefined maximum iterations or conditional upon reaching certain thresholds related directly to changes observed between consecutive passes[^3]. Moreover, while sharing weights reduces memory footprint associated with training large-scale networks, there remains potential trade-offs concerning speed versus accuracy depending on specific applications' requirements. ```python import torch.nn as nn class UniversalTransformerLayer(nn.Module): def __init__(self, d_model=512, nhead=8, dim_feedforward=2048, dropout=0.1): super(UniversalTransformerLayer, self).__init__() self.self_attn = nn.MultiheadAttention(d_model, nhead, dropout=dropout) self.linear1 = nn.Linear(d_model, dim_feedforward) self.dropout = nn.Dropout(dropout) self.linear2 = nn.Linear(dim_feedforward, d_model) self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) def forward(self, src, iter_num=None): # Apply multi-head attention followed by residual connection and normalization. attn_output, _ = self.self_attn(src, src, src) src = src + self.dropout(attn_output) src = self.norm1(src) # Pass through feed-forward network similarly. ff_output = self.linear2(self.dropout(torch.relu(self.linear1(src)))) src = src + self.dropout(ff_output) src = self.norm2(src) return src ``` The provided code snippet demonstrates a simplified version of implementing a universal transformer layer using PyTorch libraries which includes essential components discussed earlier like self-attention along with other necessary elements ensuring proper functioning according to theoretical foundations outlined above.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值