UNIVERSAL TRANSFORMERS读书笔记

ABSTRACT

作者提出了一种称为universal transformer(简称UT)的模型，总的来说，该模型就是集合了Transformer和基于RNN结构的神经网络的优点而提出的更加通用的Transformer模型，具体来说它主要结合了这两个模型中的如下优点：

UTs combine the parallelizability and global receptive field of feed-forward sequence models like the Transformer with the recurrent inductive bias of RNNs.

1. 像Transformer这种前向传播模型中的高效的并行性和全局接收域（global receptive field）
2. RNN模型中的递归的特性。
   （本人英语不好，并且处于Machine Translation的入门阶段，所以一些名词和术语翻译的可能不准确）
   除此之外，在模型中作者还为每个单独的位置添加了一个动态停止机制，并发现通过这种机制的加入，可以极大的提高该模型在几个不同任务上的准确性。

2 MODEL DESCRIPTION

该模型的具体结构如下所示：

在模型当中，我们可以看到，该模型还是经典的encoder+decoder的结构，在encoder和decoder中，之前transformer中的FFN被替换成了更加一般的Transition Function这使得，Transformer模型可以更加的通用，并且可以引入诸如convolution network这种并行度较高的结构。在decoder中与encoder中的结构类似，也是将原来最上层的F