文献阅读：Transformers are Multi-State RNNs

• 文献阅读：Transformers are Multi-State RNNs
  • 1. 内容简介
  • 2. 方法介绍
    • 1. 基础回顾
      • 1. RNN
      • 2. Transformer
    • 2. Transformer解构
      • 1. MSRNN
      • 2. Transformer
    • 3. TOVA
      • 1. 现有转换策略
      • 2. TOVA
  • 3. 实验考察 & 结论
    • 1. 实验设计
    • 2. 实验结果
      • 1. LM
      • 2. 长文本理解
      • 3. 文本生成
    • 3. 细节考察
  • 4. 总结 & 思考

• 文献链接：https://arxiv.org/abs/2401.06104
• GitHub链接：https://github.com/schwartz-lab-NLP/TOVA

1. 内容简介

这篇文章是今年1月Meta发表的一篇对Transformer的解构工作。

它对Transformer进行了更深入的解析和考察，发现Transformer的self attention机制等价于一个无限状态的MSRNN（multi-state RNN），并在此基础上对MSRNN进行了优化，提出了一个TOVA的MSRNN压缩策略，使之效果超过了其他的MSRNN，并能够与Transformer本身相提并论。而在内存方面，则显著优于经典的Transformer模型。

下面，我们就来具体看一下文中对于Transformer的具体考察以及文中提出的TOVA方法究竟是怎样的一个设计思路。

2. 方法介绍

1. 基础回顾

在解构Transformer以及引入TOVA之前，文中首先回顾了一下RNN和Transformer本身，这里，为了保持文章在结构上的完整性，我们也简略的回顾一下RNN和Transformer本身。

1. RNN

首先的话，RNN的话是一个迭代的解构，模型本身维护一个隐态$h_t$，然后根据输入$x_t$进行迭代：

$$x_t^{l+1},h_t^l=f(x_t^l,h_{t-1}$$