超级会员免费看
Transformer-XL 是一种解决长序列依赖问题的自注意力语言模型，通过子序列循环机制和相对位置编码实现长期依赖捕获。相对位置编码在每个注意力层中动态计算，避免了绝对位置编码在循环机制中的不适用。实验表明，Transformer-XL 在多个数据集上表现优于传统 Transformer，尤其是在处理长期依赖方面。
Transformer-XL
首先需要明确，Transformer-XL（XL 是 extra long 的简写）只是一个堆叠了自注意力层的 BPTT 语言模型，并不是 Transformer 原始论文中提到的编码器-解码器架构，也不是原始 Transformer 中的编码器部分或者解码器部分，根据其大致实现可以将其理解为丢弃 cross attention 模块的 Transformer 解码器。之所以名字包含“Transformer”，我认为是当时的很多学者都有一种将自注意力机制与 Transformer 画等的潜意识，更何况当时 Transformer 大火，如果名字中包含“Transformer”，多少可以蹭一下热度。
因此，下面我会常称类似的结构为“自注意力”，而不是 Transformer。
BPTT 意味着与 RNNs 类似，也存在时序计算过程，即当前”时刻“的计算依赖于前一”时刻“的计算结果。Trm-XL 的”时刻“指的是子序列。
概述
在 Trm-XL 论文中，作者将 REF [2] 中的模型视为主要对比的 baseline，并称该模型为普通 Transformer（
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
