文章总结与翻译
一、主要内容
本文针对Transformer在长序列语言建模中存在的二次时间复杂度问题,以及状态空间模型(SSMs)虽能高效处理长序列但在通用语言建模任务上性能不及Transformer的现状,提出了一种混合架构——Block-State Transformer(BST)。该架构将SSM子层(负责长程上下文建模)与Block Transformer子层(负责短期序列表示)融合在单个层中,通过三种可完全并行化的变体(Single-Head、Multi-Head、Multi-Filter)实现SSM与块注意力机制的集成。
文章通过在PG19、arXiv和GitHub三个不同类型数据集(分别对应英文书籍、科学论文、源代码)上的实验验证,表明BST在语言建模困惑度上优于同类Transformer架构,且能更好地泛化到更长序列;同时,在启用模型并行化时,BST层级速度较Block-Recurrent Transformer提升十倍以上,其时间复杂度为O(W2)+O(LlogL)O(W^2)+O(L log L)O
订阅专栏 解锁全文
305



被折叠的 条评论
为什么被折叠?



