51-14 Retentive Network，RetNet 多尺度保留机制序列建模论文精读

深圳季连AIgraphX

已于 2024-01-25 14:11:04 修改

阅读量1.3k

点赞数 27

分类专栏： aiXpilot 智驾大模型1 文章标签：人工智能自动驾驶 transformer gpt-3 智慧城市 gpt

于 2024-01-17 16:48:12 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_45035094/article/details/135611126

版权

aiXpilot 智驾大模型1 专栏收录该内容

59 篇文章 ¥89.90 ¥99.00

订阅专栏

超级会员免费看

RetNet是一种新型的序列建模架构，旨在改进Transformer的效率和性能。通过引入多尺度保留机制，RetNet实现了并行训练、O(1)推理和良好性能。保留机制包括并行、循环和分块循环表示，允许高效长序列建模。实验表明，RetNet在推理速度和内存使用上优于Transformer，适用于大型语言模型。此外，RetNet的循环表示支持低成本推理，使其成为Transformer的有力竞争者。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

咱们今天来看的论文叫RetNet，题目是Retentive Network：a successor to transformer for large language models。我们知道BLIP成了一个非常普适的一个工具，你可以拿这个模型去训练VLMo，训练CoCa，训练BEiT-3，去训练各种各样的多模态模型，因为它的目的就是生成更好的数据。 BEiT-3呢，他的核心思想是将图像建模为一种语言，这样我们就可以对图像、文本以及图像-文本对进行统一的mask modeling。BEiT-3模型可以有效地完成不同的视觉和视觉语言任务，使其成为通用建模的一个有效选择。BLIP，BEiT-3这两个比较经典的模型都是基于Vision transformer，ViT而来，都是在利用transformer的encoder，decoder或者encoder-decoder各种组合完成建模任务，然而RetNet网络模型则是在魔改transformer架构。咱们来看看RetNet究竟是怎样做到的？

多尺度保留机制Retention与标准自注意力机制相比，有几大特点：

引入位置相关的指数衰减项取代 softmax，简化了计算，同时使前步的信息以衰减的形式保留下来。引入复数