Transformers are Multi-State RNNs

最新推荐文章于 2025-06-11 12:06:04 发布
最新推荐文章于 2025-06-11 12:06:04 发布
阅读量441 收藏 10
点赞数 8
分类专栏： 深度学习 文章标签： 人工智能 Transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135917819
版权

本文是深度学习相关文章，针对《Transformers are Multi-State RNNs》的翻译。

Transformers是多状态的RNNs

摘要

与上一代最先进的NLP模型——递归神经网络（RNN）相比，transformer在概念上被认为是不同的。在这项工作中，我们证明了仅解码器transformer实际上可以被概念化为无限多状态RNN——一种具有无限隐藏状态大小的RNN变体。我们进一步证明，通过固定其隐藏状态的大小，可以将预训练的transformer转换为有限的多状态RNN。我们观察到，几种现有的transformer缓存压缩技术可以作为这样的转换策略，并引入了一种新的策略TOVA，与这些策略相比，它更简单。我们对几个长范围任务的实验表明，TOVA优于所有其他基线策略，同时几乎与完整（无限）模型不相上下，并且在某些情况下仅使用原始缓存大小的1/8。我们的结果表明，transformer-解码器LLM在实践中通常表现为RNN。他们还提出了减轻最痛苦的计算瓶颈之一——缓存大小的选择。我们公开发布我们的代码仓库。

1 引言

2 背景

3 Transformers是多状态的RNN

4 实验设置

5 预训练Transformers充当有限MSRNs

6 分析

7 相关工作

8 结论

在这项工作中，我们将解码器Transformer重新定义为具有无限多状态大小的多状态RNN（MSRNN）的一种形式。我们强调，限制Transformer在每一步可以处理的token表示的数量相当于将其从无限MSRNN压缩到有限MSRNN。
然后，我们介绍了TOVA，这是一种概念上简单的压缩方法，可以选择哪些token继续使用它们的注意力分数。我们的研究结果强调了与现有压缩策略相比其优越的性能。此外，我们表明，在许多情况下，TOVA的性能与无限MSRNN模型相当，同时需要1/8–1/4的多状态大小。值得注意的是，我们的结果表明，尽管Transformer没有经过这样的训练，但它们通常起到有限MSRNN的作用。
我们的研究结果揭示了Transformer的相互作用及其与RNN的联系。它们还具有实用价值——可以将LLM缓存大小显著减少88%。

9 局限性

Transformers are RNNs: Fast Autoregressive Transformers
AI天才研究院
08-12 319
作者：禅与计算机程序设计艺术 1.简介 自然语言处理(NLP)领域一直以来都是深度学习在NLP中的一个分支，其主要方法有基于RNN的模型和基于Transformer的模型。近年来由于Transformers的提出，RNN被更有效率的Transformer所取代。 本文将会给读者带来Tran
2024 年1月12日最热NLP大模型论文：Transformers are Multi-State RNNs
夕小瑶科技说
01-12 1229
在自然语言处理（NLP）的领域，Transformer架构自2017年提出以来，已经成为了一种主流的模型，它在多种任务中取得了前所未有的成功。与此同时，循环神经网络（RNN）这一曾经的主流架构逐渐被边缘化。然而，本文的研究提出了一个颠覆性的观点：即使Transformer在概念上与RNN有所不同，但在某些情况下，仅包含解码器的Transformer实际上可以被视为一种无限多状态的RNN（MSRNN）——一种具有无限隐藏状态大小的RNN变体。
【Transformer架构】Transformers are RNNs （linear transformer）
博观约取，厚积薄发
06-23 9252
Transformers 在一些任务中取得了显著的性能，但由于其二次复杂度(相对于输入长度)，对于非常长的序列，它们的速度会非常慢。为了解决这一限制，我们将 self-attention 表示为核特征图的线性点积，并利用矩阵乘积的结合性将复杂度从降低到O (N)，其中N为序列长度。我们展示了这种公式允许迭代实现，极大地加速了自回归Transformers ，并揭示了它们与循环神经网络的关系。我们的线性Transformers 实现了与普通Transformers 相似的性能，并且在非常长的序列的自回归预测方
文献阅读：Transformers are Multi-State RNNs
codename_cys的博客
02-25 1262
文献阅读：Transformers are Multi-State RNNs
梯度消失/爆炸与RNN家族的介绍(LSTM GRU B-RNN Multi-RNNs)-基于cs224n的最全总结
ChadWick的博客
07-09 395
vanishing gradients and fancy RNNs（RNN家族与梯度消失） 文章目录vanishing gradients and fancy RNNs（RNN家族与梯度消失）内容大纲：Vanishing gradientExploding gradient如何修复vanishing gradient的问题LSTM（Long short-Term Memory）LSTM是如何解决vanishing gradients的问题的？GRU(Gated recurrent units)-两个门解决
《Utilizing Ensemble Learning for Detecting Multi-Modal Fake News》
buyaotutou的博客
07-27 618
文章链接利用集成学习检测多模态假新闻The spread of fake news has become a critical problem in recent years due extensive use of social media platforms. False stories can go viral quickly, reaching millions of people before they can be mocked, i.e., a false story claiming tha
自然语言处理(NLP)领域与AI领域的融合 Transformers and RNNs
AI天才研究院
08-07 911
近年来，在机器学习界涌现了一股“Transformer”火热潮流。它吸引人的地方不仅仅在于其独特的计算效率、对长序列建模能力等优点，更重要的是它背后的模型架构——“Attention”机制。今天，我将从理论角度阐述“Attention”机制的概念及其特性，并详细分析Google AI的最新研究成果：BERT（Bidirectional Encoder Representations from Transformers）。最后，我将简要谈谈自然语言处理(NLP)领域与AI领域的融合可能性，并给出我的建议。
How do Transformers Work in NLP? A Guide to the Latest State-of-the-Art Models
weixin_41697507的博客
07-08 1347
How do Transformers Work in NLP? A Guide to the Latest State-of-the-Art Models Overview The Transformer model in NLP has truly changed the way we work with text data Transformer is behind the recent N...
常见多语言模型详解 (M-Bert, LASER, MultiFiT, XLM)
Jay_Tang的博客
08-08 7912
文章目录往期文章链接目录Ways of tokenizationWord-based tokenizationCharacter-based tokenizationSubword tokenizationExisting approaches for cross-lingual NLPOut-of-vocabulary (OOV) problem in mono/multi-lingual settingsM-BERT (Multi-lingual BERT)WHY MULTILINGUAL BERT W
yolo模型精度提升策略
qq_47798402的博客
06-09 800
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 729
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 428
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 1004
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
简繁体智能翻译软件
weixin_62784879的博客
06-09 493
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
最新发布
打造全国最全的AI Agent开发知识领域的博客
06-11 1465
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
Sklearn 机器学习 缺失值处理 填充数据列的缺失值
Kant2048的博客
06-07 769
使用Scikit-learn处理数据缺失值的完整指南，多种有效的缺失值处理方法。
（五）动手学深度学习计算：从数学原理到高效实现的全流程指南
hanyuge的专栏
06-08 755
在实际应用中，我们常常需要自定义层和块来实现特定的功能。PyTorch提供了灵活的API来创建自定义层和块。无参数层：实现不包含可学习参数的层，如激活函数层。return torch.sigmoid(x) # 示例：Sigmoid激活函数含参数层：实现包含可学习参数的层，如自定义的全连接层。组合层：将多个层组合成一个块，实现复杂的功能。return x层是深度学习模型的基本构建块，执行特定的计算任务。块是由多个层组成的模块，提高代码的可读性和可维护性。
职业生涯思考
fuyouzhiyi的博客
06-06 637
这种复杂的感受，我来帮你试着梳理出来。如果你觉得某些句子正好说中了你，就把它留下。
Transformer backbone
08-06
Transformer backbones are a key component in modern deep learning architectures, particularly for natural language processing (NLP) tasks and computer vision applications where sequence-to-sequence or self-attention mechanisms are essential. Transformer models, initially introduced by Vaswani et al. in their paper "[Attention is All You Need](https://arxiv.org/abs/1706.03762[^4])", have replaced traditional recurrent neural networks (RNNs) like LSTMs and GRUs as the standard building blocks. The core idea of a Transformer is the self-attention mechanism, which allows the model to weigh different parts of an input sequence equally, regardless of their position. This enables it to capture long-range dependencies without the need for sequential processing. The architecture consists of several layers, including: 1. **Multi-head Self-Attention**: This module performs parallel attention on multiple scaled dot-product attention heads, allowing the model to focus on different aspects of the input at once[^4]. 2. **Positional Encoding**: To maintain positional information since Transformers lack inherent notion of order, positional encodings are added to the input embeddings[^4]. 3. **Feedforward Networks**: These consist of two linear transformations with a non-linear activation function (usually ReLU) sandwiched in between[^4]. 4. **Normalization**: Layer normalization is applied before each sub-layer to stabilize training[^4]. Here's a simple demonstration using the popular `transformers` library in Python: ```python from transformers import BertModel # Load pre-trained transformer model (e.g., BERT) model = BertModel.from_pretrained('bert-base-uncased') # Input text input_ids = torch.tensor([[101, 1234, 5678, 102]]) # [batch_size, seq_length] # Perform forward pass through the model outputs = model(input_ids) # Extract last hidden state from the encoder (key part of the backbone) last_hidden_state = outputs.last_hidden_state # Shape: [batch_size, seq_length, hidden_dim] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值