Attention Is All You Need

原创于 2026-11-11 09:00:00 发布 · 113 阅读

0 GEO检测

LLM Daily 专栏收录该内容

3844 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文提出Transformer模型，完全摒弃RNN和CNN，仅依赖自注意力与多头注意力机制实现序列建模。其编码器-解码器结构通过缩放点积注意力、掩码自注意力和正弦位置编码解决长程依赖与位置感知问题。在WMT英德/英法翻译任务中刷新SOTA，显著提升并行性与训练效率，成为现代大语言模型的基础架构。

# Attention Is All You Need（arXiv:1706.03762）论文解读
> 论文链接：[https://arxiv.org/abs/1706.03762](https://arxiv.org/abs/1706.03762)
> 发表：2017 NeurIPS，作者：Ashish Vaswani 等Google团队

## 一、论文主要内容
本文提出**Transformer**网络架构，彻底抛弃传统序列模型依赖的循环神经网络RNN/LSTM、卷积神经网络CNN，**完全依靠注意力机制**完成序列建模任务。
1. **架构整体框架**：依旧采用编码器-解码器（Encoder-Decoder）范式。
- 编码器：多层堆叠，每一层包含**多头自注意力**、按位置前馈网络，搭配残差连接+层归一化；负责对输入序列提取全局特征。
- 解码器：三层子模块，掩码多头自注意力（屏蔽未来位置，防止生成时偷看后续token）、编码器-解码器交叉注意力、前馈网络，负责生成目标序列。
2. **关键组件**
- 缩放点积注意力：计算Query、Key、Value之间的权重，使用缩放因子解决维度增大后点积值过大、softmax梯度消失问题。
- 多头注意力：多组并行注意力头，从不同语义子空间捕捉词语之间的依赖关系。
- 位置编码：因为模型没有循环/卷积，无法感知序列顺序，使用正弦余弦位置编码注入时序位置信息。
3. **实验验证**
- WMT2014英德机器翻译：28.4 BLEU，超越包括集成模型在内的此前最优结果2个BLEU以上。
- WMT2014英法机器翻译：单模型41.8 BLEU；8块GPU仅训练3.5天，训练成本远低于之前SOTA模型。