Transformer与attention

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 300+累计阅读 302平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄9年

关注

原创最新推荐文章于 2026-09-19 11:18:21 发布 302 阅读 AI 写同款· GEO 优化 ›

Transformer模型——Attention Attention机制是一种在处理时序相关问题常用的技术，核心思想是在处理数据时，网络应该更关注输入中的重要部分，而忽略不重要的部分，他通过学习不同部分的权重，将输入的序列中的重要部分增加权重，从而使得模型更好的关注于输出有关的信息。Attention机制的关键是引入一种机制来动态地计算输入序列中各个位置的权重，从而在每个时间上，对输入序列的不同部分进行加权求和，得到当前时间上的输出。这样既实现了模型输入中不同部分的关注度自适应调节。阅读详情

Transformer是一个完全基于注意力机制的编解码器模型，它抛弃了之前其它模型(如RNN，LSTM，GRU等)引入注意力机制后仍然保留的循环与卷积结构，而采用了自注意力（Self-attention）机制，在任务表现、并行能力和易于训练性方面都有大幅的提高。

收录于

py+深度学习

当前文章被收录于：

py+深度学习

7 篇文章 1 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#transformer #深度学习 #自然语言处理

图解Transformer模型(Multi-Head Attention) 本文内容主要源于Attention is all you need:https://arxiv.org/abs/1706.03762 由于本人最近在研究文本的判别式模型,如文本分类任务,所以学习了Transformer,并根据自己的理解制作了PPT介绍总结Transformer中几个比较重要的部分. 文章内容为本人制作的PPT，同时在需要解释的slide写上了补充说明; 主要内容包括 1... 阅读详情

相关推荐

深入浅出 Transformer：Attention 机制图解

Transformer 的核心正是注意力并行计算，从而替代传统 RNN 结构。多头注意力是将多个注意力机制并行计算后再 Concatenate，增强模型表达能力。残差连接 & LayerNorm提供稳定训练与防止梯度消失。等大模型在此之上累积海量参数与数据，进化出强大的自然语言理解与生成能力，甚至可以延伸到多模态任务。后续你可以探究架构细节。位置编码(Positional Encoding) 及其正余弦函数原理。多模态 Attention：如何在图像与文本之间寻找关联？推理加速。

hjy1821的博客 1340

Transformer 里的 Attention 与 Mask 总结

本文将介绍以下内容： 1. Transformer 架构中的三种 Attention详解 2. Transformer 架构中的三种 Mask详解 3. 总结

TFATS的博客 1239

GAMES101学习-第8课进行shader的初步了解

详细理解课上展示的像素着色器GLSL，以及了解了API、OpenGL、DirectX到底是什么，还有shadertoy这个网站的初步探索。

qq_41835314的博客 1917

Transformer之attention大白话

MHA（Multi-head Attention）是标准的多头注意力机制，h个Query、Key 和 Value 矩阵。MQA（Multi-Query Attention）是多查询注意力的一种变体，也是用于自回归解码的一种注意力机制。与MHA不同的是，MQA 让所有的头之间共享同一份 Key 和 Value 矩阵，每个头只单独保留了一份 Query 参数，从而大大减少 Key 和 Value 矩阵的参数量。GQA（Grouped-Query Attention）是分组查询注意力，

AI前沿技术的分享！ 1897

PCIe链路均衡实战：从Preset调节到系数优化的完整指南（附Synopsy IP案例）

本文深入解析PCIe链路均衡技术，从Preset调节到系数优化的全流程实战指南，特别针对PCIe 3.0/4.0中的Recovery.Equalization状态进行详细说明。通过Synopsy IP案例，展示如何应对高速信号完整性挑战，优化前向反馈均衡（FFE）机制，提升系统性能。

peace的博客 1054

MATLAB/Simulink BLDC电机控制模型搭建：六步换相与速度环实战

无刷直流电机（BLDC）控制是电机驱动领域的核心技术，其六步换相原理通过霍尔信号控制逆变器开关，使定子磁场与转子磁场保持垂直以产生最大转矩。在MATLAB/Simulink中搭建BLDC控制系统，需从电机本体建模入手，结合PWM占空比调节和速度环PI控制器，实现速度闭环与波形观测。该技术广泛应用于电动工具、无人机电调和伺服驱动器等场景。本文详细解析BLDC六步换相逻辑、反电动势建模及Simulink分层设计方法，帮助读者掌握从零搭建完整控制模型的工程实践。

weixin_28273593的博客 207

Transformer模型——Attention层与Self-Attention层

Attention层可以用于机器翻译，seq2seqSelf-Attention层与RNN的相似点在于，有同样大小的输入输出，可以代替RNN。

weixin_47373639的博客 1149

Win10蓝屏代码critical process died的解决方法

critical process died”蓝屏错误是Win10操作系统中较为常见的问题之一。当遇到这一问题时，可以尝试通过修复当前系统、检查硬盘槽位或重新安装系统等方法来解决。本文详细介绍了这三种方法的操作步骤和注意事项，希望能帮助大家摆脱这一困扰。同时，也建议大家在日常使用中注意系统的维护和更新，以减少类似问题的发生。

mmoo_python的博客 9533

Transformer中的核心概念III-Attention

注意力机制源自神经学中的Hebb学习规则，Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。注意力机制成为人工智能中的一个概念则比较复杂，目前来讲有3个不同版本。版本1，2104年由Yoshua Bengio和Dizmitry Bahdanau提出版本2：Andrej Karpathy在注意力机制论文发表的2年之前在与Dizmitry Bahdanau的邮件中提出了注意力机制。

slscut的博客 892

半桥LLC谐振变换器及同步整流MATLAB仿真（二）

接上文，半桥LLC谐振变换器及同步整流MATLAB仿真

qq_55203246的博客 4329

H3C无线控制器AC与第三方认证系统集成实现企业级Portal短信认证方案

本文详细阐述了如何将H3C无线控制器（AC）与第三方认证系统集成，构建企业级Portal短信认证方案。该方案通过手机号作为临时凭证，实现了访客网络的实名追溯、权限控制与专业体验。文章深入解析了方案原理、H3C AC的关键配置步骤、第三方系统对接要点及短信网关选型避坑指南，为企业提升网络安全管理与访客服务质量提供了完整、可行的实战指导。

a3b4c5的博客 194

Transformer模型——利用Attention层与Self-Attention搭建Transformer

这节课用Attention和Self-Attention搭建Transformer

weixin_47373639的博客 1312

Amesim基础篇-热仿真常用模型库-Thermal Hydraulic /Resistance

流体库、管路库在热管理中是必备模块，如动力电池液冷循环系统均需要Thermal Hydraulic /Resistance库的元件建模。

2201_75375391的博客 5664

attention机制、self-attention、channel attention、spatial attention、multi-head attention、transformer

attention机制觉得是通过连接实现的

Leon_winter的博客 1万+

经典密码体制(上）

头歌

shannidawang的博客 3086

efm32 入门.pdf

本PDF共计22页，介绍的是操作驱动API，下载与否自己斟酌。

详解Transformer中Self-Attention以及Multi-Head Attention

原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti时刻后的数据才能计算ti+1t_{i+1}ti+1时刻的数据，但Transformer可以）。在这篇文章中作者提出了S

霹雳吧啦Wz 18万+

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版【x86|x64】

李宏毅——self-attention Transformer

encoder输出的a1,a2,a3...产生k1,v1,k2,v2,k3,v4，self-attention对应的q，k1q点积产生。在训练阶段用外部知识或先验分布去“告诉”模型的注意力矩阵应该长成什么样，从而加快收敛、提升鲁棒性，或让模型学到人类可解释的对齐方式。Guided Attention = 先验地图 + 辅助损失，让注意力矩阵在训练时就“走对方向”，从而学得更快、更准、更易解释。- **L2** = KL(A‖G) 或 MSE(A,G)，直接把 A 拉向先验分布；

aaaa_a133的博客 985

C# WinForm 基于DirectShow.dll编写的程序，可边预览边保存视频，音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择（默认选中第一个）2.可录制wmv和avi两种格式的视频并且都带有音频，avi可以录制的分辨率和帧数进行选择，wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照，也可边录制视频边拍照4.添加了视频和音频的压缩功能（酌情使用）这次二次开发发现C#对DirectShow的相关信息太少，这次做完也不敢藏私共享出来，还望大家指正

android 蓝牙通讯demo

android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。

Transformer 和 Attention机制入门

在自然语言处理领域，早期常使用循环神经网络（RNN）及其变体（如 LSTM、GRU）来处理序列数据，如机器翻译、文本生成等任务。随着序列长度增加，模型难以捕捉远距离词汇之间的关联，且训练会出现梯度消失或梯度爆炸等现象。训练时难以进行大规模并行计算，速度较慢。2017 年，论文《Attention is All You Need》提出了 Transformer 模型。Transformer 彻底摒弃了循环结构，转而依赖Attention 机制。

qq_31638535的博客 1199

Transformer-Attention机制

出现Attention机制的原因：基于循环神经网络(RNN)的seq2seq模型，在处理长文本时遇到了挑战，而对长文本中不同位置的信息进行attention有助于提升RNN的模型效果。1 seq2seq框架seq2seq：从一个文本序列得到一个新的文本序列。典型的seq2seq任务包括：机器翻译任务、文本摘要任务。简而言之...

cnzzs的博客 1116

Transformer以及attention机制介绍

Transformer详解 1 self-attention机制 1.1 self-attention的提出 NLP和图像的输入都可以看作是一个vector，输出可能是类别或者数值，如果是一排vector，并且数量可变（例如句子长度不同），此时应该如何处理呢？首先来看对于一个句子，每个词的表示方法有两种：one-hot和word embedding。One-hot方法存在问题是每个词之间的联系被忽略了，word embedding会给每个词一个向量，包含了语义信息，最终一个句子就是一个长度不一的向

SSyangguang的博客 8576

深度学习 | Attention与Transformer

Attention，又称为注意力机制，顾名思义，是一种能让模型对重要信息重点关注并充分学习吸收的技术，它不算是一个完整的模型，应当是一种技术，能够作用于任何序列模型中。

RichardsZ_的博客 1859

Attention,Transformer知识梳理

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Attention1、attention2、self-attention3、multi-head attention4、Masked self-attention二、Transformer总结引用：前言研究生开学一个月啦，暑假学习的东西太不深入，也不系统。九月阅读的论文有时间也需要找个时间整理。我看了吴恩达老师的序列模型课程和台大李宏毅老师的课程，他们的课程都提到了Atention的内容，吴恩达老师的课程讲述得比较浅

Hireath_的博客 863

【NLP251】Transformer中的Attention机制

自注意力层和前馈神经网络层的结构与编码器中的相应层相似。而注意力层则用于关注编码器的输出。同样，每个子层后都接有残差连接和层标准化。在经典的Transformer结构中，解码器也包含6层。

qq_60245590的博客 1074

transformer 中的 attention

来源：知乎—皮特潘地址：https://zhuanlan.zhihu.com/p/444811538大火的transformer 本质就是：使用attention机制的seq2seq。所以它的核心就是attention机制，今天就讲attention。直奔代码VIT-pytorch：https://github.com/lucidrains/vit-pytorch/blo...

idol24的博客 935

Transformer 与 Attention

Attention is all you need 摘要常用的序列模型都是基于卷积神经网络或者循环神经网络，表现最好的模型也是基于encoderdecoder框架的基础加上attention机制。提出一种基于attention机制的新模型transformer，抛弃了传统的模型结构。模型在2014WMT翻译数据集上，比现存最好的模型的bleu值高2个点。 ...

发呆的比目鱼的博客 1451

上一篇：解决pandas数据显示省略号问题

下一篇： drop_last=True

深入浅出 Transformer：Attention 机制图解

hjy1821的博客

02-06

1340