Transformer与attention

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 300+累计阅读 302平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄9年

关注

原创最新推荐文章于 2026-06-11 15:13:26 发布 302 阅读 AI 写同款· GEO 优化 ›

Transformer模型——Attention Attention机制是一种在处理时序相关问题常用的技术，核心思想是在处理数据时，网络应该更关注输入中的重要部分，而忽略不重要的部分，他通过学习不同部分的权重，将输入的序列中的重要部分增加权重，从而使得模型更好的关注于输出有关的信息。Attention机制的关键是引入一种机制来动态地计算输入序列中各个位置的权重，从而在每个时间上，对输入序列的不同部分进行加权求和，得到当前时间上的输出。这样既实现了模型输入中不同部分的关注度自适应调节。阅读详情

Transformer是一个完全基于注意力机制的编解码器模型，它抛弃了之前其它模型(如RNN，LSTM，GRU等)引入注意力机制后仍然保留的循环与卷积结构，而采用了自注意力（Self-attention）机制，在任务表现、并行能力和易于训练性方面都有大幅的提高。

收录于

py+深度学习

当前文章被收录于：

py+深度学习

7 篇文章 1 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#transformer #深度学习 #自然语言处理

图解Transformer模型(Multi-Head Attention) 本文内容主要源于Attention is all you need:https://arxiv.org/abs/1706.03762 由于本人最近在研究文本的判别式模型,如文本分类任务,所以学习了Transformer,并根据自己的理解制作了PPT介绍总结Transformer中几个比较重要的部分. 文章内容为本人制作的PPT，同时在需要解释的slide写上了补充说明; 主要内容包括 1... 阅读详情

相关推荐

深入浅出 Transformer：Attention 机制图解

Transformer 的核心正是注意力并行计算，从而替代传统 RNN 结构。多头注意力是将多个注意力机制并行计算后再 Concatenate，增强模型表达能力。残差连接 & LayerNorm提供稳定训练与防止梯度消失。等大模型在此之上累积海量参数与数据，进化出强大的自然语言理解与生成能力，甚至可以延伸到多模态任务。后续你可以探究架构细节。位置编码(Positional Encoding) 及其正余弦函数原理。多模态 Attention：如何在图像与文本之间寻找关联？推理加速。

hjy1821的博客 1340

Transformer 里的 Attention 与 Mask 总结

本文将介绍以下内容： 1. Transformer 架构中的三种 Attention详解 2. Transformer 架构中的三种 Mask详解 3. 总结

TFATS的博客 1239

逆向分析第一步：如何从HEX文件‘还原’出单片机的原始程序与数据？

本文详细解析了如何从HEX文件逆向分析出单片机的原始程序与数据，涵盖了固件逆向的底层逻辑与实践。通过介绍HEX文件的结构、内存映像重建技术以及专业工具链的使用，帮助读者掌握从十六进制数据到可执行代码的完整流程，适用于嵌入式系统开发和逆向工程领域。

weixin_29745609的博客 317

Transformer之attention大白话

MHA（Multi-head Attention）是标准的多头注意力机制，h个Query、Key 和 Value 矩阵。MQA（Multi-Query Attention）是多查询注意力的一种变体，也是用于自回归解码的一种注意力机制。与MHA不同的是，MQA 让所有的头之间共享同一份 Key 和 Value 矩阵，每个头只单独保留了一份 Query 参数，从而大大减少 Key 和 Value 矩阵的参数量。GQA（Grouped-Query Attention）是分组查询注意力，

AI前沿技术的分享！ 1897

手把手教你用Python实现ITRS与GCRS坐标转换（附完整代码）

本文详细介绍了如何使用Python的Astropy库实现ITRS与GCRS坐标转换。文章从环境配置、坐标对象构建入手，深入解析了transform_to方法背后的转换矩阵与地球定向参数管理，并通过卫星地面轨迹计算实战案例，帮助开发者掌握高精度空间坐标转换的核心技术与工程实践。

weixin_28335283的博客 79

通达信大单资金实时监控与播报插件：股票分析的实用利器——大红球

本文介绍了一款专为通达信软件设计的大单资金实时监控与播报插件，该插件以其傻瓜式操作和入门级特性在股民中广受欢迎。插件核心功能包括与通达信版面的无缝联动、大单金额范围的自定义设置、资金流动的可视化展示以及智能声音播报等。其技术架构基于本地网页形式，自带分时图显示功能，数据实时更新且无需L2账户，承诺永久免费升级。插件通过红绿球的大小和颜色直观展示资金规模与买卖方向，顶端全局统计功能提供宏观资金流动分析。尽管插件数据具有较高参考价值，但投资者仍需结合其他因素进行综合判断。插件界面可自适应调整，提供个性化使用体验

guleba的博客 6592

Transformer模型——Attention层与Self-Attention层

Attention层可以用于机器翻译，seq2seqSelf-Attention层与RNN的相似点在于，有同样大小的输入输出，可以代替RNN。

weixin_47373639的博客 1149

三维（点云）语义分割概述以及方法总结

语义分割语义分割需要两部分 classification: 需要全局信息 segmentation：更加依赖全局信息和局部信息一般的网络结构是：提特征-特征映射-特征图压缩（降维）-全连接-分类，其实就是encoder-decoder的过程，比如在二维的的pspnet，fcn等等 0. 三维表示的数据结构 Point cloud 无序性点云实际上是无序的，比如有8个点云，你放到...

renhaofan的博客 3万+

Transformer中的核心概念III-Attention

注意力机制源自神经学中的Hebb学习规则，Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。注意力机制成为人工智能中的一个概念则比较复杂，目前来讲有3个不同版本。版本1，2104年由Yoshua Bengio和Dizmitry Bahdanau提出版本2：Andrej Karpathy在注意力机制论文发表的2年之前在与Dizmitry Bahdanau的邮件中提出了注意力机制。

slscut的博客 892

Informer：比Transformer更有效的长时间序列预测

目录 AAAI 2021最佳论文：比Transformer更有效的长时间序列预测 Background Why attention Methods:the details of Informer Solve_Challenge_1:最基本的一个思路就是降低Attention的计算量，仅计算一些非常重要的或者说有代表性的Attention即可，一些相近的思路在近期不断的提出，比如Sparse-Attention，这个方法涉及了稀疏化Attention的操作，来减少Attention计算量，然后涉及的

To be a better man 1万+

MicroCap声学仿真介绍（一）

5-频率上下限选择，需要注意的是，第一个数字是上限，第二个数字是下限，如果填反了，会有报错提示；下三角可以选择“Auto”、“linear”、“log”和“list”，设置的是频率点之间的距离和频率点的数量。Component是用来选择部件的模块，如上图所示，声学仿真常用到的是“Electroacoustic Macros AC”、“Electroacoustic Macros TR”、“NXP Transducers”以及“NXP HD components”。3是声学部件，是声学仿真中常用的部件。

山无忧的博客 5093

Transformer模型——利用Attention层与Self-Attention搭建Transformer

这节课用Attention和Self-Attention搭建Transformer

weixin_47373639的博客 1312

【本地部署实战】LM Studio深度使用指南：从环境搭建到模型调优

LM Studio通过极简的操作流程和强大的生态兼容性，让本地部署大模型成为可能。随着M4芯片的发布和CUDA 12.0的优化，未来本地化AI开发将迎来新的爆发点。建议开发者关注官方Discord社区（https://discord.gg/lmstudio）获取最新模型支持信息。

远程部署调试运行安装项目调试二次开发项目技术新持续迭代部分源码免费分享 8750

attention机制、self-attention、channel attention、spatial attention、multi-head attention、transformer

attention机制觉得是通过连接实现的

Leon_winter的博客 1万+

SAP 费用化采购订单简介

费用性采购的核心特点费用性采购的流程费用性采购的优势适用场景业务场景前台操作1、创建成本中心---KS012、创建采购订单---ME21N3、采购订单审批---ME29N4、采购订单收货---MIGO5、查看成本中心费用---S_ALR_870136116、控制费用化的采购订单自动带出科目和成本中心SAP费用性采购（Expense Procurement）指的是企业在采购过程中，直接将采购的物料或服务成本计入费用科目，而不是记入库存账户的采购行为。

我小时候很黑的博客 2016

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等，可在创建的窗口进行控制

详解Transformer中Self-Attention以及Multi-Head Attention

原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti时刻后的数据才能计算ti+1t_{i+1}ti+1时刻的数据，但Transformer可以）。在这篇文章中作者提出了S

霹雳吧啦Wz 18万+

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

李宏毅——self-attention Transformer

encoder输出的a1,a2,a3...产生k1,v1,k2,v2,k3,v4，self-attention对应的q，k1q点积产生。在训练阶段用外部知识或先验分布去“告诉”模型的注意力矩阵应该长成什么样，从而加快收敛、提升鲁棒性，或让模型学到人类可解释的对齐方式。Guided Attention = 先验地图 + 辅助损失，让注意力矩阵在训练时就“走对方向”，从而学得更快、更准、更易解释。- **L2** = KL(A‖G) 或 MSE(A,G)，直接把 A 拉向先验分布；

aaaa_a133的博客 985

C# WinForm 基于DirectShow.dll编写的程序，可边预览边保存视频，音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择（默认选中第一个）2.可录制wmv和avi两种格式的视频并且都带有音频，avi可以录制的分辨率和帧数进行选择，wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照，也可边录制视频边拍照4.添加了视频和音频的压缩功能（酌情使用）这次二次开发发现C#对DirectShow的相关信息太少，这次做完也不敢藏私共享出来，还望大家指正

VC中sqlite的使用

在VC中对sqlite的使用，实现数据库大批数据的快速插入，读取数据库中的数据在ListCtrl中显示

Transformer 和 Attention机制入门

在自然语言处理领域，早期常使用循环神经网络（RNN）及其变体（如 LSTM、GRU）来处理序列数据，如机器翻译、文本生成等任务。随着序列长度增加，模型难以捕捉远距离词汇之间的关联，且训练会出现梯度消失或梯度爆炸等现象。训练时难以进行大规模并行计算，速度较慢。2017 年，论文《Attention is All You Need》提出了 Transformer 模型。Transformer 彻底摒弃了循环结构，转而依赖Attention 机制。

qq_31638535的博客 1199

Transformer-Attention机制

出现Attention机制的原因：基于循环神经网络(RNN)的seq2seq模型，在处理长文本时遇到了挑战，而对长文本中不同位置的信息进行attention有助于提升RNN的模型效果。1 seq2seq框架seq2seq：从一个文本序列得到一个新的文本序列。典型的seq2seq任务包括：机器翻译任务、文本摘要任务。简而言之...

cnzzs的博客 1116

Transformer以及attention机制介绍

Transformer详解 1 self-attention机制 1.1 self-attention的提出 NLP和图像的输入都可以看作是一个vector，输出可能是类别或者数值，如果是一排vector，并且数量可变（例如句子长度不同），此时应该如何处理呢？首先来看对于一个句子，每个词的表示方法有两种：one-hot和word embedding。One-hot方法存在问题是每个词之间的联系被忽略了，word embedding会给每个词一个向量，包含了语义信息，最终一个句子就是一个长度不一的向

SSyangguang的博客 8576

深度学习 | Attention与Transformer

Attention，又称为注意力机制，顾名思义，是一种能让模型对重要信息重点关注并充分学习吸收的技术，它不算是一个完整的模型，应当是一种技术，能够作用于任何序列模型中。

RichardsZ_的博客 1859

Attention,Transformer知识梳理

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Attention1、attention2、self-attention3、multi-head attention4、Masked self-attention二、Transformer总结引用：前言研究生开学一个月啦，暑假学习的东西太不深入，也不系统。九月阅读的论文有时间也需要找个时间整理。我看了吴恩达老师的序列模型课程和台大李宏毅老师的课程，他们的课程都提到了Atention的内容，吴恩达老师的课程讲述得比较浅

Hireath_的博客 863

【NLP251】Transformer中的Attention机制

自注意力层和前馈神经网络层的结构与编码器中的相应层相似。而注意力层则用于关注编码器的输出。同样，每个子层后都接有残差连接和层标准化。在经典的Transformer结构中，解码器也包含6层。

qq_60245590的博客 1074

transformer 中的 attention

来源：知乎—皮特潘地址：https://zhuanlan.zhihu.com/p/444811538大火的transformer 本质就是：使用attention机制的seq2seq。所以它的核心就是attention机制，今天就讲attention。直奔代码VIT-pytorch：https://github.com/lucidrains/vit-pytorch/blo...

idol24的博客 935

Transformer 与 Attention

Attention is all you need 摘要常用的序列模型都是基于卷积神经网络或者循环神经网络，表现最好的模型也是基于encoderdecoder框架的基础加上attention机制。提出一种基于attention机制的新模型transformer，抛弃了传统的模型结构。模型在2014WMT翻译数据集上，比现存最好的模型的bleu值高2个点。 ...

发呆的比目鱼的博客 1451

上一篇：解决pandas数据显示省略号问题

下一篇： drop_last=True

深入浅出 Transformer：Attention 机制图解

hjy1821的博客

02-06

1340