20250124-注意力机制（1-2）【1/3】 ——已复现

原创 已于 2025-04-06 20:48:04 修改
· 508 阅读 · 9 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #注意力机制 #Transformer #pytorch

于 2025-01-23 22:55:23 首次发布

Attention Is All You Need（注意力就是你所需要的一切）（1-2）【1/3】 ——已复现

20250124-注意力机制（1-2）【1/3】 ——已复现-优快云博客

20250124-注意力机制（3-4）【2/3】 ——已复现-优快云博客

20250124-注意力机制（5-7）【3/3完结】 ——已复现-优快云博客

📔 声明 🇨🇳 :

1️⃣ 📖 原文网址链接: Attention Is All You Need (arxiv.org) 🔗 arxiv.org/pdf/1706.03762

​ 📃 原文PDF【本地】: ……

​ ⏲ 文章发布时间: 12 Jun, 2017【 2017年6月12日】

2️⃣ 🚜 辅助(翻译/数学公式)工具:

​ 🎖 Typora 官方中文站 ——本文的编写软件(感觉适合强迫症患者)

​ 🥇 Kimi.ai - 帮你看更大的世界 ——主要用于知识点的搜索与概括讲解

​ 🥈知云文献翻译客户端软件 (zhiyunwenxian.cn)

​ 🥉沉浸式翻译 - 双语对照网页翻译插件 | PDF翻译 | 视频字幕翻译

3️⃣ 👨‍❤️‍👨 侵权必删 ！！！！🙊

​ 📧 邮箱: 陈晨辰熟稳重【chenwd0118@qq.com】

4️⃣ 📚 参考资料: (其他相关参考在文章相应位置)

​ 🥇 Transformer模型详解(图解最完整版) - kongen - 博客园 (cnblogs.com)

​ 🥈

在这里插入图片描述

在这里插入图片描述

Yolov8改进---注意力机制：Polarized Self-Attention，效果秒杀CBAM、SE
05-08 2807
Polarized Self-Attention自注意力加入yolov8优化/改进，效果秒杀CBAM、SE
YOLOv5改进系列（1）——添加SE注意力机制
路人贾的博客
05-08 1万+
手把手带你添加SE注意力机制
【翻译】Attention Is All You Need
jokerwu192的博客
07-02 2万+
论文地址：https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf 项目地址：https://github.com/ tensorflow/tensor2tensor
Attention Is All You Need----Transformer 论文解读
qq_39352201的博客
03-22 1063
Attention Is All You Need 论文地址：https://arxiv.org/pdf/1706.03762.pdf 论文源码：https://github.com/pytorch/fairseq [Pytorch版本] https://github.com/tensorflow/models/tree/master/official/nlp/transformer[Tensorflow版本 ] Abstract：现在大多数效果比较好的序列转导模型都是基于CNN或者RNN的 Encoder
《Attention Is All You Need》transform算法解读
最新发布
贤时间
05-06 1014
在《Attention is All You Need》之前，大多数NLP任务都是依靠循环神经网络（RNN）和卷积神经网络（CNN）来处理的。这些传统方法虽然在某些方面有效，但它们存在一些局限性，比如难以并行处理、训练时间长，以及在长序列处理上的性能欠佳。嵌入（Embeddings）是一种将高维离散数据（比如单词）映射到一个低维连续向量空间的方法。这种方法使得机器学习模型能够更加高效地处理和理解这些数据。在NLP中，嵌入特别常用于将单词转换为向量，以便神经网络能处理。
【论文阅读】Attention is all you need（Transformer）
qq_52852138的博客
05-21 4809
文章目录前言1.Abstract2.Introduction3.Background4.Model Architecture4.1. Encoder and Decoder Stacks4.2. Attention4.2.1. Scaled Dot-Product Attention4.2.2.Multi-Head Attention4.2.3. Applications of Attention in our Model4.3. Position-wise Feed-Forward Networks4.4
【论文阅读】Attention Is All You Need
huitailangyz的博客
02-06 790
【2017NIPS】 论文：https://arxiv.org/pdf/1706.03762v5.pdf 代码：https://github.com/tensorflow/tensor2tensor 本文提出了新的网络结构Transformer，仅仅依靠注意力机制而不再使用循环和卷积结构 训练可以采用并行化，从而大大缩短训练时间 介绍 现有的循环模型每个时间步依次计算，这种序列化的方法大大阻碍了训练的并行 尽管有工作采用一些技巧提高了计算效率，但是这种序列化的本质问题仍然存在...
Attention Is All You Need.pdf
07-05
Attention Is All You Need，NLP经典论文，值得仔细阅读
RT-DETR改进有效系列目录 | 包含卷积、主干、RepC3、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
01-29 2万+
Hello，各位读者们好Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。同时本人一些讲解视频和包含我所有创新的RT-DETR文档。
YOLOv8改进 | 注意力机制 | RCS-OSA替换C2f实现暴力涨点（减少通道的空间对象注意力机制）
Snu77的博客
12-09 7282
本文给大家带来的改进机制是RCS-YOLO提出的RCS-OSA模块，其全称是"Reduced Channel Spatial Object Attention"，意即"减少通道的空间对象注意力"。这个模块的主要功能是通过减少特征图的通道数量，同时关注空间维度上的重要特征，来提高模型的处理效率和检测精度。亲测在小目标检测和大尺度目标检测的数据集上都有大幅度的涨点效果(mAP直接涨了大概有0.6左右。
YOLOv11改进 | 添加注意力机制篇 | 添加YOLO-Face提出的SEAM注意力机制优化物体遮挡检测（附二次创新C2PSA机制）
Snu77的博客
10-13 3768
本文给大家带来的改进机制是由YOLO-Face提出能够改善物体遮挡检测的注意力机制SEAM，注意力网络模块旨在补偿被遮挡面部的响应损失，通过增强未遮挡面部的响应来实现这一目标，其希望通过学习遮挡面和未遮挡面之间的关系来改善遮挡情况下的损失从而达到改善物体遮挡检测的效果，同时本文附二次创新PSA机制。本文将通过介绍其主要原理后，提供该机制的代码和修改教程，并附上运行的yaml文件和运行代码，小白也可轻松上手。欢迎大家订阅我的专栏一起学习YOLO！
NLP：Attention Is All You Need.pdf
04-21
Attention Is All You Need主要的序列转导模型基于复杂的递归或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意机制连接编码器和解码器。我们提出了一种新的简单网络结构，即Transformer，它完全基于注意力机制，完全不需要重复和卷积。
Transformer-Attention is all you need
02-26
Transformer-Attention is all you need 论文, google出品, 可查阅博文: https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Attention Is All You Need 中文翻译
11-18
Attention Is All You Need 中文翻译
注意力足矣（Attention Is All You Need）
weixin_44378835的博客
06-15 1万+
本文将介绍一个不使用卷积和循环网络层，而是完全基于注意力机制的模型——Transformer。
论文解读：Attention Is All You Need
weixin_42046845的博客
12-12 5360
谷歌于2017年发布论文《Attention Is All YouNeed》，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为encoder-decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。那么Transorformer可以高度并行的工作，所以在提升翻译性能的同时训练速度也特别快。
【论文】【NLP】Attention Is All Y ou Need（注意力是你所需要的）
myaijarvis notebook
03-18 2153
【参考：[1706.03762] Attention Is All You Need】2017 【参考：详解Transformer （Attention Is All You Need） - 知乎】 Abstract 主要的序列转换模型是基于复杂的循环或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意机制连接编码器和解码器。我们提出了一种新的简单网络架构——Transformer，它完全基于注意力机制，完全摒弃了递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优，同时具有更强的并行性
论文精读--Attention is all you need
m0_73202283的博客
01-23 2615
主要的序列转导模型是基于复杂的循环或卷积神经网络，包括一个编码器和一个解码器。表现最好的模型还是通过注意机制连接编码器和解码器。我们提出了一个新的简单的网络架构，transformer，完全基于注意力机制，完全摒弃循环和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语-德语翻译任务上实现了28.4 BLEU，比现有的最佳结果(包括集合)提高了2个BLEU以上。
ECANet注意力机制
09-04
ECANet是一种卷积神经网络模型，它使用了注意力机制来提高网络对重要信息的关注程度。注意力机制可以使网络自适应地关注更加重要的信息，从而提高网络的性能。ECANet的注意力机制是通过ECA模块实现的，这个模块能够有效地对通道特征进行建模，提取出最具信息量的特征。通过ECA模块，ECANet能够自动地调整网络对不同通道特征的关注程度，从而提高网络的表达能力和性能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [注意力机制（Attention Mechanism）-ECANet](https://blog.youkuaiyun.com/Aaaa_ZZZ/article/details/126771243)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [[ 注意力机制 ] 经典网络模型3——ECANet 详解与复现](https://blog.youkuaiyun.com/weixin_45084253/article/details/124282580)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

陈晨辰熟稳重

让我看看是哪个靓仔支持了我！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值