Attention Transformer

最新推荐文章于 2025-12-04 14:13:28 发布
最新推荐文章于 2025-12-04 14:13:28 发布 · 501 阅读 · 0
文章标签：

#transformer #深度学习 #人工智能

这篇文章介绍了Transformer在计算机视觉领域的应用，特别是多头注意力机制，提供了WGANTransformer、Swin-Transformer、Swin-Unet等模型的参考链接，以及编码器-解码器结构的实现和相关代码示例。
aaatomaaa
关注
一点一点梳理Transformer模块(Deformable Attention Transformer & Swin Transformer Block)
热门推荐
lovely_yoshino的博客
10-23 1万+
现在大模型、端到端这些其实都是基于的是Transformer模块。而这些Transformer模块又层出不穷，会有很多新的模块以及模块应用出来。下面的这张图比较好的解释了传统Attention和Deformable Attention之间的区别。下面我们来结合代码看一下这一个比较重要且经典的算法。
Linear Attention Transformer 使用教程
gitblog_00915的博客
11-15 971
**Linear Attention Transformer** 是一个基于 PyTorch 的开源项目，旨在通过线性复杂度的注意力机制来加速 Transformer 模型的训练和推理。传统的 Transformer 模型在处理长序列时存在二次复杂度的问题，导致计算效率低下。该项目通过将自注意力机制表达为线性点积核特征映射，并利用矩阵乘法的结合性，将复杂度从 $\mathcal{O}(N^2)$
Predictive Attention Transformer 理解
wuyuanli_r的博客
01-05 797
参考文献 Predictive Attention Transformer: Improving Transformer with Attention Map Prediction PA-transformer 的想法是将 QKT/NQK^T/\sqrt{N}QKT/N​ 做两种处理, 一是正常的 encode 到 下一个 encode 的 QKT/NQK^T/\sqrt{N}QKT/N​ , 另一个是使用 2D-卷积层, 两种处理的信息 以某种比例混合后用于 取值投影. 混合后的信息 也将有类似的两种处理
Vision Transformer之Neighborhood Attention Transformer：更像卷积的Attention
画心
04-29 4456
提出了一个neighborhood attention操作。顾名思义，其以query对应的位置为中心来设定局部窗口，从而提取key和value进行计算。这是一种概念上更加简单、灵活和自然的的注意力机制。
【ARIXV2204】Neighborhood attention transformer
OUC的搬砖日常
06-18 937
这个论文非常简单，思想其实在之前的论文里也出现过。首先看下面这个图，标准VIT的 attention 计算是全局的，像第一图中红色的 token 和蓝色的 token 会全局的和所有的 token 进行计算。swin 是中间的两个图，第一步 token 的特征交互限制在局部窗口内。第二步窗口有shift，但 token 的特征交互仍然在局部的窗口内。最后一个图就是这个论文提出的 neighborhood attention transformer， NAT，所有 attention 的计算在 7X7 的邻域
Linear Attention Transformer：高效长距离语言建模的利器
gitblog_00118的博客
09-10 659
Linear Attention Transformer：高效长距离语言建模的利器 项目介绍 Linear Attention Transformer 是一个功能全面的 Transformer 模型，它结合了局部注意力机制和全局注意力机制，能够在处理长序列时实现线性复杂度。该模型通过混合 (QKᵀ)V 局部注意力和 Q(KᵀV) 全局注意力，显著提升了长距离语言建模的效率。无论是语言模型、Tran...
论文阅读 | Cross-Attention Transformer for Video Interpolation
bettii的博客
02-28 2016
ACCV2022wrokshop用transformer做插帧的文章，q，kv，来自不同的图像
【论文解读】《STGAFormer: Spatial-temporal Gated Attention Transformer based GNN for Traffic Flow》
qq_30731313的博客
02-28 1407
多维输入嵌入：结合动态图和周期性特征，有效地融合空间-时间特征。距离空间自注意力：通过阈值分割空间节点，精确捕捉远近节点的空间依赖。门控时间自注意力：同时考虑局部和全局时间特征，尤其对于长时间预测和突发事件的适应性强。
翻读：CAT: Cross-Attention Transformer for One-Shot Object Detection
qq_48692706的博客
05-21 3131
论文：CAT：用于单次物体检测|的交叉注意力转换器带代码的论文 (paperswithcode.com)https://paperswithcode.com/paper/cat-cross-attention-transformer-for-one-shot
YOLOV8注意力改进方法：Deformable Attention Transformer（附改进代码）
m0_74890428的博客
04-08 1809
们提出了一种新的可变形的自注意模块，其中以数据相关的方式选择自注意中的键-值对的位置。这种灵活的方案使自注意模块能够专注于相关区域并捕获其特征。在此基础上，我们提出了Deformable Attention Transformer，这是一种用于图像分类和密集预测任务的具有可变形注意力的通用主干模型。大量实验表明，我们的模型在综合基准上取得了持续改进的结果。
【论文阅读】Efficient Visual Tracking via Hierarchical Cross-Attention Transformer
LLL8552的博客
08-14 623
Efficient Visual Tracking via Hierarchical Cross-Attention Transformer 介绍了一种跟踪器，该跟踪器使用了一种稀疏转换和分层交叉注意力结构，大大减少了计算时间的消耗，使用该跟踪器即使在cpu上运行也能有40fps的速度。
[免费]基于Python的深度学习人脸表情识别系统(Keras卷积神经网络+OpenCV+PyQt)【论文+源码+SQL脚本】
java1234的博客
12-01 1151
[免费]基于Python的深度学习人脸表情识别系统(Keras卷积神经网络+OpenCV+PyQt)【论文+源码+SQL脚本】
RNN公式推导、案例实现及Python实现
m0_46670850的博客
12-01 846
RNN（循环神经网络）是一种专为序列数据设计的神经网络，通过循环传递隐藏状态实现对历史信息的记忆。本文详细介绍了RNN的理论基础，包括前向传播和反向传播的计算推导，并展示了RNN的5种典型结构（1-to-1、N-to-N、N-to-1、1-to-N和N-to-M）。文章分析了RNN的优点（时序依赖捕捉、参数共享、变长序列处理）和缺点（梯度消失、并行性差、长序列记忆有限）。最后给出了Python实现RNN的代码框架，包括数据生成、预处理和模型构建部分。通过理论推导和实例计算，帮助读者深入理解RNN的工作原理
【民族服饰识别系统】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积网络+resnet50算法
子午的博客
11-30 818
民族服饰识别，民族服饰智能识别与分析系统基于TensorFlow框架，采用卷积神经网络（CNN）算法构建而成。系统在收集了回族、汉族、满族、苗族四类典型民族服饰图像数据集的基础上，通过多轮迭代训练，最终生成高精度识别模型，并配合Web可视化平台实现便捷交互。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
【动物识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法
子午的博客
12-01 430
动物识别系统，基于TensorFlow搭建Resnet50卷积神经网络算法，通过对4种常见的动物图片数据集（猫、鸡、马、狗）进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。技术栈项目前端使用Html、CSS、BootStrap搭建界面。后端基于Django处理逻辑请求基于Ajax实现前后端数据通信选题背景与意义在人工智能技术蓬勃发展的当下，动物识别作为计算机视觉领域的重要应用方向，有着广泛的实际需求，如动物保护监测、智能安防等场景均需精准高效的动物识别能力。
深入浅出卷积神经网络（CNN）：从LeNet到Vision Transformer的演进及其实战应用
最新发布
云雾J视界的博客
12-04 800
本文系统梳理卷积神经网络从LeNet到Vision Transformer的演进脉络，聚焦“为何选用ResNet而非VGG”这一典型面试问题，揭示其背后的技术选型逻辑。文章基于CVPR、ICLR等顶会论文及MLPerf等公开基准，深入剖析四代架构——奠基（LeNet/AlexNet）、深度爆发（VGG/ResNet）、效率觉醒（MobileNet）与注意力时代（ViT/ConvNeXt）的核心创新与工程权衡。
深度学习实战（基于pytroch）系列（四十一）长短期记忆（LSTM）pytorch简洁实现
echo的博客
11-29 1138
本文介绍了使用PyTorch简洁实现长短期记忆网络(LSTM)语言模型的方法。首先读取周杰伦歌词数据集并进行预处理，然后定义包含LSTM层和全连接层的RNN模型类，其中LSTM需要同时处理隐藏状态和细胞状态。文章详细展示了模型初始化、预测函数实现以及训练过程，包括梯度裁剪和数据迭代器设计。通过对比手动实现，突出了PyTorch框架在简化LSTM实现方面的优势，为自然语言处理任务提供了高效的解决方案。
【深度学习新浪潮】DeepSeek V3.2深度解析：稀疏革命与Agent突破，开源模型的效率跃迁
智能守恒_HengAI
12-01 228
DeepSeek V3.2通过DSA稀疏注意力与规模化RL训练的双重创新，不仅实现了"性能不降级、成本降七成"的效率突破，更将开源模型的Agent能力推向新高度。对于开发者而言，标准版的高性价比与增强版的极限推理能力形成互补，既能满足日常业务需求，又可支撑前沿技术探索。随着DSA机制的持续迭代与国产算力适配的深化，开源模型与闭源模型的能力差距正快速缩小。未来值得期待其在多模态稀疏处理、端侧部署优化等方向的进一步突破。你在实际开发中更关注V3.2的长文本处理能力还是Agent工具调用功能？
【代码分享】基于CNN（卷积神经网络）-BiLSTM（双向长短时记忆网络）-KDE（核密度估计）的多变量时间序列预测
2501_94304238的博客
11-30 1707
本文提出了一种基于CNN-BiLSTM-KDE的多变量时间序列预测模型。该模型结合CNN提取时空特征，BiLSTM捕捉时序依赖，并创新性地引入KDE进行误差分布建模，实现高精度的点预测和可靠的区间预测。模型支持任意维度的风电、光伏等能源数据输入，自动完成预处理、训练和预测全过程。实验结果表明，该方法在预测精度和不确定性量化方面表现优异，为能源预测等场景提供了端到端的解决方案。
attention transformer
04-06
注意力变换器（Attention Transformer）是一种深度神经网络模型，广泛应用于自然语言处理、计算机视觉等领域。它通过使用注意力机制，能够自动从输入数据中提取重要特征，有效地提高了模型的性能。其中最著名的应用是Google推出的Transformer，被用于机器翻译任务，并在该领域取得了极高的成果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值