【知识星球】Attention网络结构上新，聚焦才能赢

言有三 言有三 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 500+累计阅读 545平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄15年
关注
原创 最新推荐文章于 2026-06-23 11:18:24 发布 545 阅读 AI 写同款· GEO 优化 ›
Attention机制结构详解 引言 Bert使用了Transformer为主要框架，Transformer能够更彻底的捕捉语句中的双向关系。Transformer的整个网络架构完全是由attention机制组成。因此，想要了解Bert需要从认识attention机制开始。 阅读详情

640?wx_fmt=jpeg

继续咱们的“网络结构1000变”板块，最近上新的内容主要是Attention机制相关的网络结构，即网络如何选择真正感兴趣的区域进行处理，下面是一个代表，更多请移步知识星球网络结构1000变板块。

有三AI知识星球-网络结构1000变

CBAM

640?wx_fmt=png

以前介绍过的Dynamic Capacity Network，Perforated CNNs是从空间维度进行Attention，SENet是从通道维度进行Attention，而CBAM(

Convolutional Block Attention Module)则是同时从空间维度和通道维度进行Attention。

作者/编辑 言有三

通道方向的Attention通过通道内的空间关系获取，原理如下：

640?wx_fmt=png

同时使用最大pooling和均值pooling算法，然后经过几个MLP层获得变换结果，最后分别应用于两个通道，使用Sigmoid函数得到通道的Attention结果。

空间方向的Attention通过通道之间的空间关系获取，原理如下：

640?wx_fmt=png

首先将通道本身进行降维，分别获取最大池化和均值池化结果，然后拼接，再使用一个卷积层进行学习。

这两种机制，分别学习了“怎么看”，“以及看什么”，这样的两个模块可以很容易地嵌入到任何已知的框架中。

640?wx_fmt=png

上表展示了将这个方法用于不同模型后的结果，可知道该模型和SENet性能相当，都显著提升了baseline的性能，尤其是较深的ResNet50和ResNet101。

转载文章请后台联系

侵权必究

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

往期精选

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
DeepSeek R1不是新模型，而是生产级推理引擎 大语言模型推理优化是保障AI落地的核心环节，其本质是通过工程手段提升首token延迟、降低显存占用并增强服务稳定性。动态KV缓存压缩与分层注意力调度作为当前主流优化技术，显著改善长上下文场景下的资源效率与响应实时性。这类推理加速框架不改变模型权重，却能直接决定API服务的SLA达标能力、硬件成本结构及业务集成复杂度。在金融合规、医疗科研、智能客服等对低延迟和高确定性有严苛要求的场景中，推理引擎的成熟度往往比模型参数规模更具实际价值。本文聚焦DeepSeek R1这一典型推理优化实践，解析其如何将V2模型转化 阅读详情

相关推荐

SIGGRAPH Asia 2024｜SOTA！PersonaTalk！基于Attention的数字人生成框架！

PersonaTalk: Bring Attention to Your Persona in Visual Dubbing 对于以音频驱动的视觉配音，保持并突出说话者的个性化同时合成准确的唇形同步仍然是一个相当大的挑战。现有的方法在捕捉说话者的独特说话风格或保留面部细节方面存在不足。在本文中，我们提出了一种基于注意力的两阶段框架，包括几何构建和面部渲染，用于高保真度和个性化视觉配音。在第一阶段，我们提出了一个风格感知的音频编码模块，通过跨注意力层将说话风格注入音频特征。然后使用风格化后的音频特征来驱动说话

A_D_I_D_A_S的博客 668

Attention 机制

SENet 详解 https://blog.youkuaiyun.com/xjz18298268521/article/details/79078551 图解 1.基础网络结构 2.各阶段计算方式公式 3.结构图： 简介 为了更清楚地介绍计算机视觉中的注意力机制，这篇文章将从注意力域（attention domain）的角度来分析几种注意力的实现方法。其中主要是...

weixin_NineDays66 2141

Marin说PCB之LPDDR5的布线注意事项--01

以上就是本期所有内容了，有些是通用的LPDDR5的设计准则，有的是针对单板的设计规则，严格意义说是没有哪一种规则是完全适用的LPDDR5的 通用规则的，不同的单板可能板厚，板材，层数，SOC以及DDR的型号都是不同的，一般的做法就是严格按照SOC手册上的LPDDR5的要求加上仿真同事给的建议修改优化就好了，我们下期文章不见不散。我们知道想要做好一个LPDDR颗粒，需要考虑的是因素有很多例如，电源完整性，信号完整性，层叠的设计，布局的摆放，布线的合理规划，去耦电容的摆放等等。

weixin_45223454的博客 3164

【转载】Attention Mechanism in Deep Learning

本篇随笔为转载，原文地址：知乎，深度学习中Attention Mechanism详细介绍：原理、分类及应用。参考链接：深度学习中的注意力机制。 Attention是一种用于提升基于RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的机制（Mechanism），一般称为Attention Mechanism。Attention Mechanism目前非常流行，广泛应用于机...

weixin_30916125的博客 1637

VTK的编译和部署，配合c++和visual studio2022，VTK开发环境的配置

在官网选择最新的版本下载之后进行解压，然后再里面创建build目录，方便后面使用cmake进行编译。

dz131lsq的博客 3223

Vercel静态站被墙别慌！手把手教你用Cloudflare免费CDN+域名解析搞定DNS污染

本文详细介绍了如何利用Cloudflare免费CDN和域名解析解决Vercel静态网站遭遇DNS污染的问题。通过诊断DNS污染、设计Cloudflare解决方案架构、实战配置步骤以及高级调优技巧，帮助用户快速恢复站点访问并提升防护能力。

weixin_27442001的博客 705

浅谈Attention及Transformer网络

1 Transformer 模型结构 Attention 的编码，把一个输入序列(x1,...,xn)(x_1,...,x_n)(x1​,...,xn​)表示为连续序列z=(z1,...,zn)\mathbf {z} = (z_1,...,z_n)z=(z1​,...,zn​).给定z\mathbf {z}z, 解码生成一个输出序列 (y1,...,ym)(y_1,..., y_m)(y1​,.....

rosefun96的博客 2万+

Claude Desktop Cowork国内实操指南：本地文件自动化办公

大语言模型正从‘问答式AI’迈向‘执行型协作者’，其核心能力在于直接操作本地文件、调用系统工具并嵌入真实工作流。Claude Desktop的Cowork模式正是这一范式的代表，它通过轻量沙箱VM实现对Excel、PPT、PDF、音视频等办公资产的读写与处理，无需手动编码即可完成数据清洗、会议纪要生成、自动化报告输出等任务。技术价值体现在权限可控、环境隔离、结果可交付；典型场景覆盖行政文秘的文档流转、销售运营的数据分析、开发者的脚本调试与环境验证。本文聚焦国内用户高频卡点——网络链路、系统权限与工作流断层，

weixin_30617737的博客 468

Attention的可解释性及其在网络结构中的应用

来源: AINLPer 微信公众号（每日更新…） 编辑: ShuYini 校稿: ShuYini 时间: 2020-06-18 引言      本文首先讨论了使用注意力的关键神经网络体系结构；接着讨论了在神经网络中加入注意力是如何带来显著的性能提高的，通过Attention的可解释性，对神经网络内部工作的有了更深入的了解；最后讨论了三个应用领域的注意建模的应用。 参考论文获取：关注 AINLPer 回复：AMZS Attention在神经网络结构中的应用     面将介绍三种与注意力机制结合使用的神经网.

yinizhilianlove的博客 1641

Qt C++ 电子海图与作战叠加（Overlay）系统

lab_pos->setText(QString("坐标: X%1 Y%2").arg(p.x(),0,'f',0).arg(p.y(),0,'f',0));lab_distance->setText(QString("距离: %1 海里").arg(dist,0,'f',1));lab_bearing->setText(QString("方位: %1°").arg(bear,0,'f',1));// 绘制S-57海图基底。scene->addText("封锁线").setPos(450,180);

寒寒豆豆软件公司的博客 496

OSCP-Algernon（SmarterMail）

从前面的结果中，确实有.NET远程处理在端口17001上运行。因此，此漏洞应适用于目标计算机。下载了漏洞并编辑了以下部分以匹配我的IP并使用本地端口21。端口9998引导到一个SmarterMail的登录页面。设置监听，获得一个反弹shell。端口80重定向到默认IIS页。已经是system权限了。google搜索漏洞。

墨痕诉清风的博客 492

【知识星球】ElementAI提出超复杂多尺度细粒度图像分类Attention模型

欢迎大家来到《知识星球》专栏，这里是网络结构1000变小专题。作者&编辑 | 言有三 1 Attention模型Attention机制已经被证明在很多的任务中都...

hacker_long的专栏 2771

国产FPGA高云GW1NSR-4C，集成ARM Cortex-M3硬核

从板子整体角度来看，这是一款国产化程度很高的板子，从主控FPGA，到JTAG芯片，存储芯片、电源芯片等，都是使用的国产半导体公司的产品。板子整体尺寸也比较迷你，属于小而美类型的，可以认为是一款FPGA核心板，当然也预留了排针接口，给用户足够的扩展空间。对于想了解高云小蜜蜂SoC软硬件开发，以及对云源软件、MCU开发环境做个深度评测来说足够了。JTAG调试器固件可以增加虚拟串口功能，对于板子本来来说面积不会有改动，只需要添加两根信号线即可。

whik1194的博客 6403

Attention Mechanism in Computer Vision

前言本文系统全面地介绍了Attention机制的不同类别，介绍了每个类别的原理、优缺点。 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 概述 Attention机制目的在于聚焦有用的信息，并减少不重要信息的比重。Attention机制可以分为6大类，包括4个基础类别和2个组合类别。4个基础类别分别是通道注意力（channel attention），空间注意力（spatial attention），时间注意力（temporal attent..

CV技术指南（微信公众号） 2069

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android：LinePhone3.2.7(最新版本)，官网地址：http://www.linphone.org/

老版QQ原生表情gif动态

这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。

Attention和全连接层有什么区别？

涉及深度学习，机器学习，计算机视觉，自然语言处理，SLAM，大数据，数据分析，自动驾驶，C/C++，Java等方向。Attention层:通过矩阵运算实现并行，但长序列场景需优化(如稀疏Attention或分块计算)。全连接层:参数规模为输入维度x输出维度，大规模网络易导致参数爆炸(如VGG16的FC层有上亿参数)。Attention层:通过全局相似度计算，直接关联任意距离的输入元素，解决。Attention层:参数量主要来自Q/KN的投影矩阵，通常更少。全连接层:计算密集但易于并行化，适合GPU加速；

具身机器人和通用AI 627

文档：亲测可用解决vnc灰屏，黑屏，鼠标大黑叉情况

主要解决vnc-viewer灰屏，黑屏，鼠标大黑叉等现象，详细见文档。

一文读懂计算机视觉中的注意力机制原理及其模型发展

作者&编辑 | 言有三来源 |AI有道（ID:yanyousan_ai）导读：Attention机制在近几年来在图像，自然语言处理等领域中都取得了重要的突破，被...

AI科技大本营 6098

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

CVPR 2025满分论文! OverLoCK: 一种仿生的卷积神经网络视觉基础模型

值得注意的是，所提出的ContMix是一种即插即用的模块。例如，30M的参数量规模的OverLoCK-Tiny模型在ImageNet-1K达到了84.2%的Top-1准确率，相比于先前ConvNet，Transformer，以及Mamba模型具有明显的优势。具体来说，Top-down Guidance会同时参与计算Gate和动态卷积权重的生成，还会整合到feature map中，从而全方位的将high-level语义信息注入到Focus-Net中，获得更为鲁棒的特征表示能力。

3D视觉工坊 301

注意力机制详解

Attention机制在近几年来在图像，自然语言处理等领域中都取得了重要的突破，被证明有益于提高模型的性能。Attention机制本身也是符合人脑和人眼的感知机制，这里我们主要以计算机视觉领域为例，讲述Attention机制的原理，应用以及模型的发展。 1. Attention机制与显著图 1.1 什么是注意力机制？ 所谓Attention机制，便是聚焦于局部信息的机制，比如图像中的某一个图像区...

程序员深度学习 1万+

模型原理_注意力机制原理及其模型发展和应用

深度学习分享Author：全能言有三转自：有三AIAttention机制在近几年来在图像，自然语言处理等领域中都取得了重要的突破，被证明有益于提高模型的性能。Attention机制本身也是符合人脑和人眼的感知机制，这次我们主要以计算机视觉领域为例，讲述Attention机制的原理，应用以及模型的发展。1 Attention机制与显著图1.1 何为Attention机制所谓Attentio...

weixin_39715652的博客 457

什么是注意力机制？

Attention机制在近几年来在图像，自然语言处理等领域中都取得了重要的突破，被证明有益于提高模型的性能。 Attention机制本身也是符合人脑和人眼的感知机制，这次我们主要以计算机视觉领域为例，讲述Attention机制的原理，应用以及模型的发展。 何为Attention机制？ 所谓Attention机制，便是聚焦于局部信息的机制，比如，图像中的某一个图像区域。随着任务的变化，注意力区域往往...

麦地与诗人 1万+

SOTA！纯视觉多视图BEV下的地图生成和障碍物感知（CVPR2022）

作者|冯偲 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/511477453点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【领域综述】获取自动驾驶全栈近80篇综述论文！论文名：Cross-view Transformers for real-time Map-view Semantic Segm...

CV_Autobot的博客 1761

注意力机制原理_【AI不惑境】计算机视觉中注意力机制原理及其模型发展和应用...

大家好，这是专栏《AI不惑境》的第八篇文章，讲述计算机视觉中的注意力(attention)机制。进入到不惑境界，就是向高手迈进的开始了，在这个境界需要自己独立思考。如果说学习是一个从模仿，到追随，到创造的过程，那么到这个阶段，应该跃过了模仿和追随的阶段，进入了创造的阶段。从这个境界开始，讲述的问题可能不再有答案，更多的是激发大家一起来思考。作者&编辑 | 言有三Attention...

weixin_39753857的博客 329

RV融合SOTA！Cramnet：射线约束交叉注意力3D检测（Waymo最新）

作者|王汝嘉 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/576042183点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【多传感器融合综述】获取图像/激光雷达/毫米波雷达融合综述等干货资料！论文：https://arxiv.org/pdf/2210.09267.pdf作者单位: Waymo论...

CV_Autobot的博客 701

论文研读：用YOLOv12为自动驾驶点亮“夜行灯”——第一人称视角夜间远光灯检测的破局之路

本文探讨自动驾驶系统在夜间遭遇远光灯干扰的检测问题。研究提出首个针对第一视角的夜间远光灯检测任务，采用YOLOv12模型，创新性地利用Area-Attention机制处理局部强光干扰。团队构建了包含235张精细标注图像的数据集，填补了该领域空白。实验显示模型达到94.3%的精确度和370FPS的处理速度，但也识别出在极端HDR和小目标场景下的局限性。研究为自动驾驶夜间安全感知提供了新思路，未来将重点优化小目标检测并扩充数据集。

2301_79620041的博客 1589

麻省理工！FlatFormer: 一种高效的点云Transformer

作者| 汽车人 编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/607958769?点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【领域综述】获取自动驾驶全栈近80篇综述论文！论文：https://arxiv.org/pdf/2301.08739.pdf作者单位：麻省理工学院 上海交通大学 清...

CV_Autobot的博客 1613
上一篇： 【AI大咖】ML宗师乔教主，Science评选的全世界最有影响力的计算机科学家
下一篇： 【图像分类】基于Pascal VOC2012增强数据的多标签图像分类实战
点赞 0
评论 0
书签 书签 0
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3635粉丝 976原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值