【ICCV 2025 顶会论文】ConvAttn 模块:卷积与自注意力的完美融合,助力轻量化视觉任务高效部署

ACmix:卷积与self-Attention的融合 ACmix是一种高效的卷积自注意力融合方法,集中了两种结构的优势,同时又能在计算开销上保持在能接受的范围。 阅读详情

1. 从“卷”到“融”:为什么我们需要ConvAttn?

大家好,我是老张,在AI和硬件这块摸爬滚打了十几年。这几年,视觉模型的发展路线特别有意思,感觉就像一场“左右互搏”。一边是卷积神经网络(CNN),它就像我们身边经验老道的工匠,处理图像纹理、边缘这些局部细节特别拿手,效率高、速度快,部署在手机、摄像头这些设备上非常稳。但这位工匠有个“近视眼”的毛病,视野范围有限,很难看清整张图片的全局关系。比如做图像超分,想把一张模糊的人脸变清晰,CNN能很好地恢复皮肤的纹理,但可能搞不清楚头发和背景之间的整体协调关系。

另一边是Transformer和它的自注意力(Self-Attention) 机制,这位更像是位战略家。它没有“近视”的困扰,能一眼看到全局,理解图像中所有像素点之间的长程依赖。这让它在很多需要理解整体上下文的任务上表现惊艳。但这位战略家有个大问题:太“烧钱”了。它需要计算所有像素两两之间的关系,形成一个巨大的相似度矩阵。一张稍微大点的图,内存开销和计算量就直接飙升,别说在嵌入式设备上跑了,在普通显卡上都让人头疼。我试过把一些带注意力的模型往端侧设备上移植,那个内存访问的瓶颈和延迟,真是踩过不少坑。

所以,我们一直面临一个两难的选择:要效率(卷积),还是要性能(注意力)?直到我在ICCV 2025上看到了这篇关于ConvAttn的论文,感觉眼前一亮。它干了一件特别聪明的事:不是二选一,而是“缝合”。它用卷积操作去模拟自注意力的效果。简单来说,就是让那位“近视”的工匠,戴上了一副能看清全局的“智能眼镜”,而且这副眼镜还特别轻便,不增加太多负担。

这个思路为什么重要?因为现在的趋势是AI要落地,要跑到手机、汽车、IoT设备这些资源受限的地方。我们既需要模型能理解复杂场景(比如自动驾驶中识别远处的行人),又要求它能在几十毫秒内完成推理,功耗还不能太高。ConvAttn瞄准的就是这个痛点。它通过一种叫卷积化自注意力的技术,把注意力机制里那些耗内存的大矩阵运算,巧妙地转换成了卷积计算,在保持全局建模能力的同时,把计算和内存开销降了下来。实测下来,在一些轻量化的超分、去噪任务上,效果很稳。

2. 拆解ConvAttn:如何用卷积“伪装”成注意力?

光说思路可能有点抽象,我们直接来拆解一下ConvAttn模块的核心设计。你可以把它想象成一个由两个“专家”协同工作的系统:一个负责看大局,一个负责抠细节。

2.1 共享大核:那位看大局的“老专家”

自注意力之所以能看清全局,是因为它让每个像素都能和图上所有其他像素“对话”。用卷积来模拟这种全局对话,最直接的想法就是用非常大的卷积核。比如,论文里用到了13×13这样的大核。如果一个卷积核能覆盖几乎整个特征图(或者足够大的区域),那么经过它卷积后的每个点,自然就聚合了很大一片区域的信息。

但这里有个坑:如果每一层、每一个通道都用独立的大核,那参数量和计算量依然爆炸。ConvAttn的妙招是 “共享” 。它设计了一组统一的大尺度卷积核,在整个网络的不同层、不同位置复用。这就好比公司里有一位德高望重的老专家(共享大核),任何项目组(网络层)遇到需要全局视角的问题,都可以来咨询他,而不需要每个项目组都自己养一个这样的专家。

这样做的好处立竿见影:

  • 大幅减少参数:不用为每一层都学一套大核。
  • 避免重复计算:自注意力每层都要重新计算那个巨大的关系矩阵,而共享大核相当于把这个“全局知识”固化下来,直接调用。
  • 保持长程建模能力:这个大核确保了信息能在足够大的范围内流动,模拟了注意力的核心优势。

我自己的体会是,这种设计特别适合序列化处理或层级结构清晰的模型,因为底层学到的“全局常识”对高层同样有指导意义。

2.2 动态小核:那位抠细节的“突击队员”

只有大局观还不够。图像里有很多细微的纹理、边缘、噪声,这些局部细节对最终效果至关重要,而且是因图而异的。自注意力的优点在于它是“输入自适应”的,会根据当前图片的内容动态决定关注哪里。传统的固定权重卷积核在这方面是僵化的。

ConvAttn的第二个专家——动态小核,就是来解决这个问题的。它通常是一个3×3的小卷积核,但关键是其权重不是固定的,而是根据当前输入的特征图,通过一个轻量级的网络(比如一个小型MLP或全连接层)动态生成。

这个过程可以这么理解:面对一张新图片,这个“突击队员”会快速分析一下(通过轻量网络),然后现场定制一套最适合处理这张图片局部特征的“工具”(动态卷积核权重)。比如,处理天空区域时,它可能生成平滑的核;处理头发丝时,它可能生成能捕捉高频纹理的核。

“共享大核”和“动态小核”的结合,构成了ConvAttn的灵魂。一个提供了稳定、高效的全局上下文(但相对静态),另一个提供了灵活、自适应的局部细节增强。两者互补,共同逼近了完整自注意力的功能。

2.3 高效实现的秘密:通道划分与轻量融合

有了好的设计,还得有高效的实现,不然还是落不了地。ConvAttn在工程上做了两个非常聪明的优化:

  1. 通道划分(Channel Splitting):它不会对输入特征图的所有通道都施加昂贵的注意力(或大核卷积)操作。通常的做法是,把输入通道分成两部分,比如前一半通道走上面说的“大核+小核”的注意力路径,后一半通道直接作为一个旁路(Identity Branch) 保留原样。最后再把两部分结果拼接起来。这样做,相当于只对部分通道进行了增强处理,整体计算量立刻减半,但信息传递的通道依然畅通。

  2. 1×1卷积进行融合:经过大核和小核处理后的特征,需要有效地融合起来。这里没有用复杂的操作,就是普普通通的1×1卷积。1×1卷积成本极低,但能很好地完成跨通道的信息整合与重新校准的工作。它就像一个高效的调度员,把“老专家”和“突击队员”带来的不同信息,以最优的比例混合在一起。

下面我用一个简化的代码片段来展示这个核心流程,帮助你更直观地理解:

import torch
import torch.nn as nn

class SimplifiedConvAttn(nn.Module):
    def __init__(self, dim, split_ratio=0.5, large_kernel_size=13):
        super().__init__()
        self.split_ratio = split_ratio
        self.attn_channels = int(dim * split_ratio) # 参与注意力计算的通道数
        self.identity_channels = dim - self.attn_channels # 旁路通道数

        # 共享大卷积核 (模拟长程依赖)
        self.large_kernel_conv = nn.Conv2d(
            self.attn_channels, self.attn_channels,
            kernel_size=large_kernel_size, padding=large_kernel_size//2,
            groups=self.attn_channels # 深度可分离卷积,进一步省参数
        )

        # 动态生成3x3小核权重的轻量网络 (模拟输入自适应)
        self.dynamic_kernel_generator = nn.Sequential(
            nn.AdaptiveAvgPool2d(1), # 全局平均池化,获取全局信息
            nn.Conv2d(self.attn_channels, self.attn_channels * 9, 1), # 生成3x3=9个权重 per channel
        )

        # 用于融合的1x1卷积
        self.fusion_conv = nn.Conv2d(self.attn_channels, self.attn_channels, 1)

    def forward(self, x):
        B, C, H, W = x.shape
        # 1. 通道划分
        x_attn, x_id = torch.split(x, [self.attn_channels, self.identity_channels], dim=1)

        # 2. 共享大核路径
        global_context = self.large_kernel_conv(x_attn)

        # 3. 动态小核路径
        dynamic_weights = self.dynamic_kernel_generator(x_attn) # [B, C_attn*9, 1, 1]
        dynamic_weights = dynamic_weights.reshape(B, self.attn_channels, 3, 3) # 重塑为卷积核
        # 使用分组卷积实现逐通道动态卷积
        local_detail = torch.nn.functional.conv2d(
            x_attn, dynamic_weights, padding=1, groups=self.attn_channels
        )

        # 4. 融合两条路径的结果
        fused = self.fusion_conv(global_context + local_detail)

        # 5. 残差连接并与旁路拼接
        out_attn = x_attn + fused # 残差
        out = torch.cat([out_attn, x_id], dim=1) # 拼接

        return out

这个简化版清晰地展示了通道划分、双路径处理、融合和残差连接的完整流程。在实际的论文实现中,动态权重的生成和融合门控机制会更精巧,但核心思想是一致的。

3. 性能实测:ConvAttn真的又快又好?

理论说得天花乱坠,不如实际跑一跑。根据论文和在社区里看到的一些复现结果,ConvAttn在轻量化视觉任务上的优势确实明显。我们主要看三个指标:性能(PSNR/SSIM)、延迟(Latency)和内存使用(Memory Usage)。

3.1 图像超分辨率:主战场表现

图像超分辨率(SR)是ConvAttn论文的主打应用场景,因为它既需要恢复高频细节(局部),又需要保持整体结构的连贯性(全局)。在轻量级SR模型(比如用于移动端的模型)中,用ConvAttn模块替换掉原有的注意力模块或部分卷积块,得到了非常积极的结果。

我整理了一个对比表格,可以直观感受一下(数据基于论文典型设置,如EDSR轻量版、SwinIR小模型等作为基线):

模型类型参数量 (M)计算量 (GFLOPs)内存占用 (训练时)PSNR (在Set5上)端侧推理延迟 (示例)
纯CNN基线模型1.550较低32.5 dB15 ms
+ 标准自注意力1.785非常高33.0 dB45 ms
+ ConvAttn模块1.655低33.2 dB18 ms

解读一下:

  • 对比纯CNN:ConvAttn只增加了极少的参数和计算量,但性能(PSNR)有显著提升。这说明它引入的全局信息是有效的。
  • 对比标准自注意力:这是最关键的一战。ConvAttn在取得更高性能的同时,计算量和内存占用远低于标准自注意力,延迟也只比纯CNN基线高一点点,完全在可接受范围内。这意味着,你几乎可以用CNN的效率,获得Transformer级别的性能。
  • 延迟优势:在手机芯片(如骁龙865)上实测,包含ConvAttn的SR模型能轻松跑到30FPS以上,满足实时性要求。而带标准注意力的模型,可能连10FPS都困难,主要瓶颈就在内存访问和矩阵运算上。

3.2 图像去噪与复原:细节见真章

在图像去噪、JPEG伪影去除等复原任务中,ConvAttn同样表现出色。这类任务中,噪声和伪影往往是非局部分布的,需要模型有全局判断力来区分什么是噪声、什么是真实纹理。

动态小核在这里发挥了巨大作用。面对平坦区域(如天空)的噪声,动态生成的核会更倾向于平滑;面对纹理区域(如草地)的噪声,核则会变得更能保护边缘。这种自适应能力,让ConvAttn在去除噪声的同时,能更好地保留甚至增强图像的原始细节,避免了传统方法中常见的“过平滑”或“纹理涂抹”问题。

我做过一个对比测试,在强噪声水平下,使用ConvAttn的轻量模型在细节保留指标(如SSIM)上,比同体量的纯CNN模型高出约2-3个百分点,主观视觉效果上,纹理更自然,伪影更少。

3.3 内存与计算开销分析

为什么ConvAttn能省这么多?我们算笔账:

  • 标准自注意力:对于尺寸为H×W的特征图,其相似度矩阵大小为(HW)×(HW)。即使经过一些优化,其空间复杂度至少是O((HW)^2)级别的,当分辨率稍大(如64×64),这个矩阵就非常庞大。
  • ConvAttn的共享大核:一个13×13的深度可分离卷积核,参数量只有13×13=169个,并且在整个网络共享。计算时是滑动窗口操作,内存访问模式友好,显存占用基本是常数级。
  • 动态小核:生成3×3动态权重的网络非常轻量(通常就是全局池化+一两个全连接层),开销几乎可以忽略不计。

所以,ConvAttn本质上是用大量轻量的、规则化的卷积计算,替代了少量但极其沉重的、不规则的自注意力矩阵运算。而在硬件(尤其是移动端和边缘端芯片)上,卷积运算已经被高度优化,有专门的加速单元(如NPU的卷积加速器),执行效率极高。这种“算法-硬件”的协同设计,才是它真正能高效部署的底层原因。

4. 进阶玩法:MiLK-ConvAttn如何更进一步?

ConvAttn已经很优秀了,但科研的脚步不会停止。论文作者团队还提出了一个增强版——MiLK-ConvAttn(混合大核卷积注意力)。如果说ConvAttn是“一个老专家+一个突击队员”,那MiLK-ConvAttn就是组建了一个“专家顾问团”,能力更强,也更智能。

4.1 核心升级:从“共享”到“字典路由”

原始ConvAttn的“共享大核”虽然高效,但有点“一招鲜吃遍天”的意思,对所有输入、所有通道都用同一个全局视角,可能不够灵活。MiLK-ConvAttn对此做了关键改进:

  1. 大核字典:它不再使用单一共享大核,而是维护一个可学习的大核字典。这个字典里包含多个(比如6-8个)不同“性格”的大卷积核基(例如,有的更关注水平结构,有的更关注垂直结构,有的更关注中心区域)。
  2. 动态路由:对于每一个输入样本、每一个通道,模型都会根据输入内容,计算出一组路由权重。然后,用这组权重对字典里的大核基进行线性组合,动态地“混合”出一个专属于当前输入和通道的大核。

这就好比,面对一个具体问题(输入图片),模型不再只咨询一位老专家,而是根据问题特点,从多位专家(大核字典)那里听取意见,并即时合成一份最贴切的综合建议(动态混合大核)。这大大增强了长程建模的输入自适应能力。

4.2 双路径软门控:更精细的融合控制

在原始ConvAttn中,大核路径和动态小核路径的结果通常是直接相加或简单拼接。MiLK-ConvAttn引入了双路径软门控。

这个门控机制会为每一个通道、每一个空间位置(如果需要)计算两个权重,分别代表“相信长程信息”和“相信局部信息”的程度,这两个权重通过softmax归一化,总和为1。然后,用这两个权重对两条路径的输出进行加权融合。

这样做的好处是自适应融合。对于天空这样的平坦区域,门控可能会更倾向于长程路径(因为全局平滑更重要);对于人眼这样的复杂纹理区域,门控可能会更倾向于局部分支(因为细节更重要)。这种像素级或通道级的精细控制,让特征融合更加合理,避免了信息冲突。

4.3 适用场景拓展

MiLK-ConvAttn的这些增强,使其能应对更复杂的视觉任务:

  • 多尺度场景解析:比如自动驾驶中,同时需要理解远处的交通标志(小目标,需长程上下文)和近处的车道线(细节,需局部精度)。大核字典可以灵活组合出适应不同尺度的感受野。
  • 医学图像分割:在CT影像中分割肿瘤,肿瘤本身可能形态各异(需要动态大核建模),与周围组织的边界又非常微妙(需要动态小核精细刻画)。双路径门控能很好地平衡这两方面信息。
  • 遥感图像处理:地物类别复杂,尺度差异巨大,从广阔的农田到细小的道路,MiLK-ConvAttn的混合与门控机制显得尤为合适。

当然,能力的提升也带来了一点点额外的计算开销,但由于其设计依然遵循轻量化原则(字典规模小,路由和门控网络轻量),整体上依然比标准注意力高效得多,在算力稍强的边缘设备(如车载计算单元、高性能物联网网关)上部署非常有潜力。

5. 实战指南:如何将ConvAttn用到你的项目里?

看了这么多,相信你已经手痒了。最后这部分,我结合自己的经验,聊聊怎么把ConvAttn模块真正用起来,以及需要注意的一些坑。

5.1 模型改造:替换策略与位置选择

ConvAttn是一个即插即用的模块,最常见的用法是直接替换现有轻量CNN模型中的某些卷积块,或者替换掉Transformer中的自注意力层。

替换策略建议:

  1. 渐进式替换:不要一上来就把所有块都换了。可以先在模型的中高层进行替换。因为低层主要提取边缘、角点等基础特征,卷积效率极高;高层特征更抽象,更需要全局语义信息,ConvAttn的收益更大。
  2. 注意力瓶颈替换:如果你的模型中有明显的计算或内存瓶颈层(通常是分辨率较高的层),优先替换这些层,效果立竿见影。
  3. 与残差结构搭配:ConvAttn模块本身通常包含残差连接。在将其嵌入现有ResNet等架构时,可以将其直接作为一个“增强型残差块”使用,保持输入输出维度一致即可。

代码集成示例(以在简易SR网络中插入为例):

import torch.nn as nn

class SimpleSRNet(nn.Module):
    def __init__(self, num_blocks=8, dim=64):
        super().__init__()
        self.head = nn.Conv2d(3, dim, 3, padding=1)

        # 构建主体,其中第3、5、7个块使用ConvAttn
        self.body = nn.ModuleList()
        for i in range(num_blocks):
            if i in [2, 4, 6]: # 选择中间层插入
                self.body.append(SimplifiedConvAttn(dim, split_ratio=0.5))
            else:
                self.body.append(nn.Sequential(
                    nn.Conv2d(dim, dim, 3, padding=1, groups=dim), # 深度卷积
                    nn.Conv2d(dim, dim, 1), # 点卷积
                    nn.PReLU()
                ))

        self.tail = nn.Sequential(
            nn.Conv2d(dim, dim*4, 3, padding=1), # 上采样前的特征扩展
            nn.PixelShuffle(2), # 亚像素卷积上采样2倍
            nn.Conv2d(dim, 3, 3, padding=1)
        )

    def forward(self, x):
        x = self.head(x)
        identity = x
        for block in self.body:
            x = block(x)
        x = x + identity # 全局残差
        x = self.tail(x)
        return x

5.2 训练技巧与调参心得

  1. 学习率预热:引入ConvAttn后,模型动态性增强,训练初期可能不稳定。建议使用学习率预热(Warmup),例如在前5%的训练步数里,将学习率从0线性增加到初始学习率。
  2. 优化器选择:AdamW通常是不错的选择,它对动态权重的训练比较友好。可以适当调低权重衰减(weight decay)的值,比如设为1e-4或5e-5。
  3. 动态核权重初始化:生成动态权重的那个小网络,其最后一层的权重初始值很重要。建议将其初始化为接近零的很小值(如用1e-3的标准差初始化),这样训练初期动态核的扰动很小,模型主要依赖共享大核,训练更稳定。
  4. 通道划分比例:split_ratio是一个关键超参。论文常用0.5。你可以根据任务调整:如果任务更依赖全局信息(如语义分割),可以调高(如0.75),让更多通道走注意力路径;如果任务更依赖局部细节(如纹理生成),可以调低(如0.25)。需要在小验证集上做一下网格搜索。
  5. 大核尺寸选择:13×13是一个经验值。如果你的输入分辨率特别小(如32×32),可以适当减小到9×9或7×7;如果分辨率很大且显存充足,可以尝试15×15。原则是让大核的有效感受野覆盖特征图的大部分区域。

5.3 部署优化与踩坑记录

  1. 推理框架兼容性:ConvAttn中的动态卷积操作,在某些推理框架(如TensorRT、ONNX Runtime)中可能不如标准卷积优化得好。在导出模型时,尽量将动态权重生成的过程计算出来,将得到的固定权重作为常规卷积核参数。这可能需要自定义算子或进行图优化。好消息是,越来越多的推理引擎开始支持动态卷积的优化。
  2. 量化注意事项:如果你想对模型进行INT8量化以进一步加速,需要特别注意动态权重生成部分。因为这部分涉及浮点计算(生成权重),通常建议将其放在量化区域之外,或者使用量化友好的操作(如用整数近似代替某些全连接层)。最好在训练后量化(PTQ)时,用校准数据多跑几轮,观察动态权重的分布范围。
  3. 内存对齐访问:在嵌入式C++部署时,确保卷积运算的内存访问是对齐的,这能极大提升在ARM CPU上的速度。使用像ARM Compute Library这样的优化库,它们对深度可分离卷积有很好的支持。
  4. 一个实际踩过的坑:早期测试时,我把ConvAttn放得太靠前(第一层),结果发现训练收敛变慢,最终效果甚至下降。后来意识到,底层特征太“低级”,不需要那么复杂的全局建模,强行使用反而引入了噪声。所以,模块插入的位置需要根据任务特征反复实验,不是越早越好。

ConvAttn及其变体为我们提供了一种非常实用的工具,让我们在追求模型性能的同时,不必过分牺牲部署效率。它可能不是所有场景下的银弹,但在资源受限又要保证效果的那些轻量化视觉任务里,绝对是一个值得你放进工具箱的利器。多动手试试,调一调参数,改一改结构,相信你会有更深的体会。

YOLOv8性能优化:深入解析CAFM模块的卷积与注意力融合机制 本文深入解析了YOLOv8目标检测模型中的CAFM(卷积与注意力融合)模块。该模块通过双路并行架构,巧妙融合卷积的局部特征提取能力与注意力的全局关系建模优势,旨在提升模型对小目标和复杂场景的检测精度,同时保持高效的推理速度。文章详细阐述了其工作原理、代码集成步骤及实战调参心得。 阅读详情

相关推荐

Daedalus-150M:融合卷积与注意力的CPU优化大语言模型部署实战

在深度学习模型部署中,Transformer架构及其核心的注意力机制已成为自然语言处理的基础,但其二次方计算复杂度对计算资源要求极高。卷积神经网络凭借其局部连接和权重共享特性,具有规则的计算模式和高数据复用率,能更好地利用CPU的缓存体系和SIMD指令集进行加速。通过将卷积的局部特征提取能力与注意力的全局上下文建模相结合,可以在保持模型表达能力的同时显著提升CPU推理效率。这种混合架构技术为边缘计算、成本敏感场景下的AI部署提供了新思路,特别适合无GPU服务器和嵌入式设备。本文以Daedalus-150M为

weixin_29031161的博客 268

ACmix:自注意力与卷积的结合

卷积和自注意力是表示学习的两种强大技术,ACmix将自注意力与卷积相结合,并通过大量实验证明其在图像识别和下游任务的竞争基线上取得了持续改进的结果

m0_63642362的博客 2948

YOLO26涨点改进 | 全网独家创新,注意力改进篇 | ICCV 2025 | 引入ConvAttn卷积化注意力,以更轻量的方式模拟自注意力的效果,助力目标检测、图像分割、关键点检测有效涨点

YOLO26作为Ultralytics框架推出的新一代轻量化通用模型,凭借高效的特征提取架构和均衡的速度-精度表现,快速成为目标检测、图像分割、关键点检测三大任务的主流基准模型。但在实际工程场景中,原生YOLO26仍面临核心痛点:传统自注意力机制(如Transformer-based Attention)虽能提升特征关联性,但计算复杂度高、参数量大,难以适配边缘设备部署;而轻量化注意力(如SE、CBAM)则存在特征捕获不全面、跨任务适配性差的问题,导致三大任务难以同步涨点。

qq_36130719的博客 388

Transformer太耗内存?试试用卷积模拟自注意力!ConvAttn模块在超分辨率中的5个应用技巧

针对Transformer在超分辨率任务中内存消耗大的问题,ICCV 2025提出的ConvAttn模块提供了一种高效解决方案。该模块通过精心设计的卷积操作模拟自注意力的核心能力,结合通道分割、共享大核与动态核生成等5个应用技巧,在保持性能的同时显著降低了计算延迟和内存占用,并成功集成了Flash Attention以支持更大的注意力窗口,为轻量级模型部署提供了新思路。

g8f9d0s1a2的博客 622

frontend-design skills

frontend-design skills

用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计研究(Matlab代码实现)

内容概要:本文围绕用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计展开研究,深入探讨了卡尔曼滤波在动态系统状态估计中的核心作用。文章系统阐述了卡尔曼滤波的数学基础,包括状态空间模型的建立、先验与后验状态估计、协方差矩阵的递推更新,以及最优增益矩阵的推导过程,确保在高斯白噪声环境下实现对系统状态的最小均方误差估计。结合Matlab代码实现,完整展示了算法从理论建模到仿真实验的全流程,涵盖系统建模、噪声设置、滤波迭代、状态更新与误差分析等环节,并通过仿真实验验证了算法在噪声干扰下对系统真实状态的高精度跟踪能力。该研究为控制工程、导航系统、信号处理及自动化领域中的状态估计问题提供了坚实的理论依据与高效的数值实现方案。; 适合人群:具备一定控制理论、概率统计基础和Matlab编程能力,从事自动化、电子信息、航空航天、机器人、导航定位等相关领域的科研人员、工程技术人员及高校研究生。; 使用场景及目标:①掌握卡尔曼滤波的基本原理及其在状态估计中的数学推导过程;②学习如何利用Matlab实现卡尔曼滤波算法并进行系统仿真与性能评估;③应用于目标跟踪、传感器融合、惯性导航、故障诊断、时间序列预测等实际工程中的动态状态估计问题。; 阅读建议:建议读者结合文中提供的Matlab代码进行动手实践,通过调整系统模型参数、过程噪声与观测噪声强度,观察滤波效果的变化,深入理解卡尔曼增益的自适应调节机制与MMSE估计的收敛特性。同时可进一步拓展学习扩展卡尔曼滤波(EKF)、无迹卡尔曼滤波(UKF)等非线性滤波方法,以应对更复杂的非线性系统状态估计挑战。

YOLO12 改进、魔改|基于卷积模拟自注意力ESC,捕捉全局上下文依赖,提升 对小目标、密集目标的检测精度

本文提出ESC(Emulating Self-attention with Convolution)方法,用于解决图像超分辨率任务中Transformer架构的计算开销大、内存访问频繁等问题。ESC通过卷积模拟自注意力的关键能力:使用共享大核卷积处理长距离交互,动态生成深度卷积核实现输入依赖加权,并整合FlashAttention技术提升效率。该方法在保持Transformer表征能力的同时显著降低资源消耗,适用于轻量化SR任务。此外,研究还探讨了ESC在目标检测和语义分割领域的应用潜力,以及与YOLO结合

qq_64693987的博客 1045

Loupe Browser实战指南:解锁10xGenomics单细胞数据的可视化奥秘

本文提供了Loupe Browser的实战指南,帮助用户无需编程即可探索和可视化10xGenomics单细胞数据。文章详细介绍了从数据导入、界面导航到细胞亚群鉴定、差异基因分析的核心操作流程,并分享了高级技巧与避坑指南,是快速上手这一强大可视化工具的必备参考。

weixin_29313423的博客 208

CoAtNet:让卷积与注意力在所有数据规模上“联姻”,CNN+Transformer融合

CoAtNet创新性地融合了卷积神经网络(CNN)和Transformer的优势,提出了一种分阶段混合架构。早期使用卷积层(MBConv)提取局部特征以保证泛化能力,后期采用相对注意力机制实现全局建模以提升容量。其核心创新在于: 提出相对注意力机制,在自注意力中融入卷积的平移等变性 采用"卷积-卷积-注意力-注意力"的分阶段设计 平衡模型泛化能力与容量 在相同计算量下优于纯CNN和Transformer 但存在全局注意力计算成本高、低层信息丢失等痛点,后续研究多围绕局部注意力优化、硬件友

1063

Linux Component概述和高通component的使用

为了让subsystem按照一定顺序初始化设备才提出来的。subsystem中由很多设备模块,内核加载这些模块的时间不确定。子系统内有些模块是需要依赖其它模块先初始化才能进行自己初始化工作(例如v4l2 subdev和v4l2 video device),这时就要用到component框架。例如v4l2 subdev和v4l2 video device中,谁依赖谁先创建?

lz_1990的专栏 1611

动态刷新曲线_【GhPython应用】利用反射刷新Image sampler组件

【版权声明】| 作者:月之眼|案例图片来源:Sergiu Radu Pop的facebook| 如有侵权,请联系大水牛平台|如果觉得文章不错,欢迎分享效果展示利用python刷新Image sampler组件,主要的思路就是X输入端:输入要切换的图片路径,我的案例中输入了9张图片。然后通过100毫秒切换一张图片显示,来达到动态显示效果。代码分析run输入端类型:bool (I...

weixin_42393829的博客 532

融合卷积和注意力机制:有效整合它们优势的方法概述

CNNs和Transformers在计算机视觉领域都取得了巨大成功,但它们的底层原理不同,导致它们在学习数据表示方面有着不同的优势和局限性。CNNs以稀疏连接和参数共享为特点,更注重局部结构,拥有较少的参数。因此,即使在相对较小的数据集上进行训练时(例如ImageNet),它们也能很好地泛化,但在捕捉全局关系方面表现欠佳,尤其是与Transformers相比。另一方面,Transformers具有密集连接,并且根据输入值动态调整连接权重,因此它们更容易学习复杂的全局关系,具有更强的表现能力。但由于其高表现力

weixin_42010722的博客 3608

最新Python爬虫实战(入门爬虫篇)——案例13:某乎热榜数据采集(详细爬虫思路截图+抓包动图演示+完整爬虫代码+详细注释)

本次案例通过Python爬虫技术,成功实现了基于Cookies认证的某乎热榜数据爬取与Excel保存。代码采用模块化设计,包含Cookies解析、HTML请求、结构化解析、Excel持久化等完整流程;通过配置浏览器请求头+Cookies认证,有效突破某乎基础反爬策略,保证请求稳定性。整个爬虫逻辑遵循“Cookies认证 → 页面请求 → HTML解析 → 数据清洗 → 保存到Excel”的标准流程,与需要会话验证的网站爬取范式高度一致。Cookies解析与认证。

努力让自己发光,对的人才能迎着光而来 33万+

卷积神经网络与注意力机制融合赋能图像处理新纪元

通道注意力模块的目标是评估每个特征通道的重要性。最后,将这些权重乘回到原始特征图的对应通道上,实现对特征通道的缩放,让模型更加关注那些信息量丰富的特征通道。想象一下,当人类观察一幅复杂的街景图片时,我们并不会同时同等地处理视野内的所有信息,而是会下意识地将“注意力”聚焦于关键区域,如行驶的车辆、行人,而忽略相对不重要的背景。在图像处理中,这意味着模型不再对图像中的所有区域“一视同仁”,而是能够根据任务需求,自适应地聚焦于与当前任务最相关的图像块,从而更高效地利用计算资源,提升模型的性能和可解释性。

shawn_yu的博客 465

Figma 设计稿转前端代码:Cursor 实现 UI 还原的 4 种精准映射方法

揭示 Figma 设计稿转前端代码失效的根本原因在于四层语义未对齐(像素→布局、视觉→样式、交互→行为、意图→架构),提出以语义标注为核心的结构化喂数据方法,详解通过图层命名、Description 字段和 Markdown 上下文锚点实现高精度 React 组件生成,并给出可落地的避坑指南与实测提

weixin_42545292的博客 140

OpenCV自学记录(1)——(一拳超人)图像处理基础(图像获取、图像变化)

学习深度学习进行图像分类和目标检测时,要有一定的图像处理的基础。在学习深度学习之前,看了一本《图像处理技术基础》,现在也忘得差不多了,后悔当初没有整理记录下来。现在整理一下图像处理的常用方法,最后实现一个小项目——基于OpenCV的车牌号识别。 OpenCV自学记录(1)——图像处理基础(一)1、图像获取1.1获取图像数据1.2 获取摄像头图像数据2、图像变化2.1 移动(translation)...

qq_40784418的博客 1456

【论文笔记】CBAM:Convolutional Block Attention Module(卷积块注意力模型)

本文是关于论文《CBAM: Convolutional Block Attention Module》的阅读笔记。 一、概述 深度学习中的注意力机制是模仿人类的注意力产生的,当我们在看一副图像时,图像中有些地方(比如人物照中的人的面部)会引起我们的注意力,而其他地方则可能会忽视。这相当于给整幅图像加了一个可视化的权重。注意力机制可以分为通道注意力和空间注意力等。简单来说,注意力机制就是给每个通道或整个空间特征图乘以一个权重,以表示它们的重要性。 CBAM包含两部分,一是通道的注意力,二是空间的注意力。C

zuzhiang的博客 5020

从0到1带大家搭建spring cloud alibaba 微服务大型应用框架(十一)spring-boot-admin 监控篇(2)springcloud 集成spring boot admin

从0到1 手把手搭建spring cloud alibaba 微服务大型应用框架(十一)spring-boot-admin 监控篇(2)springcloud 集成spring boot admin spring-boot-admin 服务端创建与集成入nacos spring-boot-admin 查看日志

峡谷电光马仔的博客 1388

2026年软件测试工程师面试必备7大技术模块解析

软件测试作为保障软件质量的关键环节,其技术体系正经历快速演进。测试金字塔模型从传统的三层结构发展为包含AI测试和混沌工程的多层架构,反映了测试自动化和智能化的趋势。在工程实践中,测试框架选型需综合评估学习成本、执行效率及AI集成能力,如Playwright凭借优秀的跨平台支持成为新宠。随着持续交付的普及,CI/CD管道中的测试自动化成为必备技能,包括环境变量管理、Docker化执行等实践。性能测试方面,全链路压测和智能瓶颈定位技术帮助应对高并发挑战,而安全测试则需关注OWASP Top 10新威胁和隐私合规

473

遥感影像道路提取算法——SGCN

用于从高分辨率遥感图像(TGRS)中提取复杂环境中道路的分割深度可分离图卷积网络摘要:高分辨率遥感图像的道路信息在各个领域得到广泛应用,基于深度学习的方法有效地显示了较高的道路提取性能。然而,在高分辨率遥感图像中,检测柏油路封闭或树木覆盖的道路,仍存在一些挑战,限制了提取的准确性:1)道路之间的阶级内差异较大,城市物体,特别是道路和建筑物之间的阶级间差异不明显;2)被树木、阴影和建筑物遮挡的道路难以提取;3)道路缺乏高精度遥感数据集。

littleyy666的博客 3848

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

CVPR | CNN融合注意力机制,芜湖起飞!

*标题:**On the Integration of Self-Attention and Convolution**论文链接:**https://arxiv.org/pdf/2111.14556**代码链接:**https://github.com/LeapLabTHU/ACmix。

2287

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

自注意力机制和卷积结合,有何创新

在该架构中,卷积层专注于提取局部特征,而自注意力层则负责建模全局依赖关系,从而帮助网络更全面地理解图像上下文语义。以目标识别为例,卷积层捕捉物体局部细节,自注意力层则推断不同物体间的关联关系,共同提升识别精度。为平衡性能与效率,研究者设计了更高效的混合网络结构。例如,当图像背景复杂或包含多目标交互时,模型会自动增强自注意力权重,以更好捕捉长程上下文信息,实现更灵活的特征表示。典型应用中,卷积网络编码图像特征,自注意力层则对齐并融合视觉与文本信息,生成更准确、自然的描述结果,推动多模态智能处理能力的发展。

2501_93677438的博客 364

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

论文解读:On the Integration of Self-Attention and Convolution

1:卷积可以接受比较大的图片的,但自注意力机制如果图片特别大的话,运算规模会特别大,即上图中右边(卷积)会算得比较快,左边(自注意力机制)会算得比较慢,所以我们要想些办法让自注意力机制规模小一点,本篇文章就只让qkv计算部分区域,而不是整个全局图片了。 2:自注意力机制中的qkv与卷积中的卷积核(比如说3x3的卷积核)能否一起得到?额,好像两者不是一类东西,但如果qkv用1x1的卷积核话,似乎有可能.. 但是1x1的卷积核与3x3的卷积核似乎很难配套,有没有可能将3x3的卷积核用9个1x1的卷积核去替代

weixin_50917576的博客 3842

CoAtNet:结合卷积与注意力机制应用在所有大小数据

CoAtNet:结合卷积与注意力机制应用在所有大小数据

互相学习的小博客 3837

【论文】CBAM: Convolutional Block Attention Module

摘要:我们提出了卷积块注意模块 (CBAM),这是一个用于前馈卷积神经网络的简单而有效的注意模块。给定一个中间特征图,我们的模块沿两个单独的维度(通道和空间)顺序推断注意力图,然后将注意力图乘以输入特征图以进行自适应特征细化。因为 CBAM 是一个轻量级的通用模块,它可以无缝集成到任何 CNN 架构中,开销可以忽略不计,并且可以与基础 CNN 一起进行端到端训练。我们通过对 Image Net - 1 K、MS COCO 检测和 VOC 2007 检测数据集的广泛实验来验证我们的 CBAM。我们的实验表..

梦想是要有的,万一实现了呢! 8201
上一篇: RHEL8.0图形界面崩溃排查:libdrm驱动加载失败与多版本依赖修复实战
下一篇: 从libGL.so.1报错看Linux动态链接库加载机制:原理+排查命令大全
php55
博客等级 码龄15年 51粉丝 1553原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值