清华大学与Meta公司合作提出了一种名为HorNet的新型计算机视觉模型，该模型利用递归门控卷积来处理高阶空间相互作用

最新推荐文章于 2025-10-14 21:25:47 发布
最新推荐文章于 2025-10-14 21:25:47 发布
阅读量190 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LmtTransforms/article/details/132963652
清华大学与Meta公司合作的HorNet模型通过递归门控卷积处理高阶空间相互作用，解决了传统CNN忽视长距离依赖的问题。递归门控卷积包含更新和整合两步，有效地捕捉图像的全局信息。HorNet模型的Python和PyTorch实现代码也被简要展示。

清华大学与Meta公司合作提出了一种名为HorNet的新型计算机视觉模型，该模型利用递归门控卷积来处理高阶空间相互作用。本文将详细解读HorNet模型的原理，并提供相应的源代码。

HorNet模型是一种用于计算机视觉任务的深度学习模型，旨在处理具有复杂空间相互作用的图像。传统的卷积神经网络在处理图像时，主要关注局部特征并忽略了不同位置之间的长距离依赖关系。HorNet通过引入递归门控卷积来解决这一问题，有效地捕捉了高阶空间相互作用。

递归门控卷积是HorNet模型的核心组成部分。该卷积操作通过迭代地应用自身来捕捉图像中不同位置之间的长距离依赖关系。具体而言，递归门控卷积包括两个关键步骤：更新和整合。

在更新步骤中，HorNet模型首先使用普通的卷积操作来计算当前位置的特征表示。然后，利用一个递归门控单元来获取上一次迭代的输出，并结合当前特征表示计算新的输出。递归门控单元由一个sigmoid激活函数和一个卷积层组成，用于控制上一次迭代输出的重要性。通过递归地更新每个位置的特征表示，模型可以捕捉到更广泛的空间相互作用。

在整合步骤中，HorNet模型使用一个递归门控聚合单元来整合所有迭代的输出。该聚合单元通过对所有迭代的输出进行加权求和来生成最终的特征表示。这种整合方式允许模型有效地融合不同迭代之间的信息，并提取出全局的高阶空间相互作用。

下面是使用Python和PyTorch实现的HorNet模型的简化代码：

import torch
import torch
了解本专栏 订阅专栏 解锁全文
ViT:实现Vi（sion）T（transformer）
05-26
在PyTorch中实现Vi（sual）T（transformer） 大家好，新年快乐！ 今天，我们将要实现著名的Vi （双） T （变压器），该产品在“。 代码在这里，可以从下载本文的交互式版本。 ViT将很快在我称为新计算机视觉库中提供 这是一个技术教程，而不是您在普通的中级文章中找到的使您变得富有的前5个最重要的熊猫功能。 因此，在开始之前，我强烈建议您： 看看惊人的网站 观看 阅读文档 因此，ViT使用在图像上工作的普通变压器（“提出的一种变压器）。 但是，如何？ 下图显示了ViT的体系结构 输入图像被分解为16x16展平的小块（图像未按比例绘制）。 然后使用普通的完全连接层将它们嵌入，在它们前面添加特殊的cls令牌，并对positional encoding求和。 生成的张量首先传递到标准Transformer，然后传递到分类头。 就是这样。 本文的结构分为以下几节
Viterbi-decoder:卷积码仿真，使用维特比算法的解码器
05-02
#卷积码仿真 代码内包含基本的卷积码码编码器，译码器（维特比）实现方式，以及BPSK通信系统的基本仿真原理（AWGN信道）。 ##1. 运行环境和使用方法 运行环境：MATLAB 2014a 使用方法：设置相应参数，运行CC_Simulation。 ##2. 代码说明 代码供学习使用，这比MATLAB工具箱中的函数要慢上很多。 vitbiDecoder的译码结果和vitdec的不一样，一般来说是更好的。这是因为译码过程中在一组码完全译码之后，才进行了比较判决，同时最后选择了最大的metric路径。 注意vitbiDecoder还有一些潜在的问题没有解决。 ##3.维特比算法示例
大模型建模基础：Vision Transformer的Encoder模块
天涯雨的博客
07-19 1188
大模型建模基础：Vision Transformer的Encoder模块
ViT 机器视觉transformer
weixin_45104951的博客
03-17 7063
transformer的高效计算（矩阵并行）和可扩展性 1.引言 （1）CV领域用transformer的局限性：图片尺寸大，参数太多，算法复杂度为序列长度的平方。引文中，有用局部窗口，有的将高和宽独立做两部分attention。本文使用的是标准Transformer架构，做有监督的图像分类任务。 （2）优势：随着数据集的增大，transformaer架构并没有表现出饱和性(saturating)，在大规模数据集上，vit的效果要好一些。可在大规模数据集上做预训练，然后迁移到小数据集上做微调。 （3
Vision Transformer (ViT) 模型详解
最新发布
qq_56402998的博客
10-14 506
以上就是 VIT 模型的大致内容。
transformer--ViT
qq_43518737的博客
01-16 2524
代码 为了处理二维图像，我们将尺寸为 H×W×C的图像reshape为拉平的2维图块，尺寸为 (N×(P^2×C))。其中， (P,P)为图块的大小， N=HW/P^2 。 N 是图块的数量，会影响输入序列的长度。Transformer在所有图层上使用恒定的隐矢量D，因此我们将图块拉平，并使用可训练的线性投影映射到D的大小，将此投影的输出称为patch embedding。对应代码如下：直接暴力拉伸 # Transformer. n, h, w, c = x.shape x = jnp.r
【transformer】ViT
可乐大牛的博客
07-20 4361
ViT直接将transformer用于分类任务，给出的最佳模型在ImageNet1K上能够达到88.55%的准确率，说明了transformer同样适用于计算机视觉相关的任务。 但是要是想复现的话，难度是很大的，因为ViT是在google自己的JFT-18K（303million）上预训练的，而这个数据集是不公开的，开源的最大的数据集貌似是ImageNet-21K（14million），另一方面，transformer庞大的参数量也不是一般显卡吃得消的。主要分为以下的几个部分，首先是patch embedd
Transformer+vit原理分析
yuange1666的博客
01-30 1779
Transformer 模型是2017年由Google提出的一种革命性的深度学习架构（但不是一种AI框架，区别于Tensorflow，可以理解为一种算法），主要用于。：将输入图像分割为固定大小的图像块（如16x16像素），每个块被展平为一个向量，作为Transformer的输入序列。输入图像（如224x224）被划分为多个固定大小的块（如16x16），每个块展平为向量（如16x16x3=768维）。（如机器翻译、文本生成等）。：为序列中的每个位置（如单词）分配不同的权重，表示该位置对其他位置的依赖程度。
Transformer第三节——ViT
Eva_Hua的专栏
07-28 2212
论文：https://arxiv.org/abs/2010.11929 代码： ViT是transformer在CV领域的重要著作之一，将Transformer直接迁移到分类任务上，并且完全没有用到CNN，在分类任务中表现很好，尤其是大型训练集。下面聊聊ViT。 整体结构 1，选择怎样的Transformer网络及其变体作为ViT---(视觉分类任务)的初始结构？ 先介绍Transformer都有哪些经典变体。按照Transformer结构可以很直接的把这样的网......
CSwin Transformer 学习笔记
athrunsunny的博客
10-11 1685
Cswin提出了上图中使用交叉形状局部attention，为了解决VIT模型中局部自注意力感受野进一步增长受限的问题，同时提出了局部增强位置编码模块，超越了Swin等模型，在多个任务上效果SOTA（当时的SOTA，已经被SG Former超越）。模型整体结构如上所示，由和4个stageblock所堆叠而成，每个后面都会接入一个conv层，用来对featuremap进行下采样。和典型的R50设计类似，每次下采样后，会增加dim的数量，一是为了提升感受野，二是为了增加特征性。
ViT学习笔记（一） 基本的原理和框架结构
xulibo5828的博客
12-06 1294
前馈神经网络在Transformer编码器中扮演着重要角色，通过非线性变换和特征提取，增强了模型的表达能力。结合残差连接和层归一化，前馈神经网络能够有效地处理输入数据，并在Transformer层中进行信息整合，从而提升模型的性能。
Dectetion Transformer DETR模型论文学习笔记
ZineSulphur的博客
07-22 1182
DETR全程为Detection Transformer，如其名是一个在目标检测上运用transformer的模型。论文所做的工作，就是将transformers运用到了object detection领域，取代了现在的模型需要手工设计的工作，并且取得了不错的结果。主要是取消NMS等后处理，和锚框等先验知识的手工过程。
【Vision Transformer】辅助理解笔记
Akiiiira的博客
09-25 1107
再比如，图书馆（source）里有很多书（value），为了方便查找，我们给书做了编号（key）。当我们想要了解漫威（query）的时候，我们就可以看看那些动漫、电影、甚至二战（美国队长）相关的书籍。为了提高效率，并不是所有的书都会仔细看，针对漫威来说，动漫，电影相关的会看的仔细一些（权重高），但是二战的就只需要简单扫一下即可（权重低）。当我们全部看完后就对漫威有一个全面的了解了。
【CV】Transformer学习笔记
whq246的博客
06-07 647
最近Transformer很火热，在很多领域都有所贡献，我也进行了学习。现将一些资料和感悟整理后进行记录。
transformer与vit
qq_44089890的博客
04-21 1662
残差网络每个残差块的输入包括两部分：原始输入和增强输入。原始输入经过残差块的一系列变换后得到残差输出，而增强输入则通过一系列的信息增强操作得到。最终，原始输入和增强输入的残差输出在元素级别上相加，得到最终的输出。通过这种方式，ResNet将信息增强和残差网络相结合，有效提高了模型的泛化能力和鲁棒性。
Transformer主干网络——ViT保姆级解析
qq_37668436的博客
02-10 1万+
前言 最近准备跑点主干网络的实验，transformer在cv都杀疯了，整理下最近这些网络的发展以及创新点。从”万恶之源“ViT开始吧。 结构 根据上图介绍大致流程，首先一幅建筑的图片，作者将它分为大小相同的9块， 然后每一块通过展平以及线性层编码成9个特征， 然后额外拼接一个形状一样的一个特征用于分类： 接下来，因为将图片分块他们原始对于图像中的位置信息没有了，所以作者加了一个可以学习的位置特征在原特征上， 注意这里是加，不是拼接，比如说图像块1的特征是(0,0,0,0,0.5,1.0)，加上一
【Transformer系列】深入浅出理解ViT(Vision Transformer)模型
热门推荐
IT菜鸟
10-15 5万+
【Transformer系列】深入浅出理解ViT(Vision Transformer)网络模型
【计算机视觉】Visual Transformer （ViT）模型结构以及原理解析
wzk4869的博客
05-04 9312
【计算机视觉】Visual Transformer （ViT）模型结构以及原理解析
Transformer在计算机视觉中的应用-VIT、TNT模型
suic009的博客
03-18 5224
Transformer在计算机视觉中的应用-VIT算法
transformer学习和复现笔记
03-04
### 关于 Transformer 模型的学习资料与复现笔记 #### 学习路径规划 对于希望深入理解和掌握 Transformer 模型的人来说，一份结构化的学习路线至关重要。这不仅涵盖了理论基础的理解，还包括实践操作中的具体指导[^...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值