1. 从“像素网格”到“视觉图”:为什么我们需要ViG?
如果你玩过图像分类或者目标检测,肯定对CNN(卷积神经网络)不陌生。CNN把图像看作一个规整的网格,用一个个小窗口(卷积核)在上面滑动来提取特征。这个方法非常成功,统治了计算机视觉好多年。但不知道你有没有想过,图像里的信息,真的只是“邻居像素”那么简单吗?
举个例子,一张猫的图片。猫的耳朵尖和尾巴尖,在像素网格上可能隔得很远,但它们都属于“猫”这个整体对象,在语义上是强相关的。传统的CNN要经过很多层卷积,感受野慢慢扩大,才能把这种长距离关系联系起来,效率上有点“绕远路”。而Transformer(比如ViT)用自注意力机制,能直接计算图像所有小块(patch)之间的关系,但它把图像当成一维序列,完全抛弃了图像固有的二维空间结构,计算量也很大。
这时候,图神经网络(GNN) 的思路就很有意思了。它用一种更灵活的方式来建模数据:把每个像素(或者图像块)看作图里的一个“节点”(Node),把像素之间的关系看作“边”(Edge)。这样,我们不仅能建模局部邻居关系(像CNN那样),还能通过图的连接,直接建立任意两个节点之间的关联(像Transformer那样),同时还能保持对空间结构的感知。
Vision GNN(ViG) 就是这个思想下的一个具体实现。它用图神经网络来处理视觉任务,核心是设计了一个叫 Grapher 的模块来构建和更新图像图,再配合一个标准的 FFN(前馈网络) 模块。为了像ResNet那样提取多尺度特征,ViG通常采用金字塔结构,也就是我们今天要重点解析的Pyramid ViG。
所以,这篇文章就是带你从零开始,把Pyramid ViG-B这个网络“搭”出来。我会假设你有一些深度学习基础,用过PyTorch,但对GNN可能不太熟。没关系,我会把其中每一步的“为什么”和“怎么做”都掰开揉碎讲清楚。我们的目标不只是跑通代码,更是要理解这种“将图像视为图”的思维方式,到底是怎么在代码里落地的。
2. 搭建环境与理解整体骨架
在动手写代码之前,先把环境准备好。ViG的官方实现用的是PyTorch,我们完全跟着来。
# 基础环境,建议使用Python 3.8+
pip install torch torchvision
# 官方代码库还用了numpy,确保安装
pip install numpy
你可以直接克隆华为诺亚方舟实验室的官方仓库,里面包含了ViG的代码。但我们今天的目标是“从零实现”,所以我会以这个官方实现为蓝本,带你一步步构建核心模块,并解释每一行代码的意图。
git clone https://github.com/huawei-noah/Efficient-AI-Backbones.git
不过,我们先不急着看代码。让我们像建筑师一样,先看看ViG金字塔结构的“设计蓝图”。Pyramid ViG-B的总体结构和ResNet非常像,分为4个阶段(Stage),每个阶段包含若干个ViG Block,并且阶段之间会进行下采样,让特征图尺寸变小,通道数变多,从而构建出多尺度的金字塔特征。
一个ViG Block由两个核心部分组成:
- Grapher模块:负责将输入的特征图构建成图,并进行图卷积操作,捕获节点间的依赖关系。
- FFN模块:一个简单的两层MLP,对每个节点(即特征图上的每个位置)进行独立的特征变换,提供非线性能力。
这两个模块都使用了残差连接,这是保证深层网络能够有效训练的关键。整个网络的流程可以概括为:输入图片 -> Stem(切分Patch并投影)-> 位置编码 -> 堆叠的(Grapher + FFN)Block -> 分类头。
官方实现里,网络的定义入口在 pyramid.py 的 pvig_b_224_gelu 函数。我们先来看看这个配置类,它相当于我们的“施工图纸”。
class OptInit:
def __init__(self, num_classes=1000, drop_path_rate=0.0, **kwargs):
self.k = 9 # 邻居节点数,默认为9
self.conv = 'mr' # 图卷积层类型,可选 {edge, mr}
self.act = 'gelu' # 激活函数
self.norm = 'batch' # 归一化方式
self.bias = True # 卷积层是否使用偏置
self.dropout = 0.0 # dropout率
self.use_dilation = True # 是否使用扩张KNN
self.epsilon = 0.2 # 随机采样率
self.use_stochastic = False # 是否使用随机性
self.drop_path = drop_path_rate # 随机深度衰减率
self.blocks = [2, 2, 18, 2] # 各Stage的Block个数 [2,2,18,2]
self.channels = [128, 256, 512, 1024] # 各Stage的输出通道数
self.n_classes = num_classes # 分类类别数
self.emb_dims = 1024 # 最终嵌入维度
这些参数非常重要,它们控制着网络的行为。比如 k=9 意味着在构建图时,每个节点会寻找最近的9个邻居来连边。blocks=[2,2,18,2] 和 channels=[128,256,512,1024] 则完全定义了金字塔的形态:第一个阶段输出128通道,堆叠2个Block;第二个阶段256通道,2个Block;第三个阶段512通道,堆叠了18个Block,是网络的深度核心;第四个阶段1024通道,2个Block。这个设计和ResNet-50的瓶颈块分布有异曲同工之妙。
3. 核心模块一:Grapher——将图像变成图并进行卷积
这是ViG最核心、也最有趣的部分。Grapher模块的任务是把一个标准的二维特征图(B, C, H, W)转换到图的世界里操作,然后再转换回来。
3.1 Grapher的前向传播流程
我们先看它的 forward 函数,了解它到底干了啥:
def forward(self, x):
_tmp = x # 保留输入,用于残差连接
x = self.fc1(x) # 第一步:1x1卷积进行特征变换
B, C, H, W = x.shape
# 第二步:根据当前特征图尺寸调整相对位置编码
relative_pos = self._get_relative_pos(self.relative_pos, H, W)
# 第三步:核心!进行图卷积操作
x = self.graph_conv(x, relative_pos)
# 第四步:另一个1x1卷积,将通道数变换回来
x = self.fc2(x)
# 第五步:DropPath + 残差连接
x = self.drop_path(x) + _tmp
return x
流程非常清晰。fc1 和 fc2 就是普通的1x1卷积加BatchNorm,它们的作用是在进入图卷积前和出来后做一次通道维度的特征整合与恢复,这和Transformer里的做法很像。重点在于中间的 graph_conv。
3.2 动态图卷积(DyGraphConv2d)
graph_conv 是一个 DyGraphConv2d 类的实例。它的“动态”体现在哪里?体现在每次前向传播时,都会根据当前输入的特征,动态地计算节点之间的邻接关系(边)。这和传统的、拥有固定邻接矩阵的GNN完全不同,更适应图像内容的变化。
我们深入它的 forward 函数:
def forward(self, x, relative_pos=None):
B, C, H, W = x.shape
y = None
# 如果下采样率 r > 1,则对特征图进行平均池化,得到一个“锚点”集合y
if self.r > 1:
y = F.avg_pool2d(x, self.r, self.r)
y = y.reshape(B, C, -1, 1)
x = x.reshape(B, C, -1, 1) # 将特征图拉平为节点集合: (B, C, N, 1), N=H*W
# 关键步骤:根据x和y,动态构建K最近邻(KNN)图
edge_index = self.dilated_knn_graph(x, y, relative_pos)
# 在构建好的图上进行图卷积操作
x = super(DyGraphConv2d, self).forward(x, edge_index, y)
# 将图信号结果重新变形成特征图
return x.reshape(B, -1, H, W).contiguous()
这里有几个关键点:
- 锚点(Anchor)y:为了降低构建全图的计算复杂度,ViG引入了一个技巧。它不直接计算所有N个节点(N=HxW)两两之间的关系,而是先将特征图用
avg_pool2d下采样,得到N/(r*r)个“锚点”。然后,每个节点只去和这些锚点计算相似度、寻找邻居。这大大减少了计算量,是ViG能够处理高分辨率图像的关键。 - 重塑(Reshape):
x.reshape(B, C, -1, 1)这一步至关重要。它把 (B, C, H, W) 的“图像视图”,转换成了 (B, C, N, 1) 的“节点列表视图”。这里的N个节点,每个节点是一个C维的特征向量。图卷积将在这个视图上进行。 dilated_knn_graph:这个函数负责实际的建图工作。它计算节点特征之间的欧氏距离(或余弦相似度),然后为每个节点找出距离最近的k个邻居(来自锚点集合y)。dilated指的是它可能使用“空洞”策略,即不是在所有锚点中找,而是在一个采样后的子集中找,进一步加速。最终,它返回一个edge_index,这是一个形状为(2, E)的张量,其中E是边的总数(大约为B * N * k),它用(src_node, dst_node)的格式列出了图中所有的边。
3.3 图卷积的具体实现
DyGraphConv2d 继承自一个基础的 GraphConv2d。在得到 edge_index 后,真正的图卷积操作就发生了。官方实现中提供了两种图卷积:edge 和 mr(默认为 mr,即 max-relative)。
以 mr 为例,它的操作可以通俗地理解为“消息传递”:
- 对于每个节点,收集来自其所有邻居节点的特征。
- 对收集来的邻居特征,计算一个聚合值(比如取最大值)。
- 将这个聚合后的“邻居信息”与节点自身的特征进行拼接(或相加等操作)。
- 通过一个可学习的权重矩阵(在这里通过1x1卷积实现)来融合自身信息和邻居信息。
这个过程在代码里被高效地向量化实现了。最终,每个节点的特征都更新为融合了局部邻域信息的新的特征。因为我们的“节点”其实就是图像上的位置点,所以这个操作等价于一种内容自适应的、非局部的卷积。
3.4 相对位置编码
你注意到 forward 里有个 relative_pos 参数吗?在视觉任务中,纯粹基于特征相似度建图可能会丢失绝对位置信息(比如天空通常在顶部,草地通常在底部)。ViG借鉴了Transformer和Swin Transformer的思想,引入了相对位置偏置。
在Grapher初始化时,会调用 get_2d_relative_pos_embed 函数,生成一个可学习的(或固定的)位置偏置表。在计算两个节点相似度时,除了看特征距离,还会加上一个与它们相对位置(Δx, Δy)相关的偏置值。这样,模型在判断两个节点是否应该相连时,会同时考虑“你们长得像不像”和“你们离得近不近”,这更符合图像的先验知识。
_get_relative_pos 函数则是一个细节处理:因为网络有下采样,特征图尺寸会变化,所以需要将初始化时基于某个尺寸计算的位置编码,通过双线性插值调整到当前特征图的尺寸。
4. 核心模块二:FFN与随机深度
Grapher模块完成了空间信息的交互,FFN模块则负责对每个节点的特征进行更深层的非线性变换。它的结构非常经典,和Transformer中的FFN一模一样:
class FFN(nn.Module):
def __init__(self, in_features, hidden_features=None, out_features=None, act='relu', drop_path=0.0):
super().__init__()
out_features = out_features or in_features
hidden_features = hidden_features or in_features * 4 # 默认中间层扩大4倍
self.fc1 = nn.Sequential(
nn.Conv2d(in_features, hidden_features, 1, stride=1, padding=0),
nn.BatchNorm2d(hidden_features),
)
self.act = act_layer(act) # 如GELU
self.fc2 = nn.Sequential(
nn.Conv2d(hidden_features, out_features, 1, stride=1, padding=0),
nn.BatchNorm2d(out_features),
)
self.drop_path = DropPath(drop_path) if drop_path > 0. else nn.Identity()
def forward(self, x):
shortcut = x
x = self.fc1(x)
x = self.act(x)
x = self.fc2(x)
x = self.drop_path(x) + shortcut
return x
注意,这里的所有操作(1x1卷积)都是逐点(point-wise)的,即在 (H, W) 维度上独立进行,不混合空间信息。它的作用类似于一个大型的特征处理器,为每个位置的特征增加表达能力。
另一个贯穿始终的重要技术是 DropPath(也叫Stochastic Depth)。在训练时,它以一定的概率 drop_path 将整个Block(或模块)的输出“丢弃”,直接跳过去,只保留残差连接。这相当于在每次训练时,网络都是在训练一个随机的、更浅的子网络,这是一种非常有效的正则化方法,能显著减轻深层网络的过拟合,并起到模型集成的效果。在ViG中,每个Grapher和FFN都有自己的 drop_path 率,并且这个率会随着网络深度增加而线性增加(深层的Block更容易被“丢弃”),这符合直觉。
5. 组装金字塔:DeepGCN与下采样
现在我们有了Grapher和FFN这两个“砖块”,接下来就是用它们搭建金字塔的“墙体”——各个Stage。这个工作主要在 DeepGCN 类的 __init__ 方法中完成。
# 在DeepGCN的__init__方法中
self.backbone = nn.ModuleList([])
idx = 0 # 用于追踪全局的Block索引
for i in range(len(blocks)): # 遍历4个Stage
if i > 0:
# 阶段之间插入下采样模块
self.backbone.append(Downsample(channels[i-1], channels[i]))
HW = HW // 4 # 更新特征图尺寸(假设下采样步长为2)
for j in range(blocks[i]): # 堆叠当前Stage的Blocks
self.backbone += [
Seq(
Grapher(channels[i], num_knn[idx], ...), # 图卷积模块
FFN(channels[i], channels[i] * 4, ...) # 前馈模块
)
]
idx += 1
这里有几个组装细节:
- 下采样(Downsample):除了第一个Stage,每个Stage开始前会插入一个下采样模块。它通常由一个步长为2的卷积(或池化)实现,用于将特征图尺寸减半,同时通道数翻倍(由
channels[i-1]变为channels[i]),从而构建金字塔特征。 - Seq模块:
Seq是一个简单的顺序容器。Grapher和FFN被包装在一起,构成一个完整的 ViG Block。在 forward 时,数据会先经过 Grapher,再经过 FFN。 - 动态的KNN数(num_knn):代码中有一个
num_knn列表,它控制每个Block中构建图时选择的邻居数量k。在官方实现中,这个值在所有Block中是固定的(等于初始的opt.k)。但这里预留了接口,理论上可以设计更复杂的策略,比如让深层的Block使用更多的邻居来捕获更全局的关系。 - 随机深度衰减(dpr):
dpr列表存储了每个Block的drop_path概率。它是通过torch.linspace(0, drop_path_rate, n_blocks)线性生成的,这意味着第一个Block的丢弃概率为0,最后一个Block的丢弃概率最大。
这种组装方式使得网络的结构非常清晰和灵活。你可以通过修改 blocks 和 channels 列表,轻松地构造出不同深度和宽度的变体,例如更轻量级的 PyramidViG-Ti 或更庞大的 PyramidViG-H。
6. 从图像到图:Stem与位置嵌入
在输入进入一堆ViG Block之前,需要先对原始图像进行预处理。这部分对应ViT中的“Patch Embedding”。
self.stem = Stem(out_dim=channels[0], act=act)
self.pos_embed = nn.Parameter(torch.zeros(1, channels[0], 224//4, 224//4))
Stem模块 通常不是一个简单的切块。在Pyramid ViG中,为了更高效地处理图像,它被设计成一个由三个卷积层组成的小型网络:
- 第一个卷积:7x7,步长2,将图像下采样一次。
- 第二个和第三个卷积:通常是3x3,步长1或2,进一步提取低级特征并调整通道数到
channels[0](如128)。 - 最终,一个224x224的输入图像会变成56x56(224/4)的特征图。
这个设计比ViT中直接切16x16的Patch并线性投影要更“CNN”一些,保留了更多的低层空间信息,在实践中通常能让模型更快收敛。
位置嵌入(pos_embed) 则是一个可学习的参数,其形状为 (1, C, H, W),直接加到Stem输出的特征图上。它为特征图的每个空间位置赋予一个初始的、可学习的位置表示。这是将绝对位置信息注入模型的最直接方式。在 forward 的开始,你会看到 x = self.stem(inputs) + self.pos_embed。
7. 实战:将ViG作为骨干网络用于目标检测
ViG论文中展示了其在ImageNet分类上的优秀性能。但对我们开发者来说,更关心的是:这个新东西能不能用在我的项目里?比如,替换掉Faster R-CNN里的ResNet-50?
答案是肯定的,而且操作起来比想象中简单。得益于其金字塔结构,ViG天然就是一个特征提取器。我们只需要做两件事:
- 移除分类头:去掉网络末尾的
self.prediction和F.adaptive_avg_pool2d。 - 提取多尺度特征:Faster R-CNN的FPN需要来自不同Stage的特征图。ViG的四个Stage的输出正好对应了四种不同的空间分辨率(例如,输入224x224,经过Stem和下采样后,四个Stage的输出分辨率可能是56x56, 28x28, 14x14, 7x7)。
修改后的 forward 函数大概长这样:
def forward_as_backbone(self, x):
feature_maps = []
x = self.stem(x) + self.pos_embed
B, C, H, W = x.shape
for i in range(len(self.backbone)):
x = self.backbone[i](x)
# 判断当前层是否是一个Stage的结束
# 通常可以根据模块类型(如Downsample)或记录的特征图尺寸变化来判断
if self._is_stage_end(i): # 这是一个需要你自己实现的判断逻辑
feature_maps.append(x)
# 返回一个特征图列表,例如 [stage2_out, stage3_out, stage4_out]
return feature_maps[1:] # 有时会丢弃最浅层的特征
然后,你就可以把这个 feature_maps 列表喂给Faster R-CNN的FPN了。根据论文和社区的一些测试,直接用ViG替换ResNet-50,在COCO等数据集上能达到可比的mAP(例如~70%),这证明了其作为通用视觉骨干的潜力。当然,要获得最佳性能,可能需要对检测头进行一些微调,或者使用针对ViG结构优化的FPN变体。
我在自己的一些实验中也尝试过这种替换。初期直接移植效果可能确实不如调优已久的ResNet,这很正常,因为超参数(如学习率调度、权重衰减)都是为CNN设计的。但一旦为ViG调整好训练策略(比如更长的预热、不同的优化器设置),其性能往往能追平甚至在某些细粒度分类任务上略有优势。它的一个直观好处是,对于图像中物体形状变化大、长距离依赖明显的场景,ViG的图结构建模能力有时能带来更鲁棒的特征。
1154



被折叠的 条评论
为什么被折叠?



