CGNet 一种上下文指导的轻量级分割网路

最新推荐文章于 2025-06-07 08:02:14 发布

杨启航

最新推荐文章于 2025-06-07 08:02:14 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_42565571/article/details/104581624

CGNet是一种针对移动端设备设计的轻量级语义分割网络，通过引入context guide block (CG) 来学习像素点与其周围环境的关系，并利用全局上下文信息。CGNet不采用传统的encoder-decoder结构，而是直接在encoder最后一层进行预测，减少了参数量，但在保持高精度的同时，可能牺牲了一些图像细节。在Cityscapes数据集上未使用预训练技巧的情况下，CGNet实现了超过64.8%的miou，参数量小于0.5M。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文链接：https://arxiv.org/pdf/1811.08201.pdf
论文提出问题：以前的分割网络对于移动端设备，精度高的分割网络参数太多，而小网络的设计还遵循着分类网络（的设计），忽略了内在的（更深层的）语义信息。
文中提出方法：context guide block（CG），优势是可以学习位置特征和环绕特征。
CG block的特点：

可以学习一个像素点和它周围环绕的点的关系，这包含了很多周边环境信息。
利用全局上下文信息提高相邻的点的特征。全局上下文是为了提高有用channel的权重，抑制没用channel的权重（类似squeeze结构）。
CG block贯穿网络始终，所以，它可以捕捉语义（深层网络）和空间信息（浅层网络），更适用于分割任务。

CGNet是轻量级网络，遵循“深而细”的设计准则，和一般的网络不同，CGnet并不是传统的encoder-decoder结构，而是在encoder的最后一层直接进行了预测（将channel压缩至num_class)，然后再双线性8倍上采样直接得到预测图。（这里有个思考：这种结构节省了decoder部分的参数，可以使网络更轻量级，但是采用直接双线性插值的方法会导致图像细节失真，所以decode结构对于分割网络是必要的还是不必要的？）
作者的CGNet在没有用预训练技巧的情况下在cityscapes数据集上进行20分类，得到了最高64.8%的miou，而参数量只有不到0.5M，是兼顾网络参数量和精确度的实用性网络。

阅读code发现CGNet网络设计中运用深度可分离卷积来降低参数量和计算量，用全局池化求channel权重并进行强化和弱化，突出重要channel。
自己阅读code之后画的网络结构：
自己画的网络结构图
CG block结构：