Paper reading:高分辨率图像分割 Collaborative Global-Local Networks for Memory-Efficient Segmentation CVPR19

本文提出了一种协作式全局-局部网络(Collaborative Global-Local Network, GLNet)用于超高清图像分割,旨在保留全局和局部信息。网络包含全局分支和局部分支,分别处理全局图像和局部图像块,以获取更准确的分割结果。为解决类别不均衡问题,还引入了从粗到细的网络变体。实验在多个超高清图像数据集上验证了方法的有效性,如DeepGlobe、ISIC Lesion Boundary Segmentation Challenge和Inria Aerial Challenge。

现有的大尺度图像分割方法大多是下采样或者切分为图像块进行处理,但是会导致局部细节和全局纹理信息的缺失。因此本文提出协作式全局-局部网络(Collaborative global-local network),以一个高效的方式保留全局和局部信息。协作式全局-局部网络有两个分支:全局分支和局部分支,分别处理降采样后的全局图像和剪切后的局部图像块作为输入信息。为了完成分割任务,网络会融合两个分支的特征图,以更好地获取高分辨率的细节结构和上下文依赖关系。此外,为了解决类别不均衡问题(即前景和背景区域不均衡),提出一个从粗到细的网络变体,具有内存-速度的双重优势。

网络架构:

从粗到细的网络框架:

实验细节:For simplicity, both the downsampled global image and the cropped local patches share the same size, 500*500 pixels. Neighboring patches have 50-pixel overlap to avoid boundary vanishing for all the convoluti

SCTNet-NAS 是一种面向云边协同感知的高效语义分割神经网络架构搜索方法。该方法通过结合网络架构搜索(NAS)技术与云边协同计算范式,优化语义分割模型在边缘设备和云端的部署效率与性能[^1]。 ### 架构搜索策略 SCTNet-NAS 采用了一种基于强化学习或进化算法的自动神经网络架构搜索策略,旨在从大量可能的网络结构中找到在特定硬件平台上具有最优推理速度与精度平衡的模型。其搜索空间通常包括卷积类型(如深度可分离卷积、空洞卷积)、通道数、激活函数、归一化层等关键组件。为了适应云边协同场景,SCTNet-NAS 在搜索过程中引入了对边缘设备资源约束(如内存、计算能力)和云端协同推理延迟的建模,确保生成的模型能够在边缘端高效运行,同时在需要时与云端协同完成复杂任务。 ### 云边协同机制 在云边协同感知架构中,SCTNet-NAS 将语义分割模型划分为边缘端和云端两个部分。边缘端模型负责处理实时性要求高的任务,如初步特征提取和简单场景理解;云端模型则处理计算密集型任务,如高精度分割和复杂语义推理。这种划分策略通过 NAS 过程中的延迟建模与资源约束优化实现,确保整体系统在满足实时性要求的同时,最大化分割精度。 ### 模型压缩与优化 为了进一步提升模型在边缘设备上的部署效率,SCTNet-NAS 还集成了模型压缩技术,如知识蒸馏、量化与剪枝。通过在搜索过程中考虑这些压缩策略的影响,SCTNet-NAS 能够生成在压缩后仍保持高精度的轻量级模型[^1]。 以下是一个简化的 SCTNet-NAS 模型结构表示: ```python class SCTNetNAS(nn.Module): def __init__(self, edge_model, cloud_model): super(SCTNetNAS, self).__init__() self.edge_model = edge_model # 边缘端模型 self.cloud_model = cloud_model # 云端模型 def forward(self, x): edge_features = self.edge_model(x) if is_cloud_required(edge_features): # 根据特征复杂度判断是否需要云端 cloud_output = self.cloud_model(edge_features) return cloud_output else: return edge_features # 直接返回边缘端结果 def is_cloud_required(features): # 实现特征复杂度判断逻辑 return complexity_metric(features) > threshold ``` ### 性能评估 在 ADE20K 等语义分割数据集上的实验表明,SCTNet-NAS 在云边协同环境下显著优于传统手动设计的模型(如 MaskFormer 和 Swin-UperNet)[^2]。特别是在弱监督设置下,SCTNet-NAS 在点级监督条件下仅需约79小时的标注时间即可达到43.6%的 mIOU,优于其他弱监督方法[^3]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值