SINet模型针对人像分割任务提出，包括空间压缩模块和信息遮挡编码器，旨在实现高精度和快速响应。信息遮挡编码器通过低分辨率特征图筛选高分辨率区域，保持分割的准确性。空间压缩模块利用平均池化减少延迟。论文还介绍了一种数据增强策略，通过预训练模型和微调生成人像分割掩模。实验结果显示SINet在EG1800数据集上表现出色。
人像分割任务作为许多任务的一个中间阶段，对实时性要求极高，并且当前缺乏大规模的人像分割数据集，为此论文提出SiNet模型和用于进行数据扩充的简单方法。SINet中的空间压缩模块使用多尺度感受也来获取图像中不同尺寸的一致性信息，信息遮挡编码器则在不破坏全局一致性的前提下回复局部空间信息。该模型能够实现精度较高速度极快的人像分割，并且这种极轻量化的分割网络也在其他任务中给了我们应用的启发。
SINet包含空间压缩模块和信息遮挡编码器，前者通过使用多种尺寸的感受野信息来保持空间一致性，并且压缩特征图分辨率来消除多分支结构带来的高延迟；后者根据小分辨率特征图的置信图来提取大分辨率特征图上的必要信息
1. 信息遮挡编码器
编解码结构是语义分割模型中的常见结构，编码器用于提取输入图片的语义信息，解码器用于捕获位置信息并还原特征图尺寸（通常借助双线性插值上采样或者转置卷积）；通常情况解码器还会接收编码器模块的高分辨率的特征图来进行逐元素的操作，但是这样的操作会加入已经被编码器移除的局部信息从而对最终的结果产生一定的误导，为此论文提出了一个信息遮挡模块。模型根据低分辨率的特征图来屏蔽高分辨率特征图中已经被以高置信度分割出的区域而仅仅筛选出置信度不高的区域参与解码过程。
SINet的整个过程如上图所示，其中包含了这个信息遮挡操作的具体做法，这能够保证低置信度区域能够在高分辨率特征图上得到更多信息并且不损害予以信息。下图所示是一个应用信息遮挡操作的特征图，可以看到边界部分
最低0.47元/天 解锁文章
扫一扫
15
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
