CVPR2019| 亚洲微软研究院、阿德莱德论文：结构知识蒸馏应用语义分割

最新推荐文章于 2023-04-01 14:17:30 发布
最新推荐文章于 2023-04-01 14:17:30 发布
阅读量645 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 神经网络 人工智能 计算机视觉 深度学习 机器学习
在公众号【计算机视觉联盟】后台回复【9076】获取独家200页AI笔记！
本文链接：https://blog.youkuaiyun.com/Sophia_11/article/details/88549181

点上方蓝字计算机视觉联盟获取更多干货

在右上方 ··· 设为星标 ★，与你不见不散

今天介绍一篇来自阿德莱德大学、亚洲微软研究院、北航的CVPR2019关于语义分割的论文。

本文研究了利用大型网络训练小型语义分割网络的知识提取策略。我们从简单的像素蒸馏方案开始，它将图像分类所采用的蒸馏方案应用于图像分类，并对每个像素分别进行知识蒸馏。基于语义分割是一个结构化的预测问题，我们进一步提出将结构化知识从大网络提取到小网络。我们研究了两种结构化的蒸馏方案:(i)成对蒸馏，提取成对的相似性;(ii)整体蒸馏，使用GAN提取整体知识。通过对三种场景解析数据集Cityscapes、Camvid和ADE20K的大量实验，验证了知识提取方法的有效性。

介绍

语义分割是预测输入图像中每个像素的类别标签的问题。它是计算机视觉中的一项基础性工作，具有自动驾驶、视频监控、虚拟现实等多种现实应用。自全卷积神经网络(FCNs)[38]问世以来，深度神经网络一直是语义分割的主流解决方案。随后的DeepLab[5,6,7,48]、PSPNet[56]、OCNet[50]、Re- fineNet[23]、DenseASPP[46]等方法在分割精度上都取得了显著的提高，但往往模型繁琐，计算费用昂贵。

近年来，由于在移动设备上的应用需要，模型尺寸小、计算量小、分割精

最低0.47元/天 解锁文章

200万优质内容无限畅学
SophiaCV
关注
知识蒸馏在语义分割中的性能提升方案
AIGC应用创新大全的博客
06-10 954
本文旨在为读者提供知识蒸馏在语义分割领域应用的全面指南，包括核心概念、实现方法和性能优化技巧。我们将重点讨论如何通过蒸馏技术将大型教师模型的知识迁移到小型学生模型中，同时保持较高的分割精度。文章首先介绍知识蒸馏和语义分割的基本概念，然后深入探讨两者的结合方式。接着详细讲解实现方法和优化策略，并通过实验案例展示实际效果。最后讨论应用场景、工具资源和未来趋势。知识蒸馏(Knowledge Distillation): 一种模型压缩技术，通过让小型学生模型学习大型教师模型的输出分布或中间特征来提升性能。
CVPR 2019 | 微软亚研院提出用于语义分割的结构化知识蒸馏
我爱计算机视觉
03-12 398
点击我爱计算机视觉标星，更快获取CVML新技术今天跟大家分享一篇关于语义分割的论文，刚刚上传到arXiv的CVPR 2019接收论文《Structured Knowledge Disti...
CVPR2019|用于语义分割的结构化知识蒸馏
一路狂奔的猪的博客
03-30 5912
论文标题：Structured Knowledge Distillation for Semantic Segmentation 论文地址：https://arxiv.org/abs/1903.04197 这是一篇CVPR2019做语义分割任务的文章，在训练好的大的分割模型上运用知识蒸馏的算法，使得比较小的模型也能提高语义分割的性能。 从上图可以看到，本论文提出的方法能够在不增加参数量...
类注意图蒸馏用于高效语义分割
qq_45745941的博客
04-01 601
采用显著图（saliency map）方法从卷积神经网络中提取有用的蒸馏知识通过制作特定类的注意图，然后强迫学生网络模拟产生这些注意一种利用特定类注意图进行注意力转移的新方法介绍了该方法能够成功地从两个网络的中间层提取知识的原因。
微软亚研院提出用于语义分割的结构化知识蒸馏 | CVPR 2019
AI科技大本营
03-16 2742
作者 | CV君来源 | 我爱计算机视觉今天跟大家分享一篇关于语义分割的论文，刚刚上传到arXiv的CVPR 2019接收论文《Structured Knowledge ...
【论文速递】CVPR2022 - 用于语义分割的跨图像关系知识蒸馏
qq_50757624的博客
02-14 1399
当前用于语义分割的知识蒸馏（KD）方法通常指导学生模仿教师从个人数据样本生成的结构化信息。但是，它们忽略了对 KD 有价值的各种图像中像素之间的全局语义关系。该文提出一种新型的跨图像关系KD（CIRKD），该算法侧重于在整个图像之间传递结构化像素到像素和像素到区域的关系。动机是，一个好的教师网络可以在全局像素依赖方面构建一个结构良好的特征空间。CIRKD使学生模仿教师结构更好的语义关系，从而提高分割性能。在Cityscapes，CamVid和Pascal VOC数据集上的实验结果表明，我们提出的方法对最先进
【论文阅读】Structured Knowledge Distillation for Semantic Segmentation
整理输出各类知识
06-09 566
概述 这篇论文来自CVPR2019 Oral。 论文的出发点：语义分割的模型往往很难兼顾速度与精度，也因此语义分割的网络分为两类，论文中描述为 cumbersome segmentation network与 compact segmentation network，简单地说一个注重精度，一个注重速度。这篇论文利用知识蒸馏来提高compact segmentation network的精度。 论文的创新点（核心）：知识蒸馏不是什么新鲜的东西，论文的核心主要是几个loss的设计，最后一个Discrimina
CVPR 2019 | VID_最大化互信息知识蒸馏
yuanCruise
03-28 4145
CVPR 2019 | Variational Information Distillation for Knowledge Transfer https://github.com/qiu931110/RepDistiller 1.互信息 在这篇论文中，作者提出了一种新的知识蒸馏形式，该方法将知识蒸馏的最优性能定义为最大化教师和学生网络之间的互信息。那么为什么通过最大化互信息可以使得蒸馏学习变得有...
CVPR2021-Paper-Code-Interpretation:cvpr2021cvpr2020cvpr2019cvpr2018cvpr2017 论文代码解读直播合集，极市团队整理
05-10
3.CVPR2019论文分方向盘点 2.CVPR2019论文直播分享 3/28晚点云分割分享回放 4月18日晚目标检测分享回放 5月9日晚单目标跟踪分享回放 [5月30日晚人脸识别分享回放： 6月13日晚三维多人多视角姿态识别分享回放 1.CVPR...
知识蒸馏Knownledge Distillation
Pr4da的博客
05-05 1897
知识蒸馏源自Hinton et al.于2014年发表在NIPS的一篇文章：Distilling the Knowledge in a Neural Network。 1. 背景 一般情况下，我们在训练模型的时候使用了大量训练数据和计算资源来提取知识，但这不方便在工业中部署，原因有二： （1）大模型推理速度慢 （2）对设备的资源要求高（大内存） 因此我们希望对训练好的模型进行压缩，在保证推理效果的前提下减小模型的体量，知识蒸馏(Knownledge Distillation)属于模型压缩的一种方法 [1.
知识蒸馏学习笔记--Structured Knowledge Distillation for Semantic Segmentation
梦坠凡尘
01-07 3106
Structured Knowledge Distillation for Semantic Segmentation 论文地址：https://arxiv.org/pdf/1903.04197.pdf 我发现的第一篇语义分割使用知识蒸馏方法的论文，太强了~~本文内容是参考网上论文解读和原论文而成，如有侵权，请联系删除。 语义分割问题可以理解为像素级的分类，而知识蒸馏方法对分类任务有较好的表现，可...
语义分割综述论文合集
03-10
包含 2016 至 2018 年 6 篇语义分割经典综述论文。基本包含了常用的分割网络。更多最新文章欢迎阅读个人博客中的收录。
最新《知识蒸馏》2020综述论文（来自悉尼大学）
06-14
近年来，深度神经网络在工业和学术界取得了巨大的成功，特别是在视觉识别和神经语言处理方面的应用。深度学习的巨大成功，主要归功于其巨大的可扩展性，既有大规模的数据样本，也有数十亿的模型参数。
蒸馏论文九（Knowledge Adaptation for Efficient Semantic Segmentation）
蓝鲸鱼的博客
11-08 561
本文介绍语义分割蒸馏论文：Knowledge Adaptation for Efficient Semantic Segmentation。 在论文中，作者提出了一种新的面向语义分割的知识提取方法，如下图所示： 整个框架中，教师网络输出分辨率较大的特征（如8s），学生网络输出较小的特征（如16s总步幅）。知识的定义分为两部分： 第一部分将知识从教师网络转化为信息丰富的压缩空间。通过训练自编码器将知识压缩成一个紧凑的格式，使学生网络更容易学习，否则由于固有结构的差异就会困难得多。 第二部分旨在从教师网络中
ps语义分割_CVPR 2019语义分割论文6-ADVENT
weixin_31616803的博客
01-10 389
ADVENT: Adversarial Entropy Minimization for Domain Adaptation in Semantic Segmentation论文代码：valeoai/ADVENT本文应用的是迁移学习中的领域自适应方法，可以参考：https://blog.youkuaiyun.com/u013841196/article/details/80956828其中的信息熵的内容可以百...
语义分割【论文解读】新思路：几何感知蒸馏 CVPR-2019
qq_36955294的博客
06-11 1020
文章转自：知乎 原文链接：https://zhuanlan.zhihu.com/p/146165099 作者：python小宗师 简介 语义分割是计算机视觉中一个基本而又具有挑战性的问题。通过语义分割获得更好的场景，有利于许多应用程序，如机器人，视觉SLAM和虚拟/增强现实。与基于RGB图像的方法相比，基于深度(RGB-D)的RGB方法可以利用来自场景的额外的三维几何信息，有效地解决单一2D显示方法所面临的挑战，然而，大多数已有的方法都需要精确的深度图作为场景分割的输入，这严重限制了它们的应用。现..
【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解
热门推荐
Roaddd的博客
02-24 4万+
知识蒸馏综述
语义分割论文集
weixin_43371569的博客
01-25 560
[1] https://blog.youkuaiyun.com/zziahgf/article/details/72639791
【知识蒸馏】 Knowledge Distillation from A Stronger Teacher
AaaA00000001的博客
02-28 2299
近年来，视觉模型的精度凭借更高级的训练策略和模型结构取得了大幅度的提升，但更新颖的模型也给知识蒸馏的应用带来了许多挑战。当前大部分知识蒸馏方法仍然是在传统的基准训练策略和模型上进行研究和实验，而在精度更高的新颖模型和策略下的表现甚至低于不使用知识蒸馏。以往的工作大多将此归结为模型的容量差异（capacity gap）导致的蒸馏效果下降。本文将介绍来自商汤研究团队和悉尼大学等机构的研究人员提出的一种logits层面的知识蒸馏算法DIST。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值