何凯明最新成果PointRend解析

关注我的公众号，获取最新动态

何凯明团队的新作：PointRend: Image Segmentation as Rendering

PointRend，是何凯明及其团队对图像分割领域的又一次最新探索，将图像分割当做一个渲染问题，思路清奇，源于经典而高于经典，又是一次突破传统的成功。

作者简介

何恺明，本科就读于清华大学，博士毕业于香港中文大学多媒体实验室。 2011年加入微软亚洲研究院（MSRA）工作，主要研究计算机视觉和深度学习。2016年，加入Facebook AI Research（FAIR）担任研究科学家

论文摘要

我们提出了一种有效的高质量图像的新方法 ：对象和场景的分割。通过类比经典计算机图形方法以实现高效渲染 在像素标记任务中面临的过采样和欠采样挑战，我们开发了图像分割作为渲染问题的独特视角。从这个优势，我们 提出了PointRend（基于点的渲染）神经网络模块：该模块根据以下信息在自适应选择的位置执行基于点的分段预测： 迭代细分算法。 PointRend可以灵活地应用于实例和语义分割 通过在现有最新模型的基础上完成任务。 虽然总体思路有许多具体实现 有可能，我们表明简单的设计已经实现 出色的结果。定性地，PointRend在先前方法过度平滑的区域中输出清晰的对象边界。从数量上看，PointRend的收益显着 在实例分割和语义分割方面，COCO和Cityscapes都有所增长。 PointRend的效率可实现输出 与现有方法相比，在内存或计算方面不切实际的分辨率。

传统实例分割是什么样子的

• 输入图像，

• 对图像的每个像素点进行预测，推断像素点所属的实例标签，

• 区分属于不同实例的像素点。

算法有哪些提高

降低资源消耗

算力仅需Mask