《深度学习图像分割》这本书写写停停,历经三年多,目前在二稿修订中。正式出版之前,计划先在GitHub做逐步的内容和代码开源。
以下为本书第1章节选内容:
相较于目标检测只关注图像中的局部区域,基于深度学习的图像分割则更为精细,它将每一个像素点作为研究对象,并对每个像素赋予一个语义标签。因此,图像分割的一个基本类型称为语义分割(semantic segmentation)。除了语义分割,实例分割(instance segmentation)和全景分割(panoptic segmentation)两种其他重要的分割方式也有广泛的应用。那么,它们之间有什么区别和联系呢?
(1)语义分割的任务是对图像中的每个像素进行分类,并将具有相同类别的像素统一标记为同一个标签。也就是说,它只关注像素属于什么类别,而不关心属于同一类别的不同个体之间的区别。例如,如果图像中有多个人,语义分割的结果是所有人的像素都会被统一标记为“人”这个类别,而不会区分他们是不同的个体。语义分割的重点是整体场景的理解,适用于对场景分类有需求的任务。
(2)实例分割在语义分割的基础上更进一步,不仅对每个像素进行分类,还要区分同一类别中的不同个体。它结合了语义分割和目标检测的特性,既需要对物体进行像素级别的分割,又要标识每个对象的独立性。例如,在一张图像中有多个人,实例分割的结果不仅会标记出“人”这个类别,还会将不同的个体(每个人)单独分割出来,即使他们属于同一类“人”。
(3)全景分割