图像识别技术与应用课后总结（20）

图像分割概念

图像分割是把图像中不同像素划分到不同类别，预测目标轮廓，属于细粒度分类。比如将图像里不同物体、背景等区分开来，就像把一幅画里的各个元素精准归类。

应用场景

人像抠图：能精准分离人物和背景，用于图片编辑、影视制作等，比如去除照片背景换背景 。

医学组织提取：在医学影像（如CT、MRI图像）中分离出不同组织，辅助疾病诊断、手术规划等。

遥感图像分析：分析卫星或航空遥感图像时，区分土地、植被、建筑等不同地物，用于城市规划、资源调查等。

自动驾驶：识别道路、车辆、行人、交通标志等，帮助汽车做出行驶决策 。

材料图像：分析材料微观结构图像，助力材料科学研究和质量检测。

前景与背景

物体（Things）：是可数的前景目标，像行人、车辆等，是图像中可单独计数的实体目标。

事物（Stuff）：是不可数的背景部分，如天空、草地、路面，是连续且难以逐个计数的场景元素。

图像分割的三层境界

语义分割

给图像每个像素赋予一个语义类别，每个像素仅能归属一类，不区分同类不同个体。比如将道路场景图里所有行人像素归为“行人”类，所有车辆像素归为“车辆”类，像给图像各部分贴上类别标签，重点在区分不同类别区域 。

实例分割

聚焦前景目标，不仅判断目标类别，还确定其边框，给每个目标分配个体ID 。同一类的不同目标会有不同ID，比如在有多个行人的画面中，能单独标识出每个行人，区分出这是行人A、那是行人B 。

全景分割

融合语义分割和实例分割，给图像每个像素既分配语义类别（如道路、行人等 ），又赋予唯一实例ID。对前景目标像实例分割那样区分不同个体，对背景区域也细致划分并标注，实现图像全面、精细分割 。

 VOC数据集

背景：PASCAL VOC挑战赛相关，是计算机视觉领域重要数据集 。

类别划分：分4大类、20小类 ，涵盖车辆（如Car、Bus 等）、家具（如Chair、Sofa 等）、动物（如Cat、Dog 等）、人物等类别。

数据规模：不同年份数量有别，2007年有9963张图片、24640个目标；2012年有23080张图片、54900个目标 。从2007年起引入语义分割和实例分割标注。总共2913张图，其中1464张训练图片，1449张验证图片。

数据结构：以文件夹形式组织数据，如Annotations存标注信息，JPEGImages存图像文件等 。

Cityscape数据集

采集自50个城市，覆盖春夏秋三季不同时段、场景和背景的街景图，用于城市街景相关的图像分割研究，能助力自动驾驶、城市规划等领域对街景图像分析处理的算法训练与评估 。

类别：涵盖30个类别 ，包括道路（road）、人行道（sidewalk ）、车辆（car、truck等 ）、行人（person ）、建筑（building ）、自然景物（vegetation ）、天空（sky ）等，细致划分城市街景元素。

数据规模：有5000张精细标注图像，其中2975张训练图、500张验证图、1525张测试图 ；另有20000张粗略标注图像。这些标注用于语义分割和实例分割任务，为模型训练提供丰富数据。

COCO数据集

以场景理解为目标，选取复杂日常场景图像 ，用于训练和评估图像分割等计算机视觉任务模型，助力模型更好处理现实生活中复杂多变场景 。

图像特点：包含标志性物体图像（Iconic object images）、标志性场景图像（Iconic scene images）和非标志性图像（Non - iconic images ），丰富多样，涵盖从单一物体到复杂场景的各类图像。

类别：共91类，以4岁小孩能辨识的物体为基准确定类别 ，其中82类的实例数量超5000个，类别丰富且数据量充足，为图像分割模型训练提供大量不同类别样本。

语义分割评估指标

Pixel Accuracy（PA，逐像素分类精度）：衡量语义分割模型预测的准确程度，计算方式是将所有正确分类的像素数（分子 ）除以总像素数（分母 ），公式中 p_{ii} 表示被正确分类到第 i 类的像素数，反映模型对像素分类的整体准确情况。

Mean Pixel Accuracy（平均像素精度）：先计算每个类别内被正确分类像素数占该类别总像素数的比例，再对所有类别求平均 ，关注每个类别分类的准确性。

IoU（Intersection over Union，交并比）：用于衡量前景目标预测结果和真实标注之间的重叠程度，通过计算预测区域和真实区域交集与并集的比值得到，直观体现预测和真实目标的重合情况。

mIoU（Mean IoU，平均交并比）：计算每个类别的IoU，然后求平均值，综合反映模型对各个类别分割的性能。

FWIoU（Frequency - Weighted IoU，频率加权交并比）：根据每个类别在数据集中出现的概率对mIoU进行加权计算，考虑类别出现频率差异，更合理评估模型性能。

图像分割网络模块

卷积模块：通过卷积操作提取图像特征，不断挖掘图像中目标的细节、形状等信息，将图像转化为更抽象、更具代表性的特征表示，为后续分割决策提供依据 。

反卷积模块：也叫转置卷积，对卷积模块得到的低分辨率特征图进行上采样操作，恢复到接近原图的尺度，使分割结果能对应到原图每个像素位置，得到完整的语义分割图像 。