图像识别技术与应用

· 图像分割：预测目标的轮廓。将不同的像素划分到不同的类别，非常细粒度的分类。

· 人像抠图，医学组织提取，遥感图像分析，自动驾驶，材料图像等。

· 物体Things：可数前景目标(行人等)。

· 事物Stuff：不可数背景(天空，草地，路面)。

语义分割

(semantic segmentation)

 

· 实例分割

(instance segmentation)

 

· 全景分割

(panoptic segmentation)

· 语义分割：每一个像素必须只能属于一类，预测结果为掩膜。

· 实例分割：只预测前景目标的类别属性以及边框，个体ID，每一个像素可以属于多个ID。

· 全景分割：每个像素点分配一个语义类别和一个唯一的实例ID。

· VOC数据集：PASCAL VOC挑战赛(The PASCAL Visual Object Classes)是一个世界级的计算机视觉挑战赛。

· VOC数据集：从2007年开始引进了语义分割和实例分割的标注。

· VOC数据集：一共2913张图，1464张训练图片，1449张验证图片· Cityscape数据集：5000张精细标注的图像(2975张训练图、500张验证图和1525张测试图)、20000张粗略标注的图像· Cityscape数据集：语义分割和实例分割· Pixel Accuracy：逐像素分类精度。

· Mean Pixel Accuracy：每个类内被正确分类像素数的比例。

· Pixel Accuracy：逐像素分类精度。

· Mean Pixel Accuracy：每个类内被正确分类像素数的比例。

· IoU：前景目标交并比。

· mIoU：每个类的IoU平均值。

· FWIoU：根据每个类出现的概率给mIoU计算权重。

卷积模块：提取特征。

· 反卷积模块：上采样恢复到原图尺度。

输入4*4，

输出2*2，

卷积核3*3，

· 卷积与反卷积（转置关系，transposed）

· 卷积网络：编码器

· 反卷积网络：解码器