目标分割
一、目标分割概述
1.什么是目标分割
2.目标分割算法介绍
算法分类
3.数据集及竞赛
二维数据集
2.5维度数据集
3D数据集
4.算法效果
评价指标
目标分割总结
二、FCN(Fully Convolutional Networks for Semantic Segmentation )
1.FCN 背景介绍
2.FCN介绍
全卷积网络
tf.keras.layers.Conv2DTranspose(
filters, kernel_size, strides=(1, 1), padding='valid', output_padding=None,
data_format=None, dilation_rate=(1, 1), activation=None, use_bias=True,
kernel_initializer='glorot_uniform', bias_initializer='zeros',
kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None,
kernel_constraint=None, bias_constraint=None, **kwargs
)
参数:
1、filters:整数,输出空间的维数(即卷积中输出过滤器的数量)。
2、kernel_size:2个整数的整数或元组/列表,指定2D卷积窗口的高度和宽度。可以是单个整数,以为所有空间尺寸指定相同的值。
4、strides:一个整数或2个整数的元组/列表,指定沿高度和宽度的卷积步幅。可以是单个整数,以为所有空间尺寸指定相同的值。指定任何跨步值!= 1与指定任何dilation_rate值!= 1 不兼容。
5、padding:"valid"或之一"same"(不区分大小写)。
6、output_padding:一个整数或2个整数的元组/列表,指定沿输出张量的高度和宽度的填充量。可以是单个整数,以为所有空间尺寸指定相同的值。沿给定尺寸的输出填充量必须小于沿相同尺寸的步幅。如果设置为None(默认),则推断输出形状。
7、data_format:字符串,channels_last(默认)或之一channels_first。输入中尺寸的顺序。
8、channels_last对应于具有形状的输入, (batch, height, width, channels)而channels_first 对应于具有形状的输入 (batch, channels, height, width)。默认为image_data_format在Keras配置文件中找到的值~/.keras/keras.json。如果您从未设置,那么它将是“ channels_last”。
9、dilation_rate:一个整数或2个整数的元组/列表,指定用于扩张卷积的扩张率。可以是单个整数,以为所有空间尺寸指定相同的值。当前,指定任何dilation_rate值!= 1与指定任何步幅值!= 1不兼容。
10、activation:要使用的激活功能。如果您未指定任何内容,则不会应用任何激活(即“线性”激活:)a(x) = x。
11、use_bias:布尔值,层是否使用偏置向量。
12、kernel_initializer:kernel权重矩阵的初始化程序。
13、bias_initializer:偏置矢量的初始化器。
对于移针法,设原图与FCN所得输出图之间的降采样因子是f,那么对于原图的每个f的区域(不重叠),“shift the input x pixels to the right and y pixels down for every (x,y) ,0 < x,y < f." 把这个f区域对应的output作为此时区域中心点像素对应的output,这样就对每个f的区域得到了f^2个output,也就是每个像素都能对应一个output,所以成为了dense prediction。
skip layers实现fusion prediction
patch-wise training in FCN
训练细节
评价指标
3.分割架构效果
4.网络结构总结
三、SegNet与U-Net
1.SegNet背景
2.SegNet介绍
特点
max-pooling与deconvolution对比
训练细节
效果对比
3.SegNet总结
4.U-Net-用于生物医学图像分割的卷积网络(冠军)
医疗影像的特点
5.U-Net 详解
结构
训练细节
数据增强
6.U-net实验效果
四、DeepLab系列
1.SiamFC介绍
架构
网络结构与训练过程
测试过程
算法特点
算法细节
实验
SiamFC的发展
2.SiamRPN
结构
训练
实验效果
总结
3.SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks (SiamRPN++)
架构
实验
五、DeepLab V2 & V3& V3+
DeepLabv1 在三个方向努力解决,但是问题依然存在:特征分辨率的降低、物体存在多尺度,DCNN的平移不变性。
1.DeepLab V2
改变特点
Astrous conv
ASPP
CRF
与DeepLabv1一样
训练
效果
2.DeepLab V3
V3的改进
V3工作
架构
实验
3.V3总结
4.DeepLab v3+
与DeepLab V3对比
结构
训练细节
实验效果
5.DeepLab系列总结
六、Mask RCNN
1.Mask RCNN介绍
Mask R-CNN是何凯明的力作,将Object Detection与Semantic Segmentation合在了一起做。Mask R-CNN是一个很多state-of-the-art算法的合成体,并非常巧妙的设计了这些模块的合成接口。
回顾
Mask R-CNN
RoIAlign
对比两种方式
主干架构(backbone architecture)的head结构(Mask预测部分)
训练细节
2.效果
目标分割
消融实验
目标检测结果
Cityscapes上的实验