2020.09.23读MaskedFusion: Mask-based6D object pose estimation

1.背景信息

1.输入数据形式： RGBD图像
2.模块化组合框架，每个sub-task都可以用好的模块替换
3.个人感觉跟densefusion非常像

方法

网络结构

整个结构分为三个子任务：
sub-task1：image segmentation
通过语义分割对scene中每个对象检测和分类—>二进制mask
sub-task2：6D pose estimation
对每个对象从不同类型的数据中提取特征—>逐像素融合—>6D pose estimator—>6Dpose
sub-task3: pose refinement(可选)
优化部分完全采用了densefusion给出的优化网络

其中PointNet提取了500个features
cropped RGB image的FCN是ResNet-18去掉最后的全连接层，提取出500个features
cropped mask image的FCN是单通道输入的ResNet-18去掉最后的全连接层，提取出500个features

所有的features串联成一个single vector，然后用一个卷积层进行Feature Fusion。
6D Pose估计器有两个分支，每个分支都是由4个卷积层构成，一个分支用于回归平移向量，另一个分支用于回归旋转向量。

损失函数