Global-Local Bidirectional Reasoning for Unsupervised Representation Learning of 3D Point Clouds 笔记

Global-Local Bidirectional Reasoning for Unsupervised Representation Learning of 3D Point Clouds

本文介绍一篇cvpr2020里面关于点云无监督识别的文章。
论文
代码

1. 问题

以无监督的方式来学习点云，而且在modelnet和scannetobject 数据集上达到了和有监督方式的一样的精度。

2. 思想

这篇文章认为，由于3D物体自身的集合特性，应该可以根据局部推断出整体的类别，并且更好的区分类内的差别。反过来，整体的特征应该也可以推断出各个局部的细节。

显而易见，本文包含两个步骤。Local to Global Reasoning 和 Global to Local Reasoning

3. 算法

3.1 Local to Global Reasoning

思想就是，从提取到的局部特征，映射得一个全局特征，然后衡量由局部特征得到的全局特征与直接的全局特征之间差异，进行反复学习。

所以，首先需要一个预测网络。

• Prediction Networks:
  将局部特征和全局特征映射到一个共享的特征空间内

接下来，就是需要衡量二者的差异

• Self-Supervised Metric Learning:

本文没有选取常规的二范数，而是将其看作是unsupervised metric learning task，并如此建模（我不太了解metric learning）还使用multi-class N-pair loss 来监督预测任务
仿照人脸识别的metric learning将特征放在一个超球上。

3.2 Global to Local Reasoning

进行Global to Local Reasoning 的原因是为了保证直接提取的global feature质量，如果直接提取的global feature质量比较差，那么Local to Global Reasoning 模块提取的local feature 就会像一个错误的方向移动，导致模型无法学习到有用的知识。

这个模块通过两个子任务来保证全局特征的有效性

• Self-Reconstruction
• Normal Estimation
  
  
  注意，因为法向量估计是一个很难的任务，所以本文在modelnet数据集上，把此子任务变成了一个有监督的任务。这里其实有点小疑问，个人觉得法向量ground truth含有的信息可能还要多于classification label。

得到最终的loss

4 实验结果

分类精度很棒，大大超越了所有的无监督方法，甚至可以和有监督的分类方法相比拟。

从对比实验中可以看出，每个部分都起到了比较大的作用。不是很了解metric learning的建模方式对这篇文章的贡献有多大。也就是说为什么要使用metric learning 对loss进行约束呢？猜想一下，二范数约束loss的效果应该不好。

总结

文章做的很棒，以无监督方式甚至超过了一些有监督的模型。作者的知识面很广，佩服！