论文地址: Multi-View Multi-Person 3D Pose Estimation with Uncalibrated Camera Networks (mpg.de)
1.论文简介
该论文提出了一种无标定的相机的多目3D人体姿态检测方法(MVMP),其可以在开放数据集上预先训练的发达的2D人体检测和描述网络,可推广到任意设置的多视图几何和优化算法相结合。这篇文章的特点在于没有采用之前的算法,体素化,三角测量,而是一种新的多视角匹配的方法,能在非标定的多相机下运行,这是创新点
2.文章结构
a.其将跨视图人体匹配作为一个约束优化问题来求解的过程,假设有N个相机与K个人,则其通过聚类算法将每一个人在不同视角下的图片分类出来,并且满足以下三个条件:①每一个人至少被两个以上相机看见②匹配的图片数量小于匹配的人的相机拍摄数量(N)③同一视角下的人不应该被匹配,如图下
b. 相机的姿态检测与自检验
(a)相机的姿态检测
形式上,设相机对(a,b)的点对应集为(pa,pb)。我们首先在RANSAC算法循环中求解本质矩阵Eab。接下来,我们将Eab分解为一个相对旋转矩阵Rab和一个按比例缩放的相对平移选项卡。对所有相机对重复此过程,以获得相机网络的3D布局。
(b)自检验
提出了一种相机自我检验的方法来防止相机陷入局部最小值的问题
c.多视图的聚合和束调整
聚合的意思是将不同配对视角下的人的姿态结合到一起,但这就会造成人的不自然与相对位置不正确的问题,所以通过最小化L2距离(2D姿态与3D姿态的投影在每个相机)
3.数据
4.可视化