【2020-CVPR-3D人体姿态估计】Cascaded Deep Monocular 3D Human Pose Estimation with Evolutionary Training Data

Cascaded Deep Monocular 3D Human Pose Estimation with Evolutionary Training Data

题目：《基于进化训练数据的级联深度单目3D人体姿态估计》

作者：Shichao Li, Lei Ke, Kevin Pratama, Y u-Wing Tai, Chi-Keung Tang, Kwang-Ting Cheng

The Hong Kong University of Science and Technology, Tencent

来源：CVPR 2020

研究方向：单目/单人姿态识别-无监督学习

已有研究：

1、对单目图像3D HPE方法分为两种：

   ①生成方法：该方法适合参数化的模型得到高精度的3D HPE

   ②判别方法：从图像上观测3D HPE

2、现有SOTA模型[1] 处理数据方式：

   ①第一阶段：通过外观信息定位2D关键点（对于数据训练后课降低偏差）；

   ②在第二阶段：用几何信息将第一阶段得到的2D关节信息提升至3D骨骼（本文提出分层人体  模型：人体姿态为局部骨骼）

3、对于深度学习DNN模型，采用

  ①一阶段：从像素→3D姿态

  ②二阶段：提取2D关键点等几何表示→3D姿态（本文主要关注点）

改进：①对于数据不使用固定数据集，使用进化数据集，以此实现数据增强；

          ②不使用多视图一致性而用已有数据合成新的数据集且只用单一视图

         ③采用进化算法对2D-3D对处理

研究方法（思路）：

整体结构：采用自编码结构，直接从RGB图像中学习3D姿态

在不加注释的情况下：  使用进化算法（交叉、变异），在树状数据中发现有效3D pose

                                          ↓投影

                                     2D 关键点

                                          ↓形成

                                     2D -3D对

                                         ↓数据增强后，用于训练

                                    2D-3D网络

                                       ↓级联模型

                                    进行3D HPE

实现细节：

1、数据集进化

   ① 观察图像上2D坐标，推断出 ，由此从2D推出3D坐标，损失函数为

 

     数据集中：成对图像与真实的3D pose组成

  ② 为解决数据训练时，产生的过拟合和欠拟合（对数据稀缺数据），采取数据增强（进化）

（2）对于人的表示

用树分层组织的骨骼来表示3D人体骨骼，边表示相邻关节依赖性，箭头为父节点指向子节点

（3）合成新的2D-3D对

由 合成 投影给相机内部参数K后，形成2D-3D对

  

    ①给定2个父骨架，对其进行交叉，变异：

           交叉：子树随机交换，形成所选骨向量；

           变异：通过变异算子，修改一个骨向量的骨方向，获得新姿态

                      方法：随机选择一个骨向量并添加噪声

②适应度函数：评估数据优度V（p）

（4）TAG-net：

数据集：

1、对H36M数据集训练：进行数据集初始化；

2、对3DHP数据集：评估2D-3D泛化能力（跨数据判断）

---

 [1]不是特指一种模型，是指对于研究领域而言，目前最好/最先进的模型