人体姿态估计

二维人体姿态估计:

一般分为单人和多人,单人姿态估计两种方法,一种为直接回归,另一种为热图预测。

直接回归是通过全连接层直接回归出关键点的位置,这个方法缺乏泛化性,泛化性是指获取其他的空间位置的能力。卷积的权重是共享的,但是全连接层是进行拉平处理的,所以如果识别的物体一直在左上角,则拉直后上面的权重更高,物体在右下角时就不容易被识别,会过拟合。但是直接回归的前向传播快。

热图是主流方法,输入一个人的图片,输出关键点的热图,如果每个人要回归17个关键点,那么预测输出特征图是(batch,h_o,w_o,17),即每个通道都是预测一个关节点的热图,然后对每个通道进行argmax即可得到整数型坐标。精度高是因为输出的特征图大。

多人姿态估计:自下而上,自上而下

三维人体姿态估计:

从二维图片暴力回归得到三维坐标

先得到2D信息,再提升到3D

           联合2D,3D共同训练(2D信息通常以heatmap来表示)
          Towards 3D Human Pose Estimation in the Wild (ICCV 2017)
          3D Hand Shape and Pose Estimation from a Single RGB Image (CVPR 2019)
          直接用预训练好的2D姿态网络,将得到的2D坐标输入到3D姿态估计网络中(得益于2D姿态估计较为成熟)
          Simple Yet Effective Baseline (ICCV 2017)
          3D human pose estimation in video with temporal convolutions (CVPR 2019)

评估指标:

MPJPE:关节点坐标误差的平均值

  • 网络输出的关节点坐标与ground truth的平均欧式距离(通常转换到相机坐标)

PCK:正确关键点的百分比 

  • 如果预测关节与ground truth之间的距离在特定阈值内,则检测到的关节被认为是正确的
  • 可用于2D和3D

 PCP:正确部件的百分比

越大模型越好

PDJ:检出关节的百分比

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值