Multi-Domain Pose Network for Multi-Person Pose Estimation and Tracking

最新推荐文章于 2022-04-06 21:25:43 发布
原创 最新推荐文章于 2022-04-06 21:25:43 发布 · 683 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#multipose

针对多人关键点预测，字节跳动提出一种新方法，避免模型在finetune过程中丢失初始数据集信息。通过Multi-DomainPoseNetwork(MDPN)模型，统一训练多个数据集，确保模型能同时学习并保留不同数据集特征。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

字节跳动公司在arxiv上发的一篇文章,感觉还挺有意思的.

主要内容

针对多人关键点预测,目前主流的方法都是深度学习方法,而现有的深度学习方法离不开大规模数据集的支持. 多人关键点的数据集目前有COCO, MPII, Ai-Challenger, Posetrack等等,这些数据集的标注样式以及数据集来源都不一样. 目前的多人关键点模型在做训练的时候,常用的方法是现在某个数据集上先做初始化训练,然后在迁移到最终测试的数据集上做finetune. 但作者指出这样做会有问题:

  • 模型在最后finetune的时候, 其实会丢失到模型一开始在另外的数据集上学习的信息, 这样会造成模型在最后学习到的就是在finetune的数据集上的信息,或者说大部分都是这部分信息,而对于一开始初始化的那个数据集信息模型保留的就十分少.
  • 数据集有很多个, 那么具体哪个训练顺序是最好的呢? 是先在coco上训练,然后MPII上finetune, 还是先MPII训练, COCO上finetune再MPII finetune?这些其实都没有一个具体的说法,全靠尝试.

因此作者提出不要分开训练, 而是把所有的数据集统一到一起去训练. 作者提出了一个模型, 叫 Multi-Domain Pose Network (MDPN), 模型结构如下图所示:
在这里插入图片描述

模型最终会有一个Multi-domain Pose Predictions, 上图右侧就是. 三个输出公用一个backbone. 具体的训练策略是:

  1. 三个输出(coco, mpii, posetrack)都开始训练
  2. 在coco数据集上针对coco head进行finetune
  3. 固定backbone和coco head, 将mpii head及posetrack head的输出结合在一起,只对这两块进行finetune,得到最后的输出.

文章没有具体说明训练时如何处理训练数据,例如在第一步时,是将所有数据集混乱然后打上不同的标签(例如这个是coco的,这个是mpii的)单独走对应的head,还是将数据集标注统一了下,三个都走? 文章并没有很明确的提出, 不过思路很有意思, 对单个任务但有多个数据集的训练提供了一个新的思路.

3D human pose 重要论文分类（持续更新）
b_lack的博客
04-06 4954
3D human pose 重要论文整理（持续更新） 传统方法 *[1] Chunyu Wang,Yizhou Wang,Zhouchen Lin,Alan L. Yuille,Wen Gao. Robust Estimation of 3D Human Poses from a Single Image. In the Center for Brains, Minds and Machines(...
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
Learning Multi-Domain Convolutional Neural Networks for Visual Tracking 笔记
carrierlxksuper的专栏
11-06 4033
这篇paper利用DL做 visual tracking，目前在Object Tracking Benchmark以及VOT2014上实现了state of the art。文章的方法比较直观： 作者称之为Multi_domain network。本质上，作者首先拿第一帧大量的正负样本来训练前面这个conv1-conv2-conv3-fc4-fc5网络，而对于fc6,针
目标跟踪算法五：MDNet: Learning Multi-Domain Convolutional Neural Networks for Visual Tracking
jacke121的专栏
02-24 1万+
目标跟踪算法五：MDNet: Learning Multi-Domain Convolutional Neural Networks for Visual Tracking
Efficient parametrization of multi-domain deep neural networks
sinat_30618203的博客
08-12 940
常见的迁移学习任务 1、multi-task model 同时适用于多个task 2、multi-domain model 同时适用于多个domain 3、extensible model 模型可随时间进化，通过之前学习的知识来迁移到新的任务和domain上 创新 定义网络为；w是universal v...
Multi-Person Pose Estimation
castle_cc的博客
11-29 601
论文： Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields（openpose） https://arxiv.org/pdf/1611.08050.pdf RMPE: Regional Multi-Person Pose Estimation（AlphaPose） http://mvig.sjtu.edu.cn/re...
PoseTrack: Joint Multi-Person Pose Estimation and Tracking
qq_25379821的博客
12-02 3455
介绍 文章指出现有的方法不能直接解决posetrack问题，因为这个问题包括两个问题，一个pose估计，一个是track 本文提出一个新颖的方法和一个数据集剑指同时解决这个两个子问题，方法有几个关键点 用一个时空graph，表达视频中姿态估计 通过求解一个整数线性规划问题（integer linear program）去把这个图分割成子图，每个子图仅含有单个人的pose时空轨迹 这个问题...
2021年9月_IEEE Transactions on Image Processing_科技前言热点调查表
Haimerdinger的博客
11-03 3515
IEEE Transactions on Image Processing文献跟踪 2021年9月 • 30卷 • 第9期 文献名/代码/相关性 方向 对象 实验方式 工作 亮点 数据集 Geometry Auxiliary Salient Object Detection for Light Fields via Graph Neu.
Self-supervised Learning of Motion Capture阅读笔记
qq_40045309的博客
05-04 1798
备注： 1.作者 Hsiao-Yu Fish Tung，Katerina Fragkiadaki 卡耐基梅隆大学 一、概述 1. abstract （1） 跟直接优化mesh and skeleton 的参数不一样的是，我们通过优化网络的权重来预测一个 monocular RGB video中的3D shape and skeleton 的配置； （2） 模型采用end-to-end ...
【ECCV2020】接收论文列表part1
TomRen
07-18 7114
ECCV2020 接收论文完整列表 看论文学CV
(17) Bottom-up Higher-Resolution Networks for Multi-Person Pose Estimation
qq_17721239的博客
05-14 583
Bottom-up Higher-Resolution Networks for Multi-Person Pose Estimation 2019 reading time:2019/10/11 论文是CVPR2019的SOTA单人姿态估计的作者，延续其HRNet的研究成果。主要思想就是进一步提高分辨率，HigherHRNet通过对输出的高分辨率feature maps进行deconvo...
[Paper]Fast and Robust Multi-Person 3D Pose Estimation and Tracking from Multiple Views
weixin_42265958的博客
09-03 869
文章目录Fast and Robust Multi-Person 3D Pose Estimation and Tracking from Multiple ViewsAbstractIndex Terms1. Introduction2. Related WorkMulti-view 3D human poseSingle-view pose estimationPerson re-ID and multi-image matching Fast and Robust Multi-Person 3D Po
论文笔记--用于人体姿势估计的深度双连续网络（Deep Dual Consecutive Network for Human Pose Estimation）
Thewindking的博客
04-06 5330
用于人体姿势估计的深度双连续网络（Deep Dual Consecutive Network for Human Pose Estimation）
Multi-Person Pose Estimation for PoseTrack with Enhanced Part Affinity Fields
qq_25379821的博客
12-03 514
介绍 进阶版的PAF，posetrack map 70！   关键点 冗余的PAF 文中指出，由于PAF使用的聚合方法中，连接N个关节点只用了N-1条边，要取得完整的聚合需要所有部分都检测聚合正确，这是很难满足的，因此设置一些冗余的连接，可以提高聚合的效果。如下图所示，红色边是冗余的连接，当左elbow没有被检测到时，可以通过冗余的连接把wrist 和shoulder 连接起来，这设计提高...
论文笔记：Cascaded Pyramid Network for Multi-Person Pose Estimation（CPN）
牛顿爱吃香蕉的博客
06-04 1059
Cascaded Pyramid Network for Multi-Person Pose Estimation1、主要成果2、细节2.1、网络构成2.2、实验设置2.3、实验结果3、总结4、看法 1、主要成果 提出 CPN(Cascaded Pyramid Network)CPN(Cascaded~Pyramid~Network)CPN(Cascaded Pyr...
DeepCut: Joint Subset Partition and Labeling for Multi Person Pose Estimation
cv_family_z的博客
12-02 5463
本文主要说的是多个人姿态估计问题先看看下面的结果图： 是怎么做到这个结果了？ 首先使用 CNN提出人体部件的候选区域，每个候选区域作为一个节点，所有的节点组成一个图，节点之间的关联性作为图节点之间的权重，将其作为一个优化问题，将属于同一个人的部件（节点）归为一类，每个人作为一个单独类。本文的思路具有以下几个优势： 1）可以解决未知个数人的图像，通过归类得到有多少个人 2）通过图论节点的聚
【论文阅读笔记】Cascaded Pyramid Network for Multi-Person Pose Estimation
时光机 °的博客
07-10 1282
论文地址：CPN 论文总结   本文方法名为CPN，是个top-down的检测方法，即先用检测器得到人类的bounding box，再使用CPN来检测关键点。CPN是2017年COCO关键点检测的冠军算法。   如名字所言，是一个级联的金字塔网络。CPN由三个子网络组成：Backbone、GlobalNet、RefineNet。其中Backbone用于提取特征，GlobalNet用于融合不同尺度的特征（金字塔），RefineNet用于得到精细的输出。文中Backbone使用的是ResNet。   在训练时，
姿态估计 - Human Pose Estimation Papers
长风破浪会有时，直挂云帆济沧海
10-11 9901
人体姿态估计 - Human Pose Estimation PapersSingle Person Human Pose Regression by Combining Indirect Part Detection and Contextual Information - 2017 [Paper] [Code] Self adversarial training for human pose e
姿态检查整理--07-RMPE: Regional Multi-Person Pose Estimation
daniaokuye的专栏
11-27 5033
RMPE: Regional Multi-Person Pose Estimation多人姿态估计top-down方法，多人情况下小的定位与识别的错误难以避免，这篇文章提出的方法是regional multiperson pose estimation（RMPE），包括三个部分： Symmetric Spatial Transformer Network (SSTN), Parametric Pos
realtime multi-person 2d pose estimation using part affinity fields
06-28
### 回答1： 实时多人二维姿态估计使用的是部件关联场技术。该技术利用深度学习网络对图像中的人体关键点进行检测和定位，并通过学习人体部位之间的关联性来提高姿态估计的准确性。在实时性方面，该技术利用高效的网络结构和并行计算技术，能够在处理多人图像时保持较高的处理速度和较低的延迟。 ### 回答2： 实时的多人2D姿态估计是指在照片或视频中同时检测多个人的姿态并实时反馈结果。这个任务主要是依赖计算机视觉领域的人体关键点检测技术。而Part Affinity Fields（PAF）是现在最常用的一种检测方法。 PAF可以理解为是人体姿态中的“骨架”，它在这里指的是需要将骨骼节点间的关系一同考虑进去来提高精度的设计。每个PAF都对应着一对关联的节点，例如手臂这一关节对应的PAF就是肩膀和手腕两个关键点中间的向量场。PAF能够将关键点之间的联系编码为一个向量场，并将它们的图像位置和方向作为通道特征，这样就可以通过深度卷积网络获得节点的连接信息。 对于多人2D姿态估计任务，PAF可以自动推断出人体的椭圆形状，使得不同人的节点互相不干扰，能够高效地分离不同人体之间的关键点信息，保证检测精度。 总体而言，实时的多人2D姿态估计技术是计算机视觉研究领域中一个非常重要的方向。通过Part Affinity Fields技术，可以实现对人体姿态的快速准确检测和分析，并具有广泛的应用前景，比如拍摄跳舞类视频、体育比赛等。未来，该领域还将会不断提高研究和开发技术，提高其在实际场景中的使用效果，为人们的生产和生活提供更多更好的便利。 ### 回答3： 在计算机视觉领域，人体姿态估计一直是一个十分重要的研究方向。现在，研究者们正在致力于开发实时多人二维姿态估计方法，本文将介绍一种方法——part affinity fields。 Part affinity fields是指身体部位之间存在的空间关系矩阵。多人姿态估计就是先将图像中的每一个像素与人体相关的身体部件联系起来，然后再利用network output将这些点连接起来形成人体姿态。part affinity fields的基本思想是采用CNN对每一个像素做预测，以定位人体骨架上的每一个连接点。 主要步骤： 1.生成部件置信图：对于输入的图像，通过CNN估计每个像素是否为其中每个身体部位的一部分，这个图叫做部件置信图(Part Confidence Maps)，可以通过训练数据集来检测出身体部位的位置。 2.生成连接部件映射图：对于预测出来的部件置信图，我们可以通过预测到的部件之间的关系来学习生成连接映射图(Part Affinity Fields)，即学习两个不同身体部件之间的关系（connectivity），这个关系是一个形状为“c×2×h×w”的4维张量。在测试阶段，对于输入图像中的每个像素，都会有其对应到一个连接部件映射图的位置。 3.生成姿态结果：最后，我们将生成的部件置信图和连接部件映射图进行联合，把已确定的部件通过连接映射图装配起来并组合成人体的姿态结果。 这种方法最大的好处就是实现了实时多人姿态估计，不需要预设一个特定数量的人数。同时，在处理不同人的关键点时，以前的方法通常是对每个人都单独进行估计，而这个方法则对所有人的关键点一起进行估计，能够更好地处理人际交互。 总之，通过深度学习和部件置信图与连接映射图等技术手段的利用，Part Affinity Fields在解决实时多人二维姿态估计时具有很大的潜力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值