《MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network》论文阅读

MultiPoseNet是一种新型的自下而上的多任务模型,用于快速多人姿态估计。通过Pose Residual Network(PRN),它能同时处理人体检测、关键点检测、人分割和姿态估计。相比其他自下而上的方法,MultiPoseNet在COCO关键点数据集上的精度提高了4点MAP,速度提高了4倍,实现了23帧/秒的实时性能。

MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network


Abstract

在本文中,我们提出MultiPoseNet,一种新的自下而上的多姿态的人,结合了一种新的分配方法多任务模型估计架构。 MultiPoseNet可以共同处理人员检测,关键点检测,人员分割和姿态估计问题。新颖的分配方法由接收关键点和人检测,并通过向人实例指派关键点产生准确的Pose Residual Network(PRN)实现。在COCO关键点的数据集,我们的姿态估计方法无论在精度还是速度,都优于以前所有的自下而上的方法(比以前的最好成绩+ 4点MAP);而它还比最好的自上而下的方法至少快4倍。我们的方法是最快的实时系统,23帧/秒。源代码可在:https://github.com/mkocabas/pose-residual-network

1 Introduction

这项工作的目的是估计的二维(2D)多人在给定的图像中的姿势。任何解决这个问题必须解决几个子问题:检测身体关节(或keypoints,他们在COCO [1]数据集上的称呼),例如手腕,脚腕,等等,这些接头分组到人的情况下,或检测人并分配关节到人的实例。根据其子问题首先解决,先后有多人2D估计两种主要方法:自下而上和自上而下的。自下而上的方法[2-8]首先检测体关节,而无需任何知识,以人或人的位置的数目。接下来,检测关节分组,以形成对人的情况下,个人的姿势。在另一方面,自顶向下的方法[9-12]通过检测人首先,

### OpenPose 实时多人 2D 姿态估计 OpenPose 是由卡内基梅隆大学感知计算实验室开发的一项开创性技术,旨在实现实时多人2D姿态估计。该系统能够在同一场景中同时检测多个人体的关键点,包括身体、手部、面部和脚部的位置[^1]。 #### 部分亲和域 (Part Affinity Fields) 为了提高姿态估计的准确性并解决遮挡问题,OpenPose引入了部分亲和域(Part Affinity Fields, PAFs)的概念。PAFs用于表示不同部位之间的连接关系,具体来说: - **定义**:对于每一对相连的身体部件(如肩膀到肘),构建一个二维向量场来描述这对部件的方向性和置信度。 - **作用机制**:通过分析这些向量场中的梯度方向可以推断出各个肢体间的相对位置以及它们之间是否存在关联。这使得即使某些关节被遮挡或不可见的情况下也能正确重建完整的骨架结构[^3]。 ```python import cv2 from openpose import pyopenpose as op params = dict() params["model_folder"] = "path/to/models" opWrapper = op.WrapperPython() opWrapper.configure(params) datum = op.Datum() cap = cv2.VideoCapture(0) while True: ret, frame = cap.read() datum.cvInputData = frame opWrapper.emplaceAndPop([datum]) # Display keypoints and part affinity fields on the image cv2.imshow("Keypoints", datum.cvOutputData) if cv2.waitKey(1) & 0xFF == ord('q'): break cv2.destroyAllWindows() ``` 此代码片段展示了如何利用OpenPose库读取摄像头输入,并显示处理后的图像,其中包含了检测到的人体关键点及其对应的PAF可视化结果。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值