AlphaPose论文阅读:Regional Multi-person Pose Estimation

最近在阅读上交卢教授的关于行人骨架检测的一篇开源工作,特写此博以做备注。
名称:RMPE Regional Multi-person Pose Estimation
使用框架:Pytorch
论文地址:https://arxiv.org/abs/1612.00137
开源地址:https://github.com/MVIG-SJTU/AlphaPose/tree/pytorch

模型组成

Single-person Pose Estimator (SPPE)单个行人姿势预测会受到行人检测结果的影响。检测框的微小偏移就可能会造成姿势预测的极大偏差。该论文针对这个主要问题提出了AlphaPose。模型共由以下三部分组成:
1.Symmetric Spatial Transformer Network (SSTN)
2.Parametric Pose Non-Maximum-Suppression (NMS)
3.Pose-Guided Proposals Generator (PGPG)
SPPE常见问题

模型细节

AlphaPose遵循两步姿势预测架构,模型旨在在行人检测框不准确的情况下依然能够准确的检测出行人的姿势。为了对比自身模型,部署了基于Faster-RCNN检测模型+SPPE Stacked Hourglass model模型的架构。对比SPPE,AlphaPose提出SSTN用于提高单个行人检测的质量,促进SPPE模块骨架检测效率。

RMPE模型流程

### OpenPose 实时多人 2D 姿态估计 OpenPose 是由卡内基梅隆大学感知计算实验室开发的一项开创性技术,旨在实现实时多人2D姿态估计。该系统能够在同一场景中同时检测多个人体的关键点,包括身体、手部、面部和脚部的位置[^1]。 #### 部分亲和域 (Part Affinity Fields) 为了提高姿态估计的准确性并解决遮挡问题,OpenPose引入了部分亲和域(Part Affinity Fields, PAFs)的概念。PAFs用于表示不同部位之间的连接关系,具体来说: - **定义**:对于每一对相连的身体部件(如肩膀到肘),构建一个二维向量场来描述这对部件的方向性和置信度。 - **作用机制**:通过分析这些向量场中的梯度方向可以推断出各个肢体间的相对位置以及它们之间是否存在关联。这使得即使某些关节被遮挡或不可见的情况下也能正确重建完整的骨架结构[^3]。 ```python import cv2 from openpose import pyopenpose as op params = dict() params["model_folder"] = "path/to/models" opWrapper = op.WrapperPython() opWrapper.configure(params) datum = op.Datum() cap = cv2.VideoCapture(0) while True: ret, frame = cap.read() datum.cvInputData = frame opWrapper.emplaceAndPop([datum]) # Display keypoints and part affinity fields on the image cv2.imshow("Keypoints", datum.cvOutputData) if cv2.waitKey(1) & 0xFF == ord('q'): break cv2.destroyAllWindows() ``` 此代码片段展示了如何利用OpenPose库读取摄像头输入,并显示处理后的图像,其中包含了检测到的人体关键点及其对应的PAF可视化结果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值