OpenPose人体姿态识别项目输出格式详解

OpenPose人体姿态识别项目输出格式详解

openpose openpose 项目地址: https://gitcode.com/gh_mirrors/op/openpose

概述

OpenPose是一个开源的实时多人2D/3D姿态估计库,能够检测图像或视频中的人体、手部、面部关键点。本文将详细介绍OpenPose项目的输出格式,包括可视化界面、JSON数据结构、关键点排序以及高级功能等。

可视化界面输出

OpenPose的可视化界面会显示原始图像与检测到的姿态叠加的效果。如下图所示,系统能够实时追踪人体的各种姿态动作:

姿态识别示例

JSON数据结构与可视化映射

OpenPose的JSON输出文件包含一系列关键点,这些关键点的排序与可视化界面的显示位置直接对应。以下是不同身体部位的关键点格式说明:

BODY_25姿态关键点格式

BODY_25模型包含25个身体关键点,是COCO模型的扩展版本,增加了脚部关键点:

BODY_25关键点示意图

COCO姿态关键点格式

COCO模型包含18个身体关键点:

COCO关键点示意图

面部关键点格式

面部关键点模型包含70个关键点:

面部关键点示意图

手部关键点格式

每只手包含21个关键点:

手部关键点示意图

JSON输出格式详解

OpenPose提供两种保存输出数据的方式:

  1. 标准JSON格式(使用--write_json参数):

    • 每个JSON文件对应一帧图像
    • 包含people数组,每个元素代表一个检测到的人体
    • 主要字段:
      • pose_keypoints_2d:2D姿态关键点(x,y,置信度)
      • face_keypoints_2d:2D面部关键点
      • hand_left_keypoints_2d:左手2D关键点
      • hand_right_keypoints_2d:右手2D关键点
      • 3D关键点字段(需启用3D模式)
      • part_candidates:候选关键点(高级功能)
  2. OpenCV格式(使用--write_keypoint参数,已弃用):

    • 仅保存2D身体关键点
    • 使用OpenCV的FileStorage格式(JSON/XML/YML)

关键点编程接口

C++/Python中的关键点排序

在编程接口中,关键点的排序与可视化显示一致。可以通过API获取不同模型的关键点映射关系:

C++接口示例
#include <openpose/pose/poseParameters.hpp>
const auto& poseBodyPartMappingBody25 = getPoseBodyPartMapping(PoseModel::BODY_25);
Python接口示例
poseModel = op.PoseModel.BODY_25
print(op.getPoseBodyPartMapping(poseModel))

Datum中的关键点格式(高级)

对于使用C++ API的高级开发者,Datum类中存储关键点的三种数据结构:

  1. poseKeypoints:姿态关键点
  2. faceKeypoints:面部关键点
  3. handKeypoints:手部关键点(左手和右手)

访问示例:

// 访问姿态关键点
const auto x = poseKeypoints[{person, part, 0}];
const auto y = poseKeypoints[{person, part, 1}];
const auto score = poseKeypoints[{person, part, 2}];

读取保存的结果

OpenPose使用标准格式(JSON, PNG, JPG等)保存结果,可以使用各种编程语言的库来读取。对于C++开发者,可以使用fileStream.hpp中的工具函数:

#include <openpose/filestream/fileStream.hpp>
const auto data = loadData("result.json");  // 加载JSON数据
const auto image = loadImage("output.png"); // 加载图像

高级功能

相机矩阵输出格式

使用相机标定或3D模块时,相机矩阵的输出格式遵循特定规范,详细说明见相关文档。

热图输出

热图(heatmaps)是OpenPose内部使用的一种中间表示,可用于高级应用场景。热图的详细说明见相关文档。

总结

本文详细介绍了OpenPose项目的输出格式,包括可视化界面、JSON数据结构、编程接口以及高级功能。理解这些输出格式对于开发基于OpenPose的应用程序至关重要,无论是进行简单的姿态分析还是开发复杂的动作识别系统。

openpose openpose 项目地址: https://gitcode.com/gh_mirrors/op/openpose

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

卓怡桃Prunella

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值