OpenPose人体姿态识别项目输出格式详解
openpose 项目地址: https://gitcode.com/gh_mirrors/op/openpose
概述
OpenPose是一个开源的实时多人2D/3D姿态估计库,能够检测图像或视频中的人体、手部、面部关键点。本文将详细介绍OpenPose项目的输出格式,包括可视化界面、JSON数据结构、关键点排序以及高级功能等。
可视化界面输出
OpenPose的可视化界面会显示原始图像与检测到的姿态叠加的效果。如下图所示,系统能够实时追踪人体的各种姿态动作:
JSON数据结构与可视化映射
OpenPose的JSON输出文件包含一系列关键点,这些关键点的排序与可视化界面的显示位置直接对应。以下是不同身体部位的关键点格式说明:
BODY_25姿态关键点格式
BODY_25模型包含25个身体关键点,是COCO模型的扩展版本,增加了脚部关键点:
COCO姿态关键点格式
COCO模型包含18个身体关键点:
面部关键点格式
面部关键点模型包含70个关键点:
手部关键点格式
每只手包含21个关键点:
JSON输出格式详解
OpenPose提供两种保存输出数据的方式:
-
标准JSON格式(使用
--write_json
参数):- 每个JSON文件对应一帧图像
- 包含
people
数组,每个元素代表一个检测到的人体 - 主要字段:
pose_keypoints_2d
:2D姿态关键点(x,y,置信度)face_keypoints_2d
:2D面部关键点hand_left_keypoints_2d
:左手2D关键点hand_right_keypoints_2d
:右手2D关键点- 3D关键点字段(需启用3D模式)
part_candidates
:候选关键点(高级功能)
-
OpenCV格式(使用
--write_keypoint
参数,已弃用):- 仅保存2D身体关键点
- 使用OpenCV的FileStorage格式(JSON/XML/YML)
关键点编程接口
C++/Python中的关键点排序
在编程接口中,关键点的排序与可视化显示一致。可以通过API获取不同模型的关键点映射关系:
C++接口示例
#include <openpose/pose/poseParameters.hpp>
const auto& poseBodyPartMappingBody25 = getPoseBodyPartMapping(PoseModel::BODY_25);
Python接口示例
poseModel = op.PoseModel.BODY_25
print(op.getPoseBodyPartMapping(poseModel))
Datum中的关键点格式(高级)
对于使用C++ API的高级开发者,Datum
类中存储关键点的三种数据结构:
poseKeypoints
:姿态关键点faceKeypoints
:面部关键点handKeypoints
:手部关键点(左手和右手)
访问示例:
// 访问姿态关键点
const auto x = poseKeypoints[{person, part, 0}];
const auto y = poseKeypoints[{person, part, 1}];
const auto score = poseKeypoints[{person, part, 2}];
读取保存的结果
OpenPose使用标准格式(JSON, PNG, JPG等)保存结果,可以使用各种编程语言的库来读取。对于C++开发者,可以使用fileStream.hpp
中的工具函数:
#include <openpose/filestream/fileStream.hpp>
const auto data = loadData("result.json"); // 加载JSON数据
const auto image = loadImage("output.png"); // 加载图像
高级功能
相机矩阵输出格式
使用相机标定或3D模块时,相机矩阵的输出格式遵循特定规范,详细说明见相关文档。
热图输出
热图(heatmaps)是OpenPose内部使用的一种中间表示,可用于高级应用场景。热图的详细说明见相关文档。
总结
本文详细介绍了OpenPose项目的输出格式,包括可视化界面、JSON数据结构、编程接口以及高级功能。理解这些输出格式对于开发基于OpenPose的应用程序至关重要,无论是进行简单的姿态分析还是开发复杂的动作识别系统。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考