Human3.6M数据集下载

最新推荐文章于 2024-10-16 10:21:17 发布
原创 最新推荐文章于 2024-10-16 10:21:17 发布 · 3.8k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据集

本文提供了Human3.6M (H36M) 数据集的详细下载步骤，包括注释文件与图像数据的获取。通过这些指导，读者可以顺利下载到用于三维人体姿态估计研究所需的资源。

# Download H36M annotations mkdir data cd data wget http://visiondata.cis.upenn.edu/volumetric/h36m/h36m_annot.tar tar -xf h36m_annot.tar rm h36m_annot.tar # Download H36M images mkdir -p h36m/images cd h36m/images wget http://visiondata.cis.upenn.edu/volumetric/h36m/S1.tar tar -xf S1.tar rm S1.tar wget http://visiondata.cis.upenn.edu/volumetric/h36m/S5.tar tar -xf S5.tar rm S5.tar wget http://visiondata.cis.upenn.edu/volumetric/h36m/S6.tar tar -xf S6.tar rm S6.tar wget http://visiondata.cis.upenn.edu/volumetric/h36m/S7.tar tar -xf S7.tar rm S7.tar wget http://visiondata.cis.upenn.edu/volumetric/h36m/S8.tar tar -xf S8.tar rm S8.tar wget http://visiondata.cis.upenn.edu/volumetric/h36m/S9.tar tar -xf S9.tar rm S9.tar wget http://visiondata.cis.upenn.edu/volumetric/h36m/S11.tar tar -xf S11.tar rm S11.tar cd ../../..

记住下载压缩包后解压后是一个没有后缀名的文件，想要再次添加tar后缀名再解压一次才可以得到jpeg文件。。。。。。。

Human3.6M 数据集介绍及下载
XavierJ的博客
08-18 3万+
360 万张 3D 人体姿势和对应图像11 名专业演员（6 男 5 女）7 个场景（讨论、吸烟、拍照以及打电话等等）
Human36m 百度云 数据集下载说明.txt
01-14
本资源是human 3.6 中做3D姿态识别的相关数据集。所有数据可以从我分享的百度云中下载。分享的数据包括8个文件 h36m_annot.tar S1.tar S5.tar S6.tar S7.tar S8.tar S9.tar S11.tar， 一共大约26G左右。下载说明见附件。
Python-获取Human36M3D人体姿态数据集
08-12
Human 3.6M 3D human pose dataset fetcher
Human3.6M dataset数据集百度网盘下载链接
m0_73829560的博客
01-17 4322
human3.6数据集下载百度网盘
human3.6M数据集下载地址
邹小驴
09-30 1571
2020 Pose Estimation人体骨骼关键点检测综述笔记（有空更新） - 知乎（下载地址在评论里面）
human3.6m数据集下载 百度网盘
xz1203的博客
01-24 7360
在官网申请Human3.6M，一直没回应，参考了human3.6M数据集下载的方法。 但这个方法下下来的数据集只有20多个g，且下载也很慢。感觉可能是数据集的一部分吧。这里给出百度网盘的地址，方便国内下载。 链接：https://pan.baidu.com/s/1kVm9vfurugaQZOftGE3rAw 提取码：otfw annot里面是这样的 另外的几个解压出来之后是对应的图片 后面有时间在尝试对这个数据集进行处理 ...
human3.6数据集整理版
02-22
2. `data_2d_h36m_cpn_ft_h36m_dbb.npz`：这部分数据可能包含了使用CPN（Convolutional Pose Machines）进行预训练并在Human3.6M数据集上进行微调的结果，以及DBB（DeeperCut for Bottom-Up Multi-Person Pose ...
精选资源
NeuralAnnot中Human3.6M的data
11-09
Human3.6M数据集是目前广泛应用的一个大型3D人体动作数据库，它包含了大量精确的动作捕捉数据，为深度学习模型提供了丰富的训练素材。NeuralAnnot，作为一款专门针对3D人体网格训练集的工具，对Human3.6M数据集的...
精选资源
3d人体姿态Human36m数据集
01-15
《3D人体姿态Human3.6m数据集详解与应用》 在计算机视觉领域，3D人体姿态估计是一项重要的研究课题，它广泛应用于虚拟现实、运动分析、人体行为识别等多个领域。Human3.6m数据集是目前最常用且最具挑战性的3D人体...
Human
10-28
Human
human tracking
05-26
虚拟现实技术是人体跟踪的一个手段.目前很有市场.该文档记录了综述.
data_2d_h36m_gt.npz
01-15
videpose3d执行后生成的2d文件
data_3d_h36m.npz
01-15
videpose3d人体姿态识别3d格式
human数据集下载
sinat_41479651的博客
07-13 921
以下网址可以下载到可以使用的human3.6m数据集 https://zhuanlan.zhihu.com/p/69042249 数据集下载网盘位置在评论区给出 为防止链接失效，自己也存储了一份，可以从以下链接获取 链接：https://pan.baidu.com/s/1uMQr2do8WzjMlaAPFruUzg 提取码：m47o ...
Human3.6M数据集百度网盘下载链接
gitblog_06524的博客
09-20 501
Human3.6M数据集百度网盘下载链接 【下载地址】Human3.6M数据集百度网盘下载链接 本资源文件提供了Human3.6M数据集的百度网盘下载链接。Human3.6M是一个广泛使用的人体姿态估计数据集，包含11名专业演员在7个不同场景中的3D人体姿势和对应图像 ...
【免费下载】 Human3.6M数据集：人体姿态估计的黄金标准
gitblog_06536的博客
09-20 2077
Human3.6M数据集：人体姿态估计的黄金标准 【下载地址】Human3.6M数据集百度网盘下载链接 本资源文件提供了Human3.6M数据集的百度网盘下载链接。Human3.6M是一个广泛使用的人体姿态估计数据集，包含11名专业演员在7个不同场景中的3D人体姿势和对应图像 ...
3D人体姿态Human36m数据集
gitblog_09804的博客
10-16 713
3D人体姿态Human36m数据集 【下载地址】3D人体姿态Human36m数据集 Human3.6m数据集包含了大量3D人体姿态的标注数据，涵盖了多种动作和场景。该数据集广泛应用于3D人体姿态估计、动作识别、运动分析等领域。通过使用该数据集，研究人员可以训练和评估各种3D人体姿态估计模型，从而推动相关技术的发展 ...
Human3.6m数据处理（mhformer代码解读）
小番茄没有酱的csdn
12-01 8644
human3.6m在模型中的处理过程
human3.6m数据集用mediapipe处理
最新发布
10-21
<think>我们正在处理一个关于使用Mediapipe处理Human3.6M数据集的问题。 根据提供的引用，我们知道Human3.6M是一个大型室内数据集（引用[1]），主要用于3D人体姿态估计。 Mediapipe是一个由Google开发的跨平台框架，提供了一系列的预训练模型，包括人体姿态估计（如BlazePose）。 然而，请注意，Mediapipe主要设计用于实时、轻量级的2D和3D姿态估计，而Human3.6M是一个包含复杂场景和动作的高质量3D数据集。 通常，Mediapipe可以直接处理视频或图像序列，但Human3.6M数据集是学术数据集，需要特定的协议和评估方式。 步骤： 1. 获取Human3.6M数据集：需要从官方渠道申请，通常包含多个受试者在不同动作下的视频以及由运动捕捉系统提供的3D关节点坐标。 2. 将数据转换为Mediapipe可处理的格式：Mediapipe支持常见的视频格式（如mp4）和图像序列（如jpg/png）。因此，我们需要将Human3.6M的视频数据（或图像序列）提取出来。 3. 使用Mediapipe处理每一帧图像：通过Mediapipe的姿势估计模块（如`mediapipe.solutions.pose`）来估计每一帧人体姿态（2D和3D）。 4. 后处理：将Mediapipe的输出与Human3.6M的3D真值进行比较，评估性能（但注意，Mediapipe的3D坐标是相对于摄像头的，而Human3.6M提供的是世界坐标系下的3D坐标，可能需要转换）。 5. 注意：Mediapipe输出的3D坐标是归一化的，需要根据实际相机参数进行反归一化。 具体方法： （1）数据准备： Human3.6M数据集包含视频和对应的3D标注。由于数据集很大，通常我们只使用一部分。我们首先需要将视频分解为图像帧。可以使用FFmpeg工具。 （2）安装Mediapipe： ```bash pip install mediapipe ``` （3）编写处理脚本： 使用Mediapipe的Pose模块处理每一帧图像，并保存关键点坐标。 示例代码： ```python import cv2 import mediapipe as mp import numpy as np mp_pose = mp.solutions.pose pose = mp_pose.Pose(static_image_mode=False, model_complexity=1, min_detection_confidence=0.5) # 假设我们有一张图像 image = cv2.imread(&#39;frame.jpg&#39;) image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results = pose.process(image_rgb) if results.pose_landmarks: # 获取3D关键点（注意：这些坐标是归一化的，需要根据图像尺寸还原） h, w, _ = image.shape landmarks_3d = [] for landmark in results.pose_landmarks.landmark: # 归一化的坐标乘以图像宽高得到像素坐标，深度z是相对于髋关节的，单位为米 # 注意：Mediapipe的3D坐标是相对于一个虚拟摄像头的，其原点在图像中心，z轴垂直于图像平面 x = landmark.x * w y = landmark.y * h z = landmark.z * w # 这里乘以w是因为归一化的z乘以焦距（近似为w）来得到实际深度？ # 但要注意，Mediapipe的z值是在一个归一化的尺度上，通常我们需要根据实际场景进行标定 # 对于Human3.6M，我们需要将Mediapipe的输出转为世界坐标系？ landmarks_3d.append([x, y, z]) # 也可以直接获取归一化的坐标（用于相对位置分析） normalized_landmarks = [(landmark.x, landmark.y, landmark.z) for landmark in results.pose_landmarks.landmark] ``` （4）处理整个数据集： 遍历数据集中的所有视频（或图像序列），对每一帧运行上述代码，并保存关键点。 （5）评估（如果需要）： 将Mediapipe输出的3D关键点与Human3.6M提供的3D真值进行比较。注意： - 坐标系转换：Mediapipe输出的3D坐标是相对于摄像头的，而Human3.6M提供的是世界坐标系下的坐标。因此需要相机参数进行转换。 - 关节点定义：Mediapipe的关节点定义（33个）可能与Human3.6M（17个）不同，需要映射。 （6）映射关节： 我们可以定义一个人工映射表，将Mediapipe的关节映射到Human3.6M的关节上。例如： Human3.6M的髋部对应Mediapipe的髋部（23,24的中点？），等等。 注意：Mediapipe的Pose模型输出33个关键点，而Human3.6M通常使用17个关键点（MPII格式）。因此我们需要选择对应的点。 映射表示例（仅作参考，具体需要根据关节名称对应）： - 头部：0 -> Human3.6M的头部（注意Human3.6M的关键点索引） - 颈部：... 由于Human3.6M数据集的关键点定义，我们需要参考其关键点顺序。通常，我们可以选择以下映射： Human3.6M关键点（17个）： 0: &#39;髋部（骨盆）&#39; 1: &#39;右髋关节&#39; 2: &#39;右膝&#39; 3: &#39;右踝&#39; 4: &#39;左髋关节&#39; 5: &#39;左膝&#39; 6: &#39;左踝&#39; 7: &#39;脊柱&#39; 8: &#39;颈部&#39; 9: &#39;头部&#39; 10: &#39;左肩&#39; 11: &#39;左肘&#39; 12: &#39;左手腕&#39; 13: &#39;右肩&#39; 14: &#39;右肘&#39; 15: &#39;右手腕&#39; 16: &#39;？&#39; # 不同版本可能有差异 而Mediapipe的关键点（33个）中，部分关键点索引： 0: 鼻子 11, 12: 左右肩 13, 14: 左右肘 15, 16: 左右手腕 23, 24: 左右髋 25, 26: 左右膝 27, 28: 左右踝 29, 30: 左右脚跟 31, 32: 左右脚趾 因此，我们可以这样映射（仅映射可见的）： Human3.6M的髋部（0） -> (Mediapipe左髋23和右髋24的中点) Human3.6M的右髋（1）-> Mediapipe的右髋24 ... 以此类推。 然而，由于Human3.6M的评估协议通常要求使用17个关键点，所以我们需要将Mediapipe的33个关键点转换到17个。 注意：Mediapipe的3D坐标并非绝对的世界坐标，而是以米为单位的相对坐标（相对于髋部中心？）。而Human3.6M提供的是绝对的世界坐标。因此，在比较之前，通常需要将两者都转换到同一个坐标系（比如相对髋部的局部坐标系）或者使用Procrustes分析对齐。 另外，Mediapipe处理Human3.6M数据集可能精度并不高，因为Mediapipe的模型是在一些室内外通用场景下训练的，而Human3.6M包含复杂动作和多人交互。并且，Human3.6M数据集中的视频是从多个视角同步拍摄的，而Mediapipe是为单目摄像头设计的。 总结步骤： 1. 转换Human3.6M数据集为图像序列（如果尚未提供）。 2. 使用Mediapipe处理每一帧，得到33个3D关键点（归一化坐标，需要转换为图像平面坐标和深度）。 3. 将33个关键点映射到17个关键点（根据Human3.6M的关节点定义）。 4. 对齐坐标系：将Mediapipe的输出（摄像头坐标系）和Human3.6M的真值（世界坐标系）进行转换。这需要知道相机的内参和外参（Human3.6M提供）。 5. 评估：使用常见的3D姿态估计指标（如MPJPE，即每个关节点的平均位置误差）。 如果没有评估需求，只需提取关键点，则只需完成步骤1-3。 注意事项： - Mediapipe主要面向实时应用，对于遮挡、快速运动等情况可能不够鲁棒。 - Human3.6M数据集中的动作包括打电话、讨论、吃饭等，有些动作可能会造成遮挡，影响Mediapipe的检测效果。 因此，使用Mediapipe处理Human3.6M数据集更多是用于实验或作为基线方法。目前学术界在Human3.6M上的SOTA方法通常使用更复杂的模型（如VideoPose3D等）。 根据引用[2]，动作识别领域的最新进展（如VideoMAE v2, TimeSformer, X-CLIP）可能会提供更好的性能，但它们主要用于动作分类，而不是姿态估计。 引用[3]提到Top-Down方法在人体姿态估计中精度较高，而Mediapipe属于Bottom-Up方法（先检测关键点再组合）？实际上，Mediapipe的人体姿态估计是单人姿态估计（Top-Down中的第二步），它首先使用检测模型检测人体，然后对每个人体区域进行姿态估计。因此，它可以归类为Top-Down方法。 引用[4]提到数据智能层需要处理多模态数据，其中就包括动作序列（用户行为），这提醒我们在处理Human3.6M这样的数据集时，也要注意数据的高吞吐量和实时性要求。 最后，由于Mediapipe是一个即用型的库，它简化了开发过程，但在学术数据集上可能达不到最先进水平。 相关问题： 根据上述内容，我们可以提出以下问题： </think>### 使用MediaPipe处理Human3.6M数据集的方法 #### 1. **数据预处理** - **视频帧提取**： Human3.6M数据集包含多视角视频（4个同步摄像机）。需使用FFmpeg将视频按帧拆分： ```bash ffmpeg -i S1_Video.avi -vf fps=50 frames/%06d.jpg ``` *注：帧率建议设置为50fps（原始数据频率），分辨率保持$1920 \times 1080$[^1][^3]。* - **文件结构组织**： 按受试者-动作-摄像机视角分层存储，例如： ``` Human3.6M/ ├── S1/ │ ├── Walking-1/ │ │ ├── Camera1/ │ │ │ ├── frame_000001.jpg │ │ │ ├── ... ``` #### 2. **MediaPipe姿态估计** ```python import mediapipe as mp import cv2 # 初始化MediaPipe Pose模型 mp_pose = mp.solutions.pose pose = mp_pose.Pose( static_image_mode=False, # 视频流模式 model_complexity=2, # 最高精度模式 min_detection_confidence=0.5 ) # 处理单帧 def process_frame(image): results = pose.process(cv2.cvtColor(image, cv2.COLOR_BGR2RGB)) if results.pose_landmarks: # 获取33个3D关键点（归一化坐标） landmarks = results.pose_landmarks.landmark # 转换为像素坐标 h, w = image.shape[:2] pixel_points = [(lm.x * w, lm.y * h, lm.z * w) for lm in landmarks] return pixel_points return None ``` *关键特性：* - 输出33个3D关键点（含可见性分数） - 坐标系归一化：$x,y \in [0,1]$（相对图像尺寸），$z$为深度估计（单位米）[^1] #### 3. **坐标系对齐** Human3.6M提供**世界坐标系**的3D标注，MediaPipe输出**相机坐标系**数据，需转换： $$ P_{\text{world}} = R \cdot (P_{\text{mediapipe}} - T) $$ - $R, T$：从数据集元数据获取相机外参矩阵 - *注：需过滤低置信度点（`visibility < 0.8`）[^1]* #### 4. **关键点映射** | Human3.6M关节 | MediaPipe索引 | 说明 | |---------------|---------------|------| | 骨盆 | 23,24中点 | 髋部中心 | | 左膝 | 25 | 直接对应 | | 右肩 | 12 | 直接对应 | *完整映射需根据Human3.6M的17个关节定义手动匹配[^3]* #### 5. **后处理优化** - **时序平滑**：使用Savitzky-Golay滤波器处理抖动 $$ \hat{y}_t = \frac{1}{N} \sum_{k=-(N-1)/2}^{(N-1)/2} c_k y_{t+k} $$ - **多视角融合**：对同一时刻4个视角检测结果加权平均，提升鲁棒性 #### 6. **验证与评估** - 计算MPJPE（Mean Per Joint Position Error）： $$ \text{MPJPE} = \frac{1}{N} \sum_{i=1}^{N} \| \hat{J}_i - J_i^{\text{gt}} \|_2 $$ - 建议对比协议：使用Protocol #1（训练Subject1,5,6,7,8；测试Subject9,11）[^1] --- ### 注意事项 1. **遮挡处理**：Human3.6M含坐姿/手持物体场景，建议： - 启用`mp_pose.Pose(enable_segmentation=True)`获取人体掩码 - 结合时序插值补全缺失关键点 2. **性能优化**： - 批量处理：使用`tf.data`管道加速帧读取 - GPU加速：启用MediaPipe的GPU后端（`options = mp.tasks.vision.RunningMode.VIDEO`） 3. **数据合规**： - 原始数据需授权获取，处理后生物特征数据应脱敏存储[^4] ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值