【手部姿态估计】【论文精读】InterHand2.6M

最新推荐文章于 2024-12-21 10:34:38 发布
最新推荐文章于 2024-12-21 10:34:38 发布
阅读量1.9k 收藏 8
点赞数
分类专栏： 姿态估计 文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sunnyblogs/article/details/124423687
版权
本文提出InterHand2.6M，一个包含2.65万个标定的单手和交互手势图片的大型3D手部姿态数据集，以及用于单图像3D交互手势姿态估计的InterNet模型。数据集在多视角摄影棚拍摄，采用半自动标注方法提高效率。InterNet可估计左右手2.5D姿态及相对深度，以解决交互手势姿态估计的挑战。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【Abstract】

双手交互是理解人类行为得到重要操作，然而，许多研究者集中于孤立的单手场景。因此我们首先提出了①大规模数据集：InterHand 2.6M ②baseline network，InterNet用于从Single image中估计3D交互手势，我们提出的InterHand包含2.。65万个标定的单手和交互手势图片。
（该论文所提出的创新点十分清晰，该论文是为了解决双手交互情境下手部姿态估计不准确的问题。基于此，本文提出了基础的baseline以及包含标注的双手交互数据集）

【Introduction】

之前的3D手部姿态估计方法都是针对单手姿态，主要方法多是给定一个裁剪后的手部图像，模型会估计手部关键点的3D位置。然而单手场景是有一定限制的，并不能涵盖所有的人类手部姿态，人类的动作主要是交互型的。为了解决这个问题，我们创建了一个大型数据集：InterHand 2.6M以及一个baseline InterNet。InterNet用于3D交互手势姿态估计。

InterHand2.6M是一个大规模RGB 3D手部姿态数据集，每一个手部序列包含单手和交互的左右手图像。InterHand是在一个精确准确的多视角摄影棚终拍摄的，该摄影棚配有80到140个高分辨率摄像机。至于3D关键点数据标注，使用了一个半自动方法：包括人工标注和自动标注。这种标注方法比纯手工标注效率更高，但标注精度与手工标注相当。

该论文所提出的InterNet网络可以估计从single image的3D单手以及交互手部姿态。我们设计的InterNet可以预测左右手，2.5D的左右手姿态以及相对右手的深度。左右手可以判断所输入的图像中的手是左手还是右手。因此，InterN

最低0.47元/天 解锁文章
【CVPR2023】Re:InterHand：一个用于3D交互手部姿态估计的重光照数据集
weixin_49090702的博客
04-20 2149
双手交互是分析中最具挑战性的信号之一，因为手的自相似性、复杂的关节和遮挡。尽管已经提出了几个双手交互分析的数据集，但它们都没有同时实现1) 多样化和逼真的图像外观，以及2) 多样化和大规模的地面真实(GT) 3D姿态。在这项工作中，我们提出了Re:InterHand，一个重光照的3D交互手数据集，实现了这两个目标。为此，我们使用了最先进的手部重光照网络和我们准确追踪的双手3D姿态。我们比较了我们的Re:InterHand与现有的3D交互手数据集，并展示了它的好处。
ECCV 2020 论文大盘点-手势估计篇
OpenCV中文网
11-02 924
本文盘点ECCV 2020 中所有与3D手部姿态估计（3DHandPose Estimation）相关的论文，总计 8 篇。下载包含这些论文的 ECCV 2020 所有论文：ECCV...
InterHand2.6M:PyTorch的官方实现“ InterHand2.6M
03-17
InterHand2.6M：用于从单个RGB图像进行3D交互手姿估计的数据集和基准 介绍 此是官方实施 。 我们的InterHand2.6M数据集是第一个具有精确的GT 3D交互手部姿势的大规模实际捕获数据集。 上面的演示视频由于自述文件上载的压缩而具有低质量的帧。 消息 2020.11.26。 随机图像的演示代码已添加！ 查看以下说明。 2020.11.26。 拟合的MANO参数将更新为更好的参数（拟合误差约为5毫米）。 此外，通过提供适合世界坐标的参数（与摄影机视图无关），可以减小文件的大小。 2020.10.7。 可提供适合的MANO参数！ 它们是由获得的。 InterHand2.6M数据集 有关InterHand2.6M数据集的下载和说明，请转到[]。 FB正在检查5 fps和30 fps的完整图像，以防止隐私泄漏（例如，被摄对象的指纹和面部）。 花费的时间比我们预期的要
InterHand2.6M
jamorZhong的博客
09-27 4020
双手交互大型数据集InterHand2.6M以及双手交互手势估计基准InterNet。
ECCV2020_InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from RGB
weixin_43851192的博客
04-06 2032
原论文和代码可自行下载 特点 Hand-hand interactions很重要，但是别的3D hand pose estimation大多是单只手的情况，因此作者做了InterHand2.6M数据集和InterNet网络。 InterHand2.6M 第一个大规模的、真实非合成的、包含单多手的、带标注的、RGB-based 3D hand pose dataset 半自动标注，高效，且准确率和纯手工标注的差不多 和其他数据集的比较如下↓ InterNet 用来预测hand
【手部姿态估计】【论文详读】3D Hand Pose Estimation with a Single Infrared Camera via Domain Transfer Learning
sunnyblogs的博客
04-22 4399
【Abstract】 以往的方法都成功地从未模糊的深度图像中估计三维手部姿态。然而，当深度图像由于快速运动而受到运动模糊干扰时，性能便会下降。在本文中，我们利用红外图像(IR)作为输入，IR图在快速的运动下只有较弱的运动模糊。该方法是基于从depth到IR的domain transfer learning。需要说明的是，因为我们没有带有手骨架标注信息的红外图像，因此选择自我监督，而不是使用骨架标签进行直接监督。我们通过使用一致性损失的自我监督，基于成对的IR图与深度图训练一个手图像生成器(HIG)和两个手姿
InterHand2.6M：单张RGB图像的3D交互手势估计数据集与基线模型
gitblog_00455的博客
10-10 736
InterHand2.6M：单张RGB图像的3D交互手势估计数据集与基线模型 InterHand2.6M Official PyTorch implementation of "InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estim...
3D手部姿势估计-优化InterHand2.6M基于单RGB图像进行3D手部姿势估计-优质项目实战.zip
10-15
InterHand2.6M数据集是该领域内用于训练和评估算法的常用数据集之一，它包含了大量带有手部标记的RGB图像，用于训练模型来准确估计手部的3D姿态。 在现有的研究中，基于单RGB图像的3D手部姿势估计是一个挑战性问题...
InterHand2.6M数据集：PyTorch实现3D手部交互识别
总结来说，InterHand2.6M数据集和官方PyTorch实现涉及了3D手姿估计、交互手势识别、大规模数据集构建、精确标注、隐私保护、以及利用MANO模型进行手部网格建模等多个关键领域。这些知识点不仅为研究人员提供了丰富的...
数据集 InterHand2.6M 双手交互 三维手势建模 ＞＞ DataBall
DATABALL 的博客
09-21 1104
数据集 InterHand2.6M 双手交互 三维手势建模
探索交互之谜：FacebookResearch的`InterHand2.6M`项目详解
gitblog_00036的博客
04-14 487
探索交互之谜：FacebookResearch的InterHand2.6M项目详解 InterHand2.6M Official PyTorch implementation of "InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Es...
InterHand2.6M 项目使用教程
gitblog_00388的博客
10-10 1033
InterHand2.6M 项目使用教程 InterHand2.6M Official PyTorch implementation of "InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Singl...
手势姿态估计综述
qq_20178059的博客
03-16 5651
手势姿态估计 人手分割的目标是将手从整个场景中分割出来。特征提取是指从观测数据中提取出用于姿态估计的视觉线索（比如手掌轮廓等）。手模型是为考虑手的几何结构、运动约束等而引入。标注数据指用于训练的真实或仿真的手势姿态集。 1.手势识别的目标是对一组离散手势进行分类。 2.人手跟踪的目标是确定手的空间位置，定位形式通常是点或矩形框。人手分割是利用二值掩码精确定位手的空间位置，可视为人手跟踪的增强版。 3.人手解析的目标是将手划分成不同的语义部分。 4.指尖检测属于部分手势姿态估计，目标是确定五个指尖的空间位
3D人手姿态估计论文：CrossInfoNet: Multi-Task Information Sharing Based Hand Pose Estimation
Airs-Gao的博客
10-26 1155
3D人手姿态估计论文：CrossInfoNet: Multi-Task Information Sharing Based Hand Pose Estimation 论文地址：https://openaccess.thecvf.com/content_CVPR_2019/papers/Du_CrossInfoNet_Multi-Task_Information_Sharing_Based_Hand_Pose_Estimation_CVPR_2019_paper.pdf 论文代码：https://githu
将提取InterHand2.6M中的bbox转YOLO格式
一名学术垃圾的博客
10-31 164
主要功能是将 COCO 格式的边界框转换为 YOLO 格式的边界框，并将其保存为 txt 文件。
手势视觉遥操作：HandLocNet和HandPoseNet论文解析
Airs-Gao的博客
04-20 1704
Accurate and efficient 3D hand pose regression for robot hand teleoperation using a monocular RGB camera论文解析1. 概述 论文链接：https://www.sciencedirect.com/science/article/pii/S0957417419304634 论文出处：Expert Systems with Applications, 2019，SCI一区，top期刊 研发团队：坎特大学计算机
InterHand下载脚本（python可视化下载）
qin23333的博客
05-07 336
官方给的脚本我使用会报错，修改后能下载但是没有进度条，对于80g的数据集来说没有进度条下的时候心里挺没底的，网上找了一圈都没有合适的代码，自己参考着写了一个。
InterHand2.6M 项目常见问题解决方案
gitblog_00313的博客
12-21 807
InterHand2.6M 项目常见问题解决方案 InterHand2.6M Official PyTorch implementation of "InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a S...
[数据集][目标检测]目标检测数据集手势识别VOC+YOLO格式1745张10类别
FL1623863129的博客
01-02 492
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)标注类别名称:["0","9","2","3","1","5","4","8","6","7"]特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。标注数量(txt文件个数)：1745。0 框数 = 143。2 框数 = 107。3 框数 = 109。4 框数 = 123。5 框数 = 197。6 框数 = 229。
InterHand2.6M生成verts
最新发布
03-20
### 关于 InterHand2.6M 的 Verts 数据生成 InterHand2.6M 是一个大规模的手部交互姿态估计数据集，提供了丰富的手部三维信息。其中 `verts` 表示的是手部网格顶点坐标的数据结构。要生成这些 `verts` 数据，通常需要以下几个方面的支持： #### 1. **加载 InterHand2.6M 数据** 首先，需要通过官方提供的 API 或者自定义脚本加载 InterHand2.6M 数据集中的关键参数。该数据集中包含了相机参数、关节位置（joints）、以及可能的 SMPL-X 手模型参数。 ```python import numpy as np from interhand_data_loader import load_interhand_annotations annotations = load_interhand_annotations(data_path="path_to_dataset") # 加载注解文件[^3] ``` #### 2. **提取手部模型参数** 在 InterHand2.6M 中，手部的姿态可以通过 MANO 模型来表示。MANO 提供了一种基于线性混合蒙皮的方法，可以将骨骼姿态转换为具体的三角网格顶点坐标（即 `verts`）。因此，第一步是从注解中获取 MANO 参数。 ```python mano_params_left = annotations['mano']['left'] # 左手的 MANO 参数 mano_params_right = annotations['mano']['right'] # 右手的 MANO 参数 ``` #### 3. **使用 MANO 模型重建 verts** 接下来，利用 MANO 模型及其对应的 Python 实现库（如 PyTorch 版本的 MANO），输入上述参数即可得到 `verts` 数据。 ```python from manopth.manolayer import ManoLayer mano_layer = ManoLayer( side='right', # 'left' or 'right' center_idx=None, use_pca=True, root_rot_mode='axisang', flat_hand_mean=False ) betas = torch.tensor(mano_params_right['betas'], dtype=torch.float32).unsqueeze(0) # 形状参数 hand_pose = torch.tensor(mano_params_right['pose'], dtype=torch.float32).unsqueeze(0) # 姿态参数 vertices, joints = mano_layer(hand_pose, betas=betas) # 输出顶点和关节 verts = vertices.detach().cpu().numpy()[0] # 转换为 NumPy 数组 ``` 上述代码片段展示了如何从 MANO 参数生成 `verts` 数据[^4]。 #### 4. **可视化 verts 数据** 如果需要验证生成的 `verts` 是否正确，可以借助 Open3D 或 Matplotlib 进行简单的可视化操作。 ```python import open3d as o3d mesh = o3d.geometry.TriangleMesh() mesh.vertices = o3d.utility.Vector3dVector(verts) mesh.compute_vertex_normals() o3d.visualization.draw_geometries([mesh]) ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值