GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB 论文解读

最新推荐文章于 2024-02-14 10:42:09 发布
最新推荐文章于 2024-02-14 10:42:09 发布
阅读量2.3k 收藏 4
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhangyumengs/article/details/80465072
版权
本文介绍了一种利用GeoConGAN和RegNet进行3D人手姿态估计的方法。GeoConGAN能够在无配对数据的情况下生成逼真人手图像；RegNet则能从2D坐标映射到3D模型，通过最小化投影误差和3D坐标的相对距离来优化骨架模型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这篇文章是CVPR2018的一篇论文。

主要贡献点有以下几点：

1、使用cyclegan的思想 可以对没有成对的生成人手数据进行真实化。

2、能够从RGB图像（没有深度信息）生成3D人手模型

下图是作者的主要思想图



真实和生成图像通过GeoConGAN进行训练， 生成一张可以以假乱真的图像。
regnet是将2D的人手坐标映射到一个三维坐标。
然后再将这样一个三维坐标正和城skeleton fitting。

训练数据集：
真实数据集：自己拍摄的人手数据集 
生成数据集：synthenic hand生成数据集 （数据下载地址：http://handtracker.mpi-inf.mpg.de/projects/OccludedHands/SynthHands.htm）

geocongan：
在cyclegan基础上 引入了一个交叉熵loss(关于这一点我在论文中 没有看到具体的实现办法)

regnet相当于一个multi task learning。
学习到一个heatmap 这个就是关节点的2D坐标 还回学习到一个3D坐标
projLayer的思想  
从3D做一个正交投影 得到2D的heatmap

将三维坐标点 转换成人手运动骨架模型， 需要最小化以下的能量方程。

E2D 表示的是投影误差最小 也就是三维坐标点投影到二维平面与heatmap上的坐标点误差最小

E3Dloss是这样的


Zj表示的是第j个关节相对root节点的位置。

第j个节点的坐标可以表示为其父节点的坐标加上真实3D坐标的差的二范数除以regnet的输出差（2维坐标）的2范数 *（输出之差）
所以3D项的用途就是让3D坐标的相对距离在2范数上一致

Elimits这一个能量项的目的是防止关节扭曲过大

Etemp项是步长限制 限制每次优化不能变化太大


关于regnet 用的是stereo dataset进行的评估
作者还在Dexter+object 和 EgoDexter数据集上进行了测试



zhangyumengs
关注
人体三维重建【文章汇总】Humans
zik的博客
07-03 2248
PA-MPJPE则是在计算误差之前，首先对预测的姿态进行了最佳比例的刚体变换（包括旋转、平移和缩放），这一过程通常通过Procrustes分析实现，目的是为了消除全局旋转和平移的影响，以及可能的比例差异，从而更加专注于评估姿态结构本身的准确性。PCK指标计算的是被正确检测出的关键点数量占总关键点数量的百分比，这里的“正确检测”指的是预测的关键点位置与真实位置之间的距离小于或等于一个给定的误差阈值（通常以关节或者像素为单位）。：对每个关节的位置序列进行一阶微分，得到各个关节的速度随时间的变化情况。
【手部跟踪】google/mediapipe中的hand部分复现
聿默的博客
02-22 3489
参考链接： 1）说明文档：https://google.github.io/mediapipe 2）github代码链接：https://github.com/google/mediapipe 3）python环境配置文档：https://google.github.io/mediapipe/getting_started/python 4）API简单调用的使用文档：https://google.github.io/mediapipe/solutions/hands#python-solution-
GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB
luo2007专栏Gods determine what you're going to be！
07-11 3262
  GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB （适用于单目RGB的实时三维手部跟踪） Franziska Mueller1,2 Florian Bernard1,2 Oleksandr Sotnychenko1,2 Dushyant Mehta1,2 Srinath Sridhar3 Dan Casa...
单个摄像头（单目RGB）实时3D手的跟踪
最新发布
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
02-14 1027
通过单个普通RGB摄像头就可以实现3D手的实时跟踪。
Mediapipe手势识别
no1xiaoqianqian的博客
09-27 6222
Mediapipe手势识别及原文阅读
论文阅读——MediaPipe Hands: On-device Real-time Hand Tracking
weixin_44820457的博客
02-17 2168
MediaPipe Hands: On-device Real-time Hand Tracking（From Google）    贡献点或者创新点 提出了实时运行在设备上的多手跟踪，并且只需要一个RGB摄像头就可以。 推理管道由两部分组成：手掌检测器和预测手关节坐标的模型，此模型可以预测手部2.5D的姿态 基于MediaPipe平台搭建的 提出的模型和推理管道在多种移动设备GPU上也能够取得比较好的实时预测效果 1 Introduction   手势姿态估计已经发展了好多年，在A
MediaPipe基础（4）Hands(手)
weixin_43229348的博客
09-28 1万+
1.摘要 在各种技术领域和平台，感知手的形状和运动的能力是改善用户体验的重要组成部分。例如，它可以构成手语理解和手势控制的基础，还可以在增强现实中将数字内容和信息叠加在物理世界之上。虽然对人们来说很自然，但强大的实时手部感知绝对是一项具有挑战性的计算机视觉任务，因为手经常遮挡自己或彼此（例如手指/手掌遮挡和握手）并且缺乏高对比度模式。 MediaPipe Hands 是一种高保真手和手指跟踪解决方案。它采用机器学习 (ML) 从单个帧中推断出手的 21 个 3D 地标。当前最先进的方法主要依赖于强大的桌面环
【AI视野·今日CV 计算机视觉论文速览 第225期】Wed, 23 Jun 2021
TomRen
06-24 1743
AI视野·今日CS.CV 计算机视觉论文速览 Wed, 23 Jun 2021 Totally 73 papers ????上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Tracking Instances as Queries Authors Shusheng Yang, Yuxin Fang, Xinggang Wang, Yu Li, Ying Shan, Bin Feng, Wenyu Liu最近，基于查询的深网络由于其结束到结束管道和竞争结果，
目标跟踪CVPR,ICCV,ECCV会议年度论文2018
yuuzhao的博客
05-22 3367
CVPR 2018 Paper arXiv下载链接：http://openaccess.thecvf.com/CVPR2018.py Track检索相关论文： GANerated Hands for Real-Time 3D Hand Tracking From Monocular RGB Detect-and-Track: Efficient Pose Estimation in Videos...
基于RGB图像的手势估计（Hand Pose Estimation ）文献综述
BockSong的博客
08-03 8969
一、手势估计研究难点 1. 场景 手分辨率低（Low-res hand） 背景杂乱（Clutter background） 手与其它对象交互（Object/surface interaction） 手被遮挡（Occlusions/Self-occlusions） 2. 形态 不同手势相似（Self-similarity） 多自由度（many DoF(Degree of Freedom...
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
热门推荐
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
Realtime and Robust Hand Tracking from Depth
12-19
一篇经典的利用深度学习实现手势识别的paper，Jian Sun老师团队高作
[论文评析]MediaPipe Hands: On-device Real-time Hand Tracking， ArXiv,2020
MasterQKK
11-25 1860
MediaPipe Hands: On-device Real-time Hand Tracking， 手部跟踪，hand tracking, hand posture recognition, AR/VR, 手势识别，
3D hand pose：MediaPipe Hands: On-device Real-time Hand Tracking
Airs-Gao的博客
09-08 2356
MediaPipe Hands: On-device Real-time Hand Tracking论文解析0.摘要1. Introduction2. 框架2.1 BlazePalm Detector2.2 Hand Landmark Model3. Dataset and Annotation4. Results5. MediaPipe graph for hand tracking6. 手势识别的应用 论文链接：https://arxiv.org/pdf/2006.10214.pdf 论文代码：htt
目标跟踪论文阅读
执笔天涯
06-13 2021
相关网站： 1.智能交通监控中运动跟踪 2.2018CVPR大会论文 32016深度回归网络跟踪算法阅读 4.目标跟踪技术博客 5图像处理与计算机视觉 2018年CVPR大会论文 1.【Object tracking】GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB Franziska Mueller...
CVPR 2018 paper list（论文列表）
人工智能技术学习与分享
05-03 2万+
原文链接：http://cvpr2018.thecvf.com/program/main_conference 52 Embodied Question Answering Abhishek Das (Georgia Tech); Samyak Datta (Georgia Tech); Georgia Gkioxari (Facebook); Stefan Lee (Georgia ...
通过深度图实时鲁棒地识别手势 - Realtime and Robust Hand Tracking from Depth
Tristan_Jia的专栏
09-04 2055
通过深度图实时鲁棒地识别手势 - Realtime and Robust Hand Tracking from Depth通过深度图实时鲁棒地识别手势 - Realtime and Robust Hand Tracking from Depth Preface 摘要 正文 介绍 模型和成本函数 ICP-PSO 局部最优算法 通过hand initialization发现手指 实验证明 Conclus
手势跟踪论文学习：Realtime and Robust Hand Tracking from Depth（四）Hand Initialization
ikerpeng
09-13 3296
在多次的阅读这篇论文以后才明白文章的结构为什么这样安排：将Hand Initialization这部分放在文章的所有的优化算法的最后，说明整个算法即便是不要这一部分的优化也是可以的。我们从文章中的Table 2可以看到，不使用Hand Initialization得到的结果比使用到Initialization的结果差2mm。若是你对于最终的结果要求不是很高的话，其实可以忽略这一部分了。 我们从H
2018 CVPR GAN 相关论文调研 （自己分了下类，附地址哦）
fly
09-20 6198
2018 CVPR GAN 相关论文调研 风格迁移 1. PairedCycleGAN: Asymmetric Style Transfer for Applying and Removing Makeup （给人脸化妆的风格转移） http://openaccess.thecvf.com/content_cvpr_2018/papers/Chang_PairedCycleGAN_Asym...
mediapipe hands: on-device real-time hand tracking
07-08
### 回答1： MediaPipe Hands是一种基于设备的实时手部追踪技术。它是由Google开发的计算机视觉库MediaPipe的一部分，旨在通过摄像头捕捉的视频流对手部进行准确的实时追踪。 Mediapipe Hands利用了深度学习模型和机器学习算法，能够识别视频中出现的双手，并对它们的位置和手势进行跟踪。这项技术可以应用在许多领域，包括虚拟现实、增强现实、手势识别和手势控制等。例如，在游戏中，可以使用Mediapipe Hands实时追踪玩家的手势，将其转化为虚拟角色在游戏中进行相应的动作。 Mediapipe Hands的一个显著特点是其在设备上的实时性能。相比于传统的手部追踪方法，Mediapipe Hands能够在保持高准确性的同时，实现实时的处理和反馈。这得益于其优化的模型架构和高效的计算算法。作为一种基于设备的解决方案，Mediapipe Hands无需依赖云端服务或高性能硬件，可以在较低功耗和资源受限的设备上运行。 此外，Mediapipe Hands还支持多个手势的识别和跟踪。它可以检测手的位置、边界框、手指的位置和手势类别，例如拇指的弯曲、手掌的张开和手势的连续跟踪。这种多样性使Mediapipe Hands成为一个强大而灵活的工具，适用于不同的视觉和交互应用。 总之，Mediapipe Hands是一种基于设备的实时手部追踪技术，具有高准确性、低延迟和多功能的特点。它为虚拟现实、增强现实、手势识别和控制等应用领域提供了一种简单而可靠的解决方案。 ### 回答2： MediaPipe Hands是一个由Google开发的机器学习技术，用于在设备上实现实时手部追踪。它基于深度学习模型，可以从设备的摄像头中识别和跟踪手部的动作和位置。 Mediapipe Hands使用的模型经过训练，可以识别手部的21个关键点，包括手指的关节和指尖。它可以在设备上实时分析摄像头捕捉到的图像，并进行准确的手部追踪。这种技术可以用于手势识别、手势控制和虚拟现实等应用领域。 相比于传统的基于云端的手部追踪技术，Mediapipe Hands的优势在于其实时性和隐私性。由于模型是在设备本地运行，不需要依赖于云端的计算资源，因此可以实现即时的反馈和交互。同时，所有的图像和手部数据都在设备上进行处理，保护了用户的隐私。 除了实时追踪手部的动作和位置外，Mediapipe Hands还可以提供手势识别的功能。通过识别手部的动作和位置，它可以判断用户是点击屏幕、捏取物体还是做出其他手势。这种手势识别能够为用户提供更自然、直观的交互体验，并且可以被广泛应用于手机、平板电脑、AR/VR设备等不同类型的设备上。 总之，Mediapipe Hands是一项强大的机器学习技术，能够在设备上实现实时的手部追踪和手势识别。它为用户提供了更直观、自然的交互体验，并且保护了用户的隐私。这项技术具有广泛的应用潜力，可以用于各种不同的设备和场景。 ### 回答3： Mediapipe Hands是一项在设备上实时手部追踪技术，由谷歌开发。它利用神经网络模型和计算机视觉技术，能够精确地检测和跟踪人手的动作和姿势。 这项技术主要适用于在移动设备和嵌入式系统上进行手部追踪。相比于传统的云端追踪方案，Mediapipe Hands使用了高效的计算机视觉算法，能够在设备本地实时进行处理，无需依赖云端网络服务，有效提高了实时性和隐私性。 利用Mediapipe Hands技术，用户可以通过摄像头捕捉手部的位置和动作，实现手势识别、手势控制等功能。这项技术可以广泛应用于移动游戏、虚拟现实、增强现实、手势交互和人机界面等领域。 Mediapipe Hands的优势在于其快速准确的手部追踪能力。它能够将手部的关键点（如手指、掌心等）精确地识别和跟踪，实现高精度的手部姿势估计。而且，由于是在设备上进行实时处理，其响应速度非常快，可以满足实时交互的需求。 总体而言，Mediapipe Hands是一项在设备上实时追踪手部动作和姿势的技术。它的应用范围广泛，可以用于移动设备和嵌入式系统，提供高精度的手部追踪功能，为用户带来更加现实、交互友好的体验。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值