sunnyblogs的博客

【Abstract】深度学习的快速发展促进了3D手部姿态估计的发展，卷积神经网络效果好于随机森林。然而，在当前的SOTA的方法中，基于卷积神经网的方法均是基于深度图的，缺少基于RGB的方法。本文想探讨使用卷积神经网络并将RGB信息与深度信息相结合能否提高手部姿态估计的准确性？为了回答这个问题，我们提出了一个双流结构用于融合RGB信息与深度信息。具体来说，通过提取特征将RGB图像和深度图像送入两个独立的网络，然后在ConvNet的中间层进行融合，实现输入级融合和分数级融合。不同于上文提到的浅层网络，本文所提

【Abstract】我们提出了一种从单个RGBD图像估计真实世界坐标系中的三维人体姿态的方法，并表明它超过了从RGB和仅从depth估计姿态的单目三维姿态估计方法的性能。我们的方法建立在强大的彩色图像人类关键点检测器的基础上，并将深度提升到3D。我们结合系统与我们的学习演示的框架，指导一个服务机器人，而不需要标记。在现实世界中进行的实验表明，我们的方法使PR2机器人能够模仿从人类教师那里观察到的操作动作。（从摘要上看，本文的方法似乎是从RGB图像中获得2D关键点，再从成对的深度图中获取对应关键点的深度信

什么是深度图（Depth Map）？深度图就是从图像采集器到场景中各点的距离（深度）作为像素值的图像。下图右侧两栏图像就是我们说的深度图。如果你觉得不好理解的话，举一个形象的例子。相信大家都玩过这种按压游戏吧，深度图就可以形象理解为我们按压后的游戏板。在游戏板上我们可以很直观的看到距离存在着很大的差距，深度图也是这个样子。上图的狗狗与背景的草地不在同一距离，所以在深度图中差生了比较大的颜色差异。什么是RGB-D？RGB-D=RGB+D(Depth Map)如果我们严格的定义深度图，那么应该是