Airs-Gao的博客

我们用深度模仿学习解决了开发**人形机器人局部操作（humanoid loco-manipulation）**技能的问题。为具有高度自由度的类人机器人收集任务演示和训练策略的困难提出了实质性的挑战。我们介绍了TRILL，这是一个数据高效的框架，用于从人类演示中训练类人机器人局部操作策略。在这个框架中，我们通过一个直观的虚拟现实(VR)界面收集人类演示数据。我们采用全身控制方式（whole-body control formulation）

我们介绍了CyberDemo，这是一种机器人模仿学习的新方法，利用模拟人类演示来完成现实世界的任务。通过在模拟环境中整合广泛的数据增强，CyberDemo在转移到现实世界时，处理各种物理和视觉条件，优于传统的域内真实世界演示。尽管在数据收集方面价格低廉且方便，但就各种任务的成功率而言，CyberDemo优于基准方法，并且在以前未见过的对象上表现出通用性。例如，它可以旋转新的tetra-valve和penta-valve，尽管人类只演示了tri-valves。

基于无标记视觉的远程操作，利用计算机视觉的创新，为多指机器人的手提供了自然和无创的手指运动的优势。然而，目前的姿态估计方法仍然面临手指自咬合的不准确性问题。在此，我们开发了一种新的基于视觉的手-臂远程操作系统，该系统可以从最佳视点和合适的距离捕获人手。该远程操作系统由端到端手部姿态回归网络和可控主动视觉系统组成。端到端姿态回归网络()结合辅助重建损失函数，通过低成本的深度相机捕获人手，并基于图像到图像的转换方法预测机器人的联合命令。

如果不合理地考虑骨架和形状几何水平上的 source-target 差异，就无法实现良好的运动重定向。在这项工作中，我们提出了一种新的残差重定向网络(R2ET)结构，该结构依靠两个神经修饰模块来逐步调整源运动以适应目标骨架和形状。特别地，引入了骨架感知模块来保持源运动语义。设计了一个形状感知模块来感知目标特征的几何形状，以减少相互渗透和接触缺失。在我们探索的基于距离的损失的驱动下，明确地建模运动语义和几何。

基于骨骼的动作识别最近受到了相当大的关注。当前基于骨架的动作识别方法通常被表述为一个热门的分类任务，并且没有充分利用动作之间的语义关系。例如，“做胜利手势”和“竖起大拇指”是手势的两种动作，它们的主要区别在于手的动作。这些信息与动作类的分类编码无关，但可以从动作描述中揭示出来。因此，在训练中使用动作描述可能有利于表征学习。在这项工作中，我们提出了一种基于骨架的动作识别的生成动作描述提示GAP)方法。具体而言，我们采用预训练的大规模语言模型作为知识引擎，自动生成动作肢体运动的文本描述。

由于固有的模糊性和遮挡，单目三维人体姿态估计具有很大的挑战性，这往往导致高度的不确定性和不确定性。另一方面，扩散模型（diffusion models）最近成为从噪声中生成高质量图像的有效工具。受其能力的启发，我们探索了一种新的姿态估计框架(DiffPose)，该框架将3D姿态估计制定为反向扩散过程。一个姿态不确定性分布的姿态特定初始化一个基于高斯混合模型的正向扩散过程，以及一个情境条件下的反向扩散过程。

本文提出了一个简单的基线框架，用于基于视频的2D/3D人体姿态估计，可以在不降低任何性能的情况下实现10倍的效率提高，称为DeciWatch。与目前估计视频中每帧的解决方案不同，DeciWatch引入了一个简单而有效的采样-降噪恢复框架，该框架仅观察稀疏采样帧，利用人体运动的连续性和轻量级姿态表示。具体来说，DeciWatch均匀采样少于10%的视频帧进行详细估计，使用高效的Transformer架构对估计的2D/3D姿势进行降噪，然后使用另一个基于Transformer的网络准确恢复其余帧。

虽然计算机视觉在理解手-物交互（hand-object interactions）方面取得了重大进展，但对于机器人来说，进行复杂的灵巧操作仍然是非常具有挑战性的。本文提出了一种新的模仿学习平台和 pipeline DexMV (Dexterous Manipulation from Videos)。我们设计了一个平台，其中包括:(i) 一个模拟系统，用于多手指机械手的复杂灵巧操作任务;(ii)一个计算机视觉系统，用于记录大规模演示人手执行相同任务。在我们的新 pipeline 中，我们。

在人的手可能不可用或不合适的情况下，使用拟人化的机器人手来帮助个人已经变得非常重要。在本文中，我们提出了一种新的任务，称为人类辅助灵巧抓取（human-assisting dexterous grasping），旨在训练控制机器人手手指的策略，以帮助用户抓取物体。与传统的灵巧抓取不同，这项任务提出了一个更复杂的挑战，因为除了物体的几何形状外，策略还需要适应不同的用户意图。我们提出了一种由两个子模块组成的方法来解决这一挑战:（1）一个称为。

动作模仿是机器人的基本沟通技能;尤其是与人类的非语言互动。由于人与机器人的运动学构型存在差异，确定两种姿态域之间的适当映射具有挑战性。此外，在从人体运动视频中提取3D运动细节(如手腕关节运动)时，技术限制导致运动重定向面临重大挑战。在不同运动域上的显式映射表明了一个相当低效的解决方案。为了解决这些问题，我们提出了一种三阶段强化学习方案，使NAO机器人能够从从视频输入中提取的人体姿态骨架中学习运动。我们的学习计划包括三个阶段（1）第一阶段为学习准备（2）第二阶段是基于模拟的强化学习。

在不同尺寸和运动学构型的同质多形体之间进行运动重定位需要全面的(逆)运动学知识。此外，提供一个与运动无关的通解是困难的。在本研究中，我们开发了一种基于深度强化学习的人-机器人运动重定向**循环三阶段（cyclic three-phase）**优化方法。该方法通过循环路径和滤波路径在潜在空间中使用精细数据进行运动重定向学习。此外，基于人在环的三阶段方法从定量和定性两方面为改进运动重定向策略提供了一个框架。利用所提出的C-3PO方法，我们成功地学习了NAOPepperBaxter和。

从人的演示到机器人的运动重定向是降低机器人编程专业要求和工作量的有效途径，但也面临着人与机器人差异带来的挑战。传统的基于优化的方法耗时且严重依赖于良好的初始化，而最近使用前馈神经网络的研究对未见运动的泛化能力差。此外，它们忽略了人类骨骼和机器人结构中的拓扑信息。在本文中，我们提出了一种新的神经潜在优化方法（neural latent optimization approach ）来解决这些问题。潜在优化利用解码器在潜在空间和机器人运动空间之间建立映射。

在本文中，我们提出了一种新的神经网络体系结构TeachNet，用于基于直观和无标记视觉的灵巧机器人手遥操作。机器人关节角度直接从人手的深度图像中生成，产生视觉上类似的端到端机器人手的姿势。TeachNet的特殊结构与一致性损失函数相结合，处理了人类和机器人手在外观和解剖结构上的差异。从已有的标记人手深度图像和模拟机械手深度图像数据集生成同步的人-机器人训练集。最终的训练集包括 Shadow C6机械手的400K 成对深度图像和关节角度。

人体部位检测：BodyHands

人体部位检测：DID-Net

人体部位检测：Hier R-CNN

基于骨骼的动作识别：PoseConv3D

基于Skeleton的手势识别：SAM-SLR-v2

基于Skeleton的手势识别：SAM-SLR

Deep learning‐based action recognition with 3D skeleton: Asurvey1. 简介1.1 3D Skeleton‐based Action Recognition1. 简介1.1 3D Skeleton‐based Action Recognition用途：基于骨骼的人体动作识别是计算机视觉领域的一个热门研究课题，已广泛应用于视频理解、视频监控、人机交互、机器人视觉、自动驾驶、虚拟现实等领域。获取方式：近年来，随着三维骨骼数据采集的快速发展，

"JGR-P2O: Joint Graph Reasoning based Pixel-to-Offset Prediction Network for 3D Hand Pose Estimation from a Single Depth Image"论文解析摘要1. 简介2. Related work2.1 基于回归的方法（Regression-based Methods）2.2 基于检测的方法（Detection-based Methods）2.3 分层和结构化方法（Hierarchical and

Real-time Hand Gesture Detection and Classification Using Convolutional Neural Networks论文解读1. 概述2. 简介3. 方法3.1 构架（1）检测器（2）分类器（3）后处理（4）一次性激活（Single-time Activation）论文链接：https://arxiv.org/abs/1901.10323论文代码（PyTorch版本）：https://github.com/ahmetgunduz/Real-ti

Make Skeleton-based Action Recognition Model Smaller, Faster and Better论文解读概述1. 简介2. related works3. 方法2.1 基于关节的位置视点不变特征建模集合的距离（Joint Collection Distances (JCD)）论文链接：https://arxiv.org/pdf/1907.09658.pdf论文代码（Keras 版本）：https://github.com/fandulu/DD-Net论文

“Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data”论文解读0. 概述1. 简介2. 方法2.1 DetNet2.2 手模型和形状估计2.3 IKNet论文链接：https://calciferzh.github.io/files/zhou2020monocular.pdf论文出处：2020 CVPR论文单位：清华大学论文代码：Tensorflow版本，Pytorch版本0. 概述论文提出了一

Weakly Supervised 3D Hand Pose Estimation via Biomechanical Constraints论文解析0. 概述1. 简介论文链接：https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123620205.pdf论文出处：CVPR2020论文代码：https://github.com/MengHao666/Hand-BMC-pytorch0. 概述从hand 2D估计3D pose是一

MediaPipe Hands: On-device Real-time Hand Tracking论文解析0.摘要1. Introduction2. 框架2.1 BlazePalm Detector2.2 Hand Landmark Model3. Dataset and Annotation4. Results5. MediaPipe graph for hand tracking6. 手势识别的应用论文链接：https://arxiv.org/pdf/2006.10214.pdf论文代码：htt

3D Hand Shape and Pose Estimation from a Single RGB Image论文解析1. 摘要2. 创新点和贡献3. 数据集的制作4. 方法论文链接：https://openaccess.thecvf.com/content_CVPR_2019/html/Ge_3D_Hand_Shape_and_Pose_Estimation_From_a_Single_RGB_CVPR_2019_paper.html论文代码：https://github.com/3d-hand

BlazePose: On-device Real-time Body Pose tracking解析1. 概述2. 模型构架和pipeline设计2.1 推理流程（Inference pipeline）2.2 Person detector2.3 拓扑结构（Topology）2.4 数据集2.5 网络结构2.6 对齐和遮挡增强3. 实验论文连接：https://arxiv.org/pdf/2006.10204.pdf论文代码：https://google.github.io/mediapipe/so

Bi-Manual Articulated Robot Teleoperation using an External RGB-D Range Sensor论文解析1. 论文概述2. 简介3. Related Work3. system overview3.1 RGB-D Sensing3.2 使用OpenPose进行人体2D关节坐标提取3.3 映射成3D人体关节点3.4 机械手的6-DoF姿态控制论文网址：https://ieeexplore.ieee.org/abstract/document/85

Learning to Estimate 3D Hand Pose from Single RGB Images论文解析1. 概述2. 简介3. Hand pose表示4. 3D hand pose估计4.1 Hand segmentation with HandSegNet4.2 Keypoint score maps with PoseNet4.3 3D hand pose with the PosePrior network4.4 Network training5. 数据集6. 实验6.1 Hand

Accurate and efficient 3D hand pose regression for robot hand teleoperation using a monocular RGB camera论文解析1. 概述论文链接：https://www.sciencedirect.com/science/article/pii/S0957417419304634论文出处：Expert Systems with Applications, 2019，SCI一区，top期刊研发团队：坎特大学计算机

车道线检测：End-to-end Lane Shape Prediction with Transformers论文解析1. Abstract2. Introduction3. Related Work4. Method4.1 车道形状模型（Lane Shape Model）曲线的重新参数化4.2 匈牙利拟合损失（Hungarian Fitting Loss）4.3 网络结构4.3.1 Backbone4.3.2 Encoder4.3.3 Decoder4.3.4 FFNs用于预测曲线参数5. Experi

车道线检测：Towards End-to-End Lane Detection an Instance Segmentation Approach论文解析1. 摘要2. 研究现状2.1 传统车道线检测2.2 基于深度学习的车道线检测2.3 实例分割方法实现端到端车道检测论文链接：https://arxiv.org/pdf/1802.05591.pdf论文出处：CVPR2018论文代码：https://github.com/MaybeShewill-CV/lanenet-lane-detection

A Robot 3C Assembly Skill Learning Method by Intuitive Human Assembly Demonstration论文解析1. 概述2. 简介3. 系统综述4. 数据预处理和策略学习4.1 异常点识别（Outliers Identification）4.2 轨迹分割（Trajectory Segmentation）4.3 策略学习（Policy Learning）5. 实验和讨论论文网址：https://ieeexplore.ieee.org/docu

DexPilot: Vision Based Teleoperation of Dexterous Robotic Hand-Arm System论文解析1. 概述2. 简介3. Related Work4. 硬件5. 结构6. DART7. 通过神经网络估算手的姿态和关节角9. 实验论文网址：https://paperswithcode.com/paper/dexpilot-vision-based-teleoperation-of论文出处：2020 ICRA研发团队：Nvidia团队、CMU团队

A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU 论文解析1.概述2. 简介3. Related Work3.1 无标记的视觉遥操作3.2 基于穿戴设备的遥操作3.3 Image-to-image translation方法4. 研究目标5. Transteleop：基于视觉的遥操作方法通过Image-to-image translation5.1 Transteleop编码器和解码器模块Paired dataset6. Hand-

人工智能/机器人/工程类投稿期刊、会议推荐期刊类1. Science China Technological Sciences (SCTS)2. Chinese Journal of Aeronautics（CJA）3. IEEE Transactions on Cybernetics4. NEUROCOMPUTING5. IEEE Robotics and Automation Letters (RA-L)6. IEEE Sensors Journal7. SENSORS8. Applied Scien

反卷积/转置卷积：Transposed convolution介绍1. 上采样（UpSampling）2. 正向卷积的实现过程3. 用矩阵乘法描述卷积4. 反卷积4.1 反卷积操作4.2 反卷积输入输出尺寸关系Transposed convolution称为转置卷积，也被称作: "分数步长卷积(Fractionally-strided convolution)“和"反卷积(Deconvolution)”.1. 上采样（UpSampling）在应用在计算机视觉的深度学习领域，由于输入图像通过卷积神

目标检测：SaccadeNet论文解读论文网址：SaccadeNet: A Fast and Accurate Object Detector论文代码：voidrank/SaccadeNet0. 简介SaccadeNet是一种 anchor-free的检测器，可以实现准确且快速的检测目标。对于人来说，一般不会固定的注视某个场景。 取而代之的是，人眼四处走动，定位物体的部分信息以了解物体的位置。这种主动的感知移动过程称为saccade。本文方法就是基于这种思想设计的。Saccade

可变形卷积：Deformable ConvNetsDCNv1论文网址：Deformable Convolutional NetworksDCNv2论文网址：Deformable ConvNets v2: More Deformable, Better ResultsDCNv2代码：https://github.com/CharlesShang/DCNv2/tree/pytorch_0.4DCNv11. 空洞卷积（dilated conv）在图像分割领域，图像输入到CNN（典型的网络比如FC