- 博客(41)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 灵巧手——faive_gym
本研究通过仿生硬件设计（Faive Hand）、滚动关节的仿真建模、以及高效的RL训练框架，实现了灵巧操作任务的零样本实物迁移，为低成本、高性能的仿人手机器人研究提供了可行路径。Isaac Gym 是“引擎”，提供物理仿真和并行化能力。IsaacGymEnvs 是“工具包”，提供现成环境和算法实现。两者互补：IsaacGymEnvs 简化了 Isaac Gym 的使用，但后者仍是自定义需求的终极解决方案。
2025-10-24 15:55:46
637
原创 灵巧手——DexVIP
灵巧的多指机械手具有强大的动作空间，但其形态与人手的相似性在加速机器人学习方面具有巨大潜力。我们提出了 DexVIP 方法，通过从野外的 YouTube 视频中的人手与物体交互中学习灵巧的机械手抓取。我们通过从人手与物体交互的视频中整理抓取图像，并在深度强化学习中对机械手的姿势施加先验条件来实现这一目标。我们方法的一个关键优势在于，所学策略能够利用自由形式的野外视觉数据。因此，它能够轻松扩展到新的物体，并且避免了在实验室中收集人类演示的标准做法——这是一种更昂贵且间接获取人类专业知识的方式。
2025-10-24 14:39:05
997
原创 灵巧手——DeXtreme
近期的研究表明，深度强化学习（RL）算法能够在模拟环境中学习复杂的机器人行为，包括多指操作领域。然而，由于模拟与现实之间的差距，此类模型往往难以直接应用于现实世界。在本文中，我们介绍了训练两种模型的技术：a）一种能够在类人机器人手上进行稳健灵巧操作的策略；b）一种适用于提供被操作物体状态可靠实时信息的稳健姿态估计器。我们的策略在模拟环境中训练，以适应各种条件。因此，在相同的重新定向任务中，我们的基于视觉的策略显著优于文献中最佳的视觉策略，并且与通过运动捕捉系统获得特权状态信息的策略具有竞争力。
2025-10-24 11:34:37
880
原创 灵巧手——ORCA
通用型机器人必须具备类似人类的灵巧性和敏捷性，以匹配人类的多才多艺。类似人类的外形进一步有助于利用从人类手部交互中获取的大量数据。然而，灵巧操作的瓶颈不仅在于软件，或许更在于硬件。具备人类能力的机械手往往价格高昂、体积庞大，或者需要企业级维护，这使得它们难以在更广泛的研究和应用中普及。如果研究界能够在一天内获得可靠的灵巧机械手会怎样？我们推出了 ORCA 手，这是一款17 自由度的肌腱驱动型机械手，集成了全触觉传感器，可在8 小时内组装完成，物料清单成本为2000 美元。
2025-10-24 09:58:06
915
原创 运动控制——MPlib
特性维度PinocchioOrocos KDL核心理念研究前沿，提供最快、最全的算法实现稳定可靠，提供经典、成熟的算法实现核心优势性能极致（稀疏性、自动微分、C++模板元编程）、功能全面简单易用、接口清晰、稳定可靠、文档良好计算性能极高。利用现代C++和算法优化，比KDL快一个数量级以上中等。满足实时控制需求，但算法实现较传统功能覆盖极其广泛。
2025-10-23 18:03:04
398
原创 灵巧手——DAPG
灵巧的多指手极其通用，为在以人为中心的环境中执行多种任务提供了一种通用方式。然而，由于其高维度和大量潜在接触点，有效控制它们仍然具有挑战性。深度强化学习（DRL）为控制复杂动态系统提供了一种无需模型的方法，但尚未证明能扩展到高维度灵巧操作。此外，由于样本效率低，将 DRL 部署在物理系统上也颇具挑战性。因此，到目前为止，DRL 在机器人领域的成功仅限于较简单的机械手和任务。在这项工作中，我们展示了无模型的 DRL 能够有效地扩展到具有 24 自由度的高维灵巧操作任务，并在模拟实验中从零开始解决这些问题。
2025-10-23 17:39:49
826
原创 灵巧手——DP3
模仿学习为机器人传授灵巧技能提供了一种高效途径；然而，要稳健且通用地学习复杂技能通常需要大量的人类演示。为了解决这一难题，我们提出了3D 扩散策略（DP3），这是一种新颖的视觉模仿学习方法，将3D 视觉表示的强大功能融入扩散策略中，扩散策略是一类条件动作生成模型。DP3 的核心设计在于利用从稀疏点云中通过高效点编码器提取的紧凑 3D 视觉表示。在涉及 72 个模拟任务的实验中，DP3 仅用 10 次演示就能成功处理大多数任务，并以 24.2% 的相对改进超越了基线方法。
2025-10-22 15:14:23
1041
原创 灵巧手——VRL3
我们提出 VRL3，这是一个设计简洁但功能强大的数据驱动框架，用于解决具有挑战性的视觉深度强化学习（DRL）任务。我们分析了采用数据驱动方法所面临的若干主要障碍，并提出了一套关于数据驱动视觉 DRL 的设计原则、新颖发现和关键见解。在第一阶段，我们利用非强化学习数据集（例如ImageNet）来学习与任务无关的视觉表示；在第二阶段，我们使用离线强化学习数据（例如有限数量的专家演示）将与任务无关的表示转换为更强大的任务特定表示；在第三阶段，我们通过在线强化学习对智能体进行微调。
2025-10-22 14:56:58
763
原创 灵巧手——DexMV
灵巧操作是人与物理世界交互的主要方式，但让机器人具备类似人类的灵巧性仍极具挑战性。虽然模仿学习是很有前景的替代方案，但现有方法通常依赖VR设备收集演示数据，成本高且难以扩展。DexMV: Imitation Learning for Dexterous Manipulation from Human Videos 这篇论文提出了一个从人类视频中学习灵巧操作的新平台和流程。这项研究为从人类视频中学习灵巧操作提供了新的基准，开辟了计算机视觉与机器人灵巧操作交叉领域的新研究方向。DexMV流程包含三个核心阶段。
2025-10-20 17:17:22
957
原创 灵巧手——Task-Oriented Hand Motion Retargeting for Dexterous Manipulation Imitation
目标：模仿人类手部灵巧操作任务（如抓取），使用29自由度的拟人手模型。核心挑战运动重定向（Retargeting）：将从真实世界捕获的人手姿态映射到虚拟手模型的困难，包括：人手与模型之间的运动学差异。手部姿态估计器（HPE）因遮挡、噪声和未知视角导致的输出不准确。任务成功率：即使微小误差也可能导致抓取失败。
2025-10-20 17:16:50
922
原创 灵巧手——DexPilot
DexPilot 是一种基于视觉的低成本遥操作系统，旨在通过观察操作者裸手的动作，实现对高自由度（23 DoA）灵巧机械手-臂系统的完整控制。该系统无需佩戴标记或数据手套，完全依赖视觉感知，能够完成多种复杂的精细操作任务，并收集高质量的状态-动作数据，为未来学习复杂操作的传感器运动策略提供支持。结果显示系统在多数任务中表现可靠，但复杂任务（如钱包取钱）因多阶段操作耗时较长。：涵盖 15 项复杂操作任务，包括精细抓取（如从钱包中取钱）、非抓取操作（如打开茶盒）和多步骤长时程任务（如打开花生罐）。
2025-10-20 16:43:03
581
翻译 机器人操控：综述
机器人操作研究综述：迈向统一理解 本文全面梳理了机器人操作领域的最新进展，围绕四个核心问题展开讨论：1)基准任务分类体系；2)主流方法框架；3)关键技术瓶颈；4)实际应用场景。与以往聚焦特定子领域的研究不同，本综述提出创新性的双层分类法：上层按任务类型划分（基础操作、灵巧操作等），下层基于方法范式（规划器与控制器分离）。研究特别强调数据驱动方法的突破，包括强化学习与模仿学习的融合创新，以及大语言模型带来的范式变革。文章系统分析了数据收集利用和泛化能力两大核心挑战，并首次提出面向实际应用的技术评估矩阵。最后指
2025-10-20 13:49:42
146
原创 灵巧手——ViViDex
在这项工作中，我们的目标是学习一种基于视觉的统一策略，用于多指机械手在不同姿态下操作各种物体。尽管先前的工作表明使用人类视频进行策略学习具有一定的优势，但由于估计轨迹中的噪声，性能提升有限。此外，对诸如物体真实状态等特权信息的依赖进一步限制了其在现实场景中的适用性。为了解决这些局限性，我们提出了一种新的框架 ViViDex，以改进从人类视频中基于视觉的策略学习。它首先使用带有轨迹引导奖励的强化学习来为每个视频训练基于状态的策略，从视频中获取既视觉自然又物理合理的轨迹。然后，我们从基于状态的策略中展开成功的集
2025-10-20 13:21:00
447
原创 Pick and Place / minimal.cpp
Create a New Packageros2 pkg create --build-type ament_cmake --node-name mtc_tutorial mtc_tutorialpackage.xml <?xml version="1.0"?> <?xml-model href="http://download.ros.org/schema/package_format3.xsd" schematypens="http://www.w3.org/20
2024-07-17 11:07:51
957
原创 Understanding trajectory replacement
As already mentioned in the joint trajectory controller description, the arrival of a new trajectory command does not necessarily mean that the controller will completely discard the currently running trajectory and substitute it with the new one. Rather,
2024-07-14 01:29:28
852
原创 ROS1_python
uint16 age# 客户端请求时发送的两个数字 int32 num1int32 num2 - - - # 服务器响应发送的数据 int32 sum#目标值 int32 num - - - #最终结果 int32 result - - - #连续反馈 float64 progress_bar。
2024-06-23 17:52:55
452
原创 ROS2安装
解决办法：上述命令中有管道符号，curl是个类似下载的命令，因此尝试将上述命令分成两步来执行。如果执行第二句时报错：gpg:no valid OpenPGP data found。把ros2加入到系统默认的环境中，这样就不用每次启动终端时都要source了。安装ros2，版本是humble桌面版。添加 ROS2 软件源。
2024-06-13 09:53:41
422
原创 在rviz2中显示urdf模型
两者区别在于joint_state_publisher_gui运行起来会跳出一个界面，通过界面可以操作URDF中能动的关节。joint_state_publisher_gui，还有一个兄弟叫做joint_state_publisher。最终，通过调用 ld.add_action() 将这些节点添加到。对象中，并将其返回，以便由 ROS 2 的启动系统加载并执行。回到工作空间(fishbot_ws)，编译。编辑launch文件。完整setup.py。
2024-06-11 18:02:22
797
原创 ROS2 Launch文件
在ROS1中launch文件是一种格式以.launch结尾的xml文档；而在ROS2中推荐使用Python方式编写launch文件，此时的launch文件是一种格式以.launch.py结尾的Python脚本。
2024-06-07 11:40:14
753
原创 FreeModbus
mbframe.hConstants which defines the format of a modbus frame.The example is shown for a Modbus RTU/ASCII frame.Note that the Modbus PDU is not dependent on the underlying transport.协议栈定义#define MB_PDU_SIZE_MAX 253 /*!< Maximum size of a PDU. */#
2022-04-18 17:17:18
1942
原创 FreeRTOS Queue
变量定义typedef void *QueueHandle_t; // Type by which queues are referenced. typedef void *QueueSetHandle_t; // Type by which queue sets are referenced.typedef void *QueueSetMemberHandle_t; /* For internal use only. */#define queueSEND_TO_BACK ((BaseTy
2022-04-15 17:32:06
528
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人