- 博客(78)
- 收藏
- 关注
RSS订阅原创 Learning Getting-Up Policies for Real-World Humanoid Robots
第一阶段的目标是在较为简单的环境中完成任务（弱正则化的稀疏任务奖励），而第二阶段解决的任务则是使学习到的动作可部署（即控制应平滑；具体来说，第一阶段是为运动发现而设计的，不受运动平滑度或速度/扭矩的限制，在任务奖励稀少和指定不足的情况下完成一项艰巨的任务，且在确保任务完成方面受到的限制较少。第二阶段经过优化，可以跟踪第一阶段发现的状态轨迹，从而以密集的跟踪奖励实现更容易的运动跟踪，该阶段采用严格的Sim2Real正则化。鼓励机器人双脚站立；，用于鼓励机器人跟踪头部的高度和投影重力，以完成起身和翻身任务。
2025-03-31 11:36:53
876
原创 Learning Humanoid Standing-up Control across Diverse Postures
为实现超出地面的姿势自适应运动，引入多个训练地形以及在初始阶段的垂直拉力以促进探索。并使用多Critic独立优化不同的奖励，实现奖励平衡。为此，使用多Critic独立估计每个奖励组的回报，每个奖励组被视为一个单独的任务，并为其分配一个Critic网络。当机器人的躯干达到近乎垂直的朝向时，该力才会生效，表名机器人成功实现了地面跪姿。机器人本体感知为目标环境中站立控制提供了足够的信息，因此，将从机器人IMU和关节编码器读取的本体感知信息包含在状态设计中。，不同阶段由机器人基座的高度区分。通过独立计算优势函数。
2025-03-31 08:59:32
1089
原创 ANYmal Parkour: Learning Agile Navigation for Quadrupedal Robots
在每个高级时间步长内，导航策略会接收最终目标的相对位置、完成任务的剩余时间、机器人的基本速度、方向和感知模块的潜变量。为了加快收敛速度，首先将全局目标放在靠近机器人起始位置的地方，然后随着奖励的增加，将它们移到地形上更远的地方。基于最先进的地图构建、规划和运动方法，机器人被训练在环境中导航和移动，以到达特定的目标位置。虽然导航模块接收完整的3D地图表示，但由于其高更新率和相应的训练计算成本，这在运动策略中是不切实际的。在每个被占用的体素中，特征描述了落入该体素内的点的质心位置。
2025-03-25 20:36:16
942
原创 Learning Perceptive Humanoid Locomotion over Challenging Terrain
其训练同时受到解码器的重构损失和模仿损失的驱动，后者鼓励与教师的动作对齐，从而提高输入质量和最终的控制效果。，分别为机器人root的高度、机器人本体的局部位置、机器人本体的局部旋转角、机器人本体的局部角速度、机器人本体的线速度和角速度、机器人身体的接触力、关节位置、关节速度和上一帧的动作，最后。为弥合Sim2Real的Gap并增强策略的稳健性，实现了一个全面的域随机化框架，该框架考虑了传感器噪声和地形的形变。Oracle策略的观测值包含了仿真中可获得的信息，以最大化Oracle策略的性能。
2025-03-25 16:30:53
921
原创 Learning Humanoid Locomotion with Perceptive Internal Model
在机器人Z轴与重力负方向对齐的框架中采样96个点，这些点在以机器人为中心的正方形内分布，这些点相对于base link的Z轴方向相对坐标被用作感知输入。还希望机器人的脚与地面平行，因此使用了一个名为脚底地面平行的奖励函数，在每个机器人的脚上添加五个采样点，分别表示前、中、后、左、右，然后对这些采样点到地面的距离的方差进行惩罚。：在每一帧中，本体感知信息和外部感知信息输入至PIM中，获取机器人的线速度估计值和隐变量，该隐变量用于预测机器人下一帧的本体感知信息。在策略优化之后，将使用收集到的轨迹优化PIM。
2025-03-15 14:16:06
668
原创 HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit
HOMIE由底层策略。
2025-03-14 11:12:10
615
原创 HWC-Loco: A Hierarchical Whole-Body Control Approach to Robust Humanoid Locomotion
HWC-Loco: A Hierarchical Whole-Body Control Approach to Robust Humanoid Locomotion提出了Hierarchical Whole-body Control for Robust Humanoid Locomotion方法，学习能够在不同部署环境中动态权衡性能最大化和保障安全性的控制策略。该方法包括目标跟踪策略和安全恢复策略，目标跟踪策略旨在遵循特定任务命令（例如移动速度和方向），并且学习到的策略能够有效遵循类人行为模式，确保与人类
2025-03-13 19:54:20
1041
原创 Symmetry Considerations for Learning Task Symmetric Robot Policies
此外，从实验中发现，在初始化权重足够小且更新有界的情况下，随机初始化的策略可以忽略概率比项。：在强化学习中自然的对称增强方法是将收集到的轨迹与其对称样本一起增强。然而，直接使用对称样本可能导致策略梯度计算方差高，因为对称样本的分布与原策略不同。概念上，可以这样理解：当观察到从给定状态 s 执行特定动作 a 后获得高回报时，希望在未来增加选择该动作的概率。公式表明，对称后的样本保持了原始样本的动作概率。而对于非完美对称的策略，而且很多公式都是很直接的推出，博客中描述的公式并不全面，更全的描述请参考原文。
2025-03-13 12:44:09
807
原创 WoCoCo: Learning Whole-Body Humanoid Control with Sequential Contacts
阶段计数奖励是基于已完成的接触阶段数量提出的，促进机器人探索更多的阶段以最大化累积奖励，从而减轻由于RL策略战略性地停留在当前阶段以避免潜在失败而导致的短视问题。好奇心在促进探索方面非常强大且稳定，即使是在不同的具有挑战性的全身任务中，对任务无关的好奇心观察也是如此。其中接触奖励细化了接触状态达到奖励、阶段计数奖励激励在多个接触阶段进行探索、好奇心奖励进一步促进了状态空间的探索。密集接触奖励：每个接触奖励通过在任务目标完成时估计正确的接触，并通过额外奖励每个正确的接触同时惩罚每个错误的接触。
2025-03-12 20:34:17
1380
原创 Embrace Collisions: Humanoid Shadowing for Deployable Contact-Agnostics Motions
为基于运动指令序列训练人形运动，同时保留足够的灵活性以控制策略，仅在预期的运动目标帧将达到时计算运动目标奖励。然而，这些正则化项是密集的，而运动目标奖励是稀疏的。：使用基于Transformer的运动参考编码器，并在运动目标序列中添加状态目标，防止在所有运动目标运行结束时出现数据错误。运动目标表示为运动目标刷新时一系列的关节位置、link目标位置和目标基座变换，结合从目标运动刷新到特定帧的时间间隔。，计算当前机器人基坐标系下的机器人基座运动目标，并使用正运动学计算机器人基坐标系下的link目标位置。
2025-03-12 11:11:10
1056
原创 ASAP: Aligning Simulation and Real-World Physics for Learning Agile Humanoid Whole-Body Skills
（采用4-DoF而非全身自由度的原因在于：真实世界数据的有限可用性使得训练完整的 23-DoF delta 动作模型变得不可行，以及Unitree G1 机器人在脚踝处采用机械联动设计，这引入了一个明显的Sim2Real差距，这是传统建模技术难以弥合的。具体而言，对0~1之间的时间阶段变量进行随机采样，根据该阶段的相应参考运动初始化机器人的状态，包括机器人本体位置和方向、线速度、角速度、关节位置和关节速度。完成每个运动跟踪任务后，运动策略将执行接管，以保持机器人平衡，直到下一个运动跟踪任务开始。
2025-03-11 21:49:27
993
原创 ExBody2: Advanced Expressive Humanoid Whole-Body Control
动作的多样性对于挑战和增强机器人的适应性和对实际应用的准备至关重要，尤其是响应意外场景的灵活性。具体而言，CVAE根据历史M帧的运动信息合成未来H帧的运动信息，包括关节位置、机器人本体姿态、速度和角速度。提出高表达性全身控制（ExBody2），该框架可以最大限度地提高人形机器人上可行的全身运动的表现力。该框架属于Sim2Real，策略将参考运动作为输入，输出控制真实人形机器人在现实世界中执行运动的动作。然后，将特权信息替换为与现实世界一致的观测值，并将教师策略提炼为可部署的学术策略。
2025-03-11 21:38:14
631
原创 Humanoid Whole-Body Locomotion on Narrow Terrain via Dynamic Balance and Reinforcement Learning
Humanoid Whole-Body Locomotion on Narrow Terrain via Dynamic Balance and Reinforcement Learning极端条件下的动态平衡方面，人形机器人的运动能力远远落后于人类。当面临滑倒或踩空边缘等情况时，人类可以迅速调整脚部位置和质心，从而恢复平衡。相比之下，当前基于 RL 的控制器缺乏这种能力，主要是因为它们依赖于周期性步态或运动基元，这些方法在不稳定时刻无法实现快速和多样的步态调整。提出了在极端场景下的全身运动强化学习框架，名
2025-03-11 21:30:46
682
原创 VSCode调试Python程序
搜索python，安装python和python debugger。接着选择Python Debugger，选择Python文件。成功时代码会运行直至停止在打断点处，并且有黄色底纹。点击vscode左侧导航栏图标，点击运行和调试。点击vscode右下角的选择解释器。选择你自己需要的解释器。
2025-03-07 19:32:57
299
原创 Ubuntu20.04本地配置IsaacLab 4.5.0的训练环境（二）：训练与推理
写在前面，在参考本页面执行训练与推理时，应参考完成IsaacLab 4.5.0的配置。
2025-03-06 20:56:03
349
原创 Ubuntu20.04本地配置IsaacLab 4.5.0的训练环境（一）
而后，在./local/share/ov/pkg/isaac-sim-4.5.0/apps/isaacsim.exp.base.kit文件中添加（（比如我则是在home目录下创建了isaaclab文件夹，其中创建了4-5-0子文件夹，后续我都会以这个文件夹来说明，在**./local/share/ov/pkg/目录下创建文件夹isaac-sim-4.5.0**，将安装包。点击SATRT即启动IsaacSim，第一次启动会比较慢，等候即可。若运行过程中除了ROS2报错外无其它错误，点击如图所示的按钮，若。
2025-03-06 18:41:22
942
原创 Ubuntu20.04本地配置IsaacLab 4.2.0的G1训练环境（二）：训练与推理
写在前面，本文档的实现需要IsaacLab的成功安装，可参考。
2025-03-04 22:01:01
348
原创 Pycharm配置ROS开发环境
在右侧的添加内容根处找到/opt/ros/noetic/lib/python3/dist-packages进行添加，然后点击右下角的应用和确定即可。首先，打开一个python项目，然后点击导航栏的。对于不同的ROS版本，操作方法通用。
2025-03-04 21:51:09
212
原创 Ubuntu20.04本地配置IsaacLab 4.2.0的G1训练环境（一）
配置资产包，在IsaacLab的启动界面中，在下方导航栏的Content中找到Omniverse/localhost/Library，在Library目录下创建NVIDIA文件夹（若不存在NVIDIA），并在NVIDIA文件夹内添加下载的Assets资产包到该位置（右键Upload Files or Folder）。该命令的目的是用于指定默认的资产路径。（对于这一步，跟之前的版本有所不同，之前不存在外部链接，而是直接安装。这里，账户的创建建议用admin，密码admin（其他也可以），其他自行填写。
2025-03-04 20:38:36
1105
1
原创 Ubuntu20.04本地配置IsaacGym Preview 4的G1训练环境（二）：训练与推理
【代码】Ubuntu20.04本地配置IsaacGym Preview 4的G1训练环境（二）：训练与推理。
2025-03-04 16:16:17
478
原创 Ubuntu20.04双系统安装及软件安装（十三）：录屏软件kazam
安装完成后，在菜单栏的所有程序中能找到一个类似于照相机的图标，即是kazam。界面非常简单，一看就会使用。
2025-03-04 16:04:01
367
原创 Ubuntu20.04本地配置IsaacGym Preview 4的G1训练环境（一）
至G1目录下，对于这一步的下载，与rsl_rl同样的操作（加入前缀后的git网址为https://kkgithub.com/unitreerobotics/unitree_rl_gym?安装pytorch2.3.1，请注意，torch和cuda、cudnn的版本都是一一匹配的，因此，在安装之前需要先查阅。（https://github.com/leggedrobotics/rsl_rl），可直接进入。请注意，你能够使用GPU启动，而不是CPU（这一步可在终端中查看到）。至G1目录下，对于这一步，直接。
2025-03-04 15:57:17
864
原创 Ubuntu20.04双系统安装及软件安装（八）：搜狗输入法
即可启动自带中文输入法。并且在右上角可以看到“中”、“英”文字眼。搜狗输入法的安装，看个人需求，实际上。搜过输入法的安装直接参照。
2025-03-04 15:02:31
155
原创 Ubuntu20.04双系统安装及软件安装（七）：Anaconda3
此外，会发现前面出现(base)，这是因为启动终端会自动激活conda，若不需要，则在/home/xx/目录下，打开.bashrc文件（这是隐藏文件，默认看不到，通过快捷键Ctrl+H可查阅隐藏文件），写入conda deactivate。请注意，在使用镜像网下载时，根据你的系统（比如ubuntu或windows、以及32或64位选择）。，出现anaconda的安装目录，这里如果不指定，显示安装的conda版本，说明安装成功。（也就是下载文件所在的位置），，会弹出下载窗口，注意。，如果指定，直接在右侧。
2025-03-04 15:02:07
520
原创 Ubuntu20.04双系统安装及软件安装（六）：Pycharm
会跳转至一个页面，该页面有两个pycharm版本，一个是专业版PyCharm Professional，另一个是社区版PyCharm Community Editon。一般而言，社区版足够使用，专业版有三十天试用，试用过期后要付费（也可去某多某宝购买）。中，将pycharm压缩包放至其他目录下（这里可以用终端mv命令，也可以直接鼠标剪切拖动。，类似于创建桌面快捷方式。但每一次都需要通过终端启动pycharm过于麻烦，这里可打开自己已有的一个python项目或新建一个项目，点击左上角。
2025-03-04 15:01:48
343
原创 Ubuntu20.04双系统安装及软件安装（五）：VSCode
安装完成后，即可启动软件。这里的启动方式有两种，一种是。在文件夹的**“下载”目录**，可看到下载的安装包，另一种是直接在左下角的菜单栏中，找到。系统会弹出下载框，确定即可。
2025-03-04 15:01:38
518
原创 Ubuntu20.04双系统安装及软件安装（四）：国内版火狐浏览器
的，如果平常有记录书签、浏览记录、并且经常使用浏览器插件的习惯，建议重装火狐浏览器为国内版的。这样登录浏览器账号的时候不需要科学上网等，使用方便。（不执行这一步，安装的国内版火狐浏览器无法打开，相当于没有启动脚本）至此，打开火狐浏览器即是国内版的。点击看到，里面有“北京谋智网络技术有限公司”字样。Ubuntu系统会自带火狐浏览器，但该。打开国内版火狐下载所在目录，并。下载中文版firefox。
2025-03-04 15:01:23
466
原创 Ubuntu20.04双系统安装及软件安装（三）：显卡驱动安装
一是右上角的CUDA version，这里显示的是所安装的驱动能够支持的CUDA最高版本，比如我这里是12.6，也就是我的cuda最高可以安装12.6版本的。第二个是中间有32W / 150W，这里一般对应的是显卡功耗，在使用GPU跑程序的时候，可以发现这里的功耗明显上升，右边的显存566MiB / 12282MiB也是一样。显卡驱动安装对于Ubuntu系统外接显示屏显示是必须的，此外，后续如果有cuda的使用需求，这一步也是必须的。若出现如下显示，说明驱动安装成功。注意终端的输出中有一行的最后显示。
2025-03-04 13:00:34
354
原创 Ubuntu20.04双系统安装及软件安装（二）：系统换源
（看个人喜好和需求，推荐用公司的源，从之前长久以来的使用来看阿里源比清华源好用一点）。安装完Ubuntu系统后第一步，建议换源。换源的主要目的是在安装一些功能包时通过国内地址安装，，相当于确认选择，然后点击右下角的。在Ubuntu系统中选择。，会弹出一个窗口，点击。
2025-03-04 12:48:41
167
原创 Ubuntu20.04双系统安装及软件安装（一）：系统安装
许久没写博客了，今天开始重新回归了。首先记录我在双系统上重装Ubuntu20.04的安装过程记录以及个人见解。
2025-03-04 11:03:10
776
原创 Dijkstra、A*算法python实现及对比分析
本篇文章为在栅格地图下的Dijkstra算法、A*算法python实现，以及A*算法在采用不同的距离计算函数的表现效果。
2022-09-30 12:39:02
1571
1
原创 gazebo中机器人搭载16线激光雷达建图导航
gazebo中机器人搭载16线激光雷达建图导航如果用过古月的教程大家就会知道，古月教程中的机器人采用的是单线激光雷达，但有的时候仿真需要多线激光雷达，这里就教一下怎么搭载16线激光雷达建图导航。首先需要下面几个包：Cartographer（建图用）、move_base（导航用）、pointcloud_to_laserscan（三维点云数据转二维），这里的Cartographer包当然也可以不用，用Gmapping也够了，看各自吧。先从网上下载velodyne的16线激光雷达对应的包，我是在ROS W
2021-12-16 14:58:27
4401
11
原创 采用Cartographer、LIO-SAM构建三维点云地图，采用Octomap构建八叉树地图（三维栅格地图）
采用Cartographer、LIO-SAM构建三维点云地图，采用Octomap构建八叉树地图（三维栅格地图）采用Cartographer构建三维点云地图采用的数据集是安装Cartographer的一个测试包，网址如下：https://storage.googleapis.com/cartographer-public-data/bags/backpack_3d/b3-2016-04-05-14-14-00.bag数据包很大，9个G，慎重下载，然后运行的命令就是这个：roslaunch carto
2021-12-07 11:30:44
6488
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人