机器人持续学习基准LIBERO系列6——获取并显示实际深度图

最新推荐文章于 2024-10-24 11:34:37 发布

阿航626

最新推荐文章于 2024-10-24 11:34:37 发布

阅读量890

点赞数 7

分类专栏：机器人操作持续学习论文 LIBERO 文章标签：迁移学习持续学习机器人学习 LIBERO libero 终身学习增量学习

本文链接：https://blog.youkuaiyun.com/weixin_53610475/article/details/135633441

版权

机器人操作持续学习论文同时被 2 个专栏收录

18 篇文章

订阅专栏

LIBERO

9 篇文章

订阅专栏

本文介绍了机器人持续学习基准LIBERO系列的安装、测试以及如何在环境中进行路径规划、相机画面可视化，包括单步移动和获取深度图，还展示了如何获取并可视化真实深度信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

0.前置

1.代码基础

2.开启一个新环境

env_args = {
    "bddl_file_name": os.path.join(os.path.join(get_libero_path("bddl_files"), task.problem_folder, task.bddl_file)),
    "camera_heights": 128,
    "camera_widths": 128
}

env = OffScreenRenderEnv(**env_args)
#设置种子
env.seed(0)
#环境重置
env.reset()
#初始化
env.set_init_state(init_states[0])

3.可视化两个相机的二维图并获取归一化后的深度图

import numpy as np
#运动机械臂更新环境
obs, _, _, _ = env.step([0.] * 7)
#获取手外相机视角图片
agentview_image = (obs["agentview_image"])
robot0_eye_in_hand_image = (obs["robot0_eye_in_hand_image"])
agentview_depth = (obs["agentview_depth"])
robot0_eye_in_hand_depth =  (obs["robot0_eye_in_hand_depth"])
display(Image.fromarray(agentview_image))
display(Image.fromarray(robot0_eye_in_hand_image))

在这里插入图片描述

4.获取并可视化真实深度信息

robosuite官方文档提供了相关函数get_real_depth_map

from robosuite.utils.camera_utils import get_real_depth_map
agentview_depth_real = get_real_depth_map(env.sim, agentview_depth)
robot0_eye_in_hand_depth_real = get_real_depth_map(env.sim, robot0_eye_in_hand_depth)

维度是（heights,widths,1）
可视化可参考机器人持续学习基准LIBERO系列5——获取显示深度图

agentview_depth_real = (agentview_depth_real.squeeze()*1000).astype(np.uint8)
robot0_eye_in_hand_depth_real = (robot0_eye_in_hand_depth_real.squeeze()*1000).astype(np.uint8) 
display(Image.fromarray(agentview_depth_real))
display(Image.fromarray(robot0_eye_in_hand_depth_real))