ROS - unity - VR(HTC_VIVE) - tracker - pointcloud联合

原创 已于 2024-02-22 15:30:07 修改 · 2.3k 阅读 · 48 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#unity #vr #游戏引擎

于 2023-12-23 14:17:33 首次发布

Unity 脚本 API

目录

 一、 ROS(ubuntu)和unity(windows)之间通讯的方法

方法一：Unity-Robotics-Hub项目提供的ros_tcp_endpoint包

方法二：ROS#

二、import urdf to unity

三、unity - VR

四、unity - tracker

五、unity - realsense - pointcloud

 一、 ROS(ubuntu)和unity(windows)之间通讯的方法

方法一：Unity-Robotics-Hub项目提供的ros_tcp_endpoint包

video：youtube视频

参考：Unity-Robotics-Hub项目，该项目提供了ros_unity_integration通讯方法，pick_and_place机械臂仿真实例

ros_unity_integration总结：

git clone https://github.com/Unity-Technologies/ROS-TCP-Endpoint.git
  • 3、【ROS】下载
最低0.47元/天 解锁文章
ROS-Unity连接教程
gls_nuaa的博客
11-25 1万+
本篇文章主要介绍基于ROS-TCP-Connector、ROS-TCP-Endpoint两个Unity接口与ROS进行通信的环境配置，并对官方给出的Unity和ROS相互通信示例中的消息部分做了说明。
Unity和ROS通讯的机械臂
m0_64730542的博客
11-26 4282
Unity和ROS通讯的机械臂
eus_vive:ROS软件包，用于使用HTC ViveOculus进行机器人远程操纵
03-19
eus_vive 使用Vive / Oculus的机器人远程控制程序 笔记 该软件包取决于以下这些分支： 经过测试的环境 搭建环境 Ubuntu 16.04 + ROS Kinetic NVidia驱动程序： 396.37 OpenVR： 1.3.22 Steam VR： 1.6.10 Ubuntu 18.04 + ROS Melodic NVidia驱动程序： 390.116 OpenVR： 1.3.22 Steam VR： 1.6.10 VR设备 Vive 手臂运动追踪 控制器按钮界面 HMD可视界面 震动界面 声音介面 眼 手臂运动追踪 控制器按钮界面 HMD可视界面 震动界面 声音介面 安装 依赖安装 安装依赖项（适用于Vive） sudo apt-get install --reinstall xserver-xorg-video-intel libgl1-
ROS-Unity 连接教程（ROS1版本）
最新发布
m0_62967808的博客
09-24 988
本文介绍了Unity与ROS系统的通信集成方法。在Ubuntu端需配置ROS环境并安装ROS-TCP-Endpoint包，设置IP和端口后启动服务端；Unity端通过Package Manager添加ROS-TCP-Connector包，配置ROS IP和端口。文章提供了两个实例演示：1)Unity发布立方体位姿信息，ROS订阅并显示；2)ROS发布颜色信息，Unity订阅并改变立方体颜色。通过详细的代码示例和配置步骤，实现了Unity与ROS的双向通信功能验证。
ViveTrackers：一个简单的库，可在Unity3D中使用HTC Vive Tracker设备
02-06
在Unity3D中使用HTC Vive Tracker设备具有以下优点： 直接使用OpenVR API以获得最佳性能 小型图书馆，易于集成到任何项目中 完整的测试场景以了解库的使用 一些来设置Unity3D，SteamVR和Windows，以从您的Vive Tracker获得最佳质量的输出 系统要求 使用Unity3D 2017.4.35f1（也应与较新版本一起使用）为Windows目标平台开发。
Unity中简单的使用HTC VIVE Tracker与物体绑定
夕阳追脚尖的博客
02-17 5008
用到Tracker，首先要把Tracker与电脑相连。 打开Unity，新建一个3D项目。然后导入SteamVR插件（我用的是SteamVR插件1.2.3）。 删除自带的MainCramer。在Project视图中找到【CameraRig】（Assets/SteamVR/Prefabs/CameraRig）然后拖入到场景中。 创建一个Cube。使Cube在摄像头所能看到的位置。然后点击Co...
使用ROS-Unity实现宇树人型机器人电机数据实时获取
weixin_72450004的博客
08-05 1414
该github项目详细叙述了Unity的安装以及训练方法，涵盖了多种人型机器人模型的训练以及urdf的文件描述。解决：首先查看是否导入了训练后的ONNX，如果导入之后还是这样的话，估计会显示报错：DilNotFoundException: libdl.so assembly:<unknown assembly> type:<unknown type> member:(null)在右边的manual joints中选者机器人的关节，可以先在左边点击具体关节，再确定测试的关节后将关节导入进脚本。
ROS-melodic：源码安裝teb_local_planner算法、替换DWA算法
weixin_44190648的博客
06-14 7574
ROS-melodic：源码安裝teb_local_planner算法、替换DWA算法
ros2的unity仿真配置（ros2-for-unity）
m0_63671696的博客
07-28 3847
可以看到unity中输出了Hello World，验证完毕！可以看到unity上监听的/chatter。
Ubuntu20.04 Carla安装以及ros-bridge控制
Moresweet 猫甜
05-22 2952
开启两个终端，一个启动Carla，一个通过ROS控制。runtime导包，在非虚拟环境中安装pygame。创建虚拟环境，避免包依赖破坏读者的原生环境程序。写入用户配置，使得ROS可以找到编译的程序。创建工作空间，拉取源码。改称0.9.15即可。
Unity-ROS与话题与服务（二）
lovely_yoshino的博客
12-19 1万+
将消息导入Unity的步骤如下所示Unity的菜单“Robotics→Generate ROS Messages…”选择。在“ROS message path”中选择“catkin_ws/src”。然后就可以看到path下的msg都会显示在Unity下面然后点击“MyString.msg”中的“Build msg”。这样“MyString.msg”将被转换成c#脚本“MyStringMsg”，并在Project窗口中输出“RosMessages”。
UnityROS：如何在Unity3D中使用ROS的示例。 为Unity Technologies斯坦福大学开发
02-06
统一ROS 如何在Unity3D中使用ROS的示例。 专为Unity Technologies开发。 该项目旨在演示Unity引擎内部与本地ROS实例进行通信的ROS.Net用法。 要求： Ubuntu 16.04 Unity 2018.1.0f2（ ） ROS Kinetic Kame完整安装（ ） 中提供了更多文档/说明。
ros-sharp:ROS＃是C＃中的一组开源软件库和工具，用于与.NET应用程序（尤其是Unity3D）中的ROS通信。
05-14
是一组开源软件库和工具，用于与来自的通信。 应用程序，尤其是 。 是一些展示，展示了使用ROS＃可以完成的工作。 社区提供了ROS＃的各种其他应用示例。 请不要犹豫，发布您的！ 内容 ： ， 和.NET解决方案 ： 通过ROS＃使用的包。 Unity3D ：包含的Unity项目 RosBridgeClient和Urdf和MessageGeneration的Unity特定扩展 示例场景和参考代码（请参阅Wiki ） 发行版 除源代码外， Release还包含： 包含Unity3D项目资产的Unity资产包： 可以使用ROS＃导入其他Unity项目中。 RosBridgeClient和Urdf的二进制文件可以在使用这些库的其他.NET项目中使用。 最新版本也将在Unity Asset Store中发布。 请直接从此master分支的技巧中获取最新的开发版本。 Unity机器
【亲测免费】 探索移动机器人世界：Unity与ROS的奇妙组合
gitblog_00025的博客
06-22 697
探索移动机器人世界：Unity与ROS的奇妙组合 在这个数字化的时代，我们正逐步进入一个由机器人辅助的未来。Unity与ROS结合的移动机器人入门教程 是一个专为初学者设计的开源项目，它将带领你踏入这个精彩的世界。通过这款教程，你可以学习如何利用Unity的可视化强项和ROS（机器人操作系统）的强大功能来构建你的移动机器人系统。 1. 项目介绍 这个项目采用Git进行版本控制，提供了详细的步骤引...
Vive Tracker 和 unity结合
翻肚鱼儿的博客
10-21 1204
unity
探索未来机器人技术：Unity的ROS TCP Connector
gitblog_00888的博客
08-16 912
探索未来机器人技术：Unity的ROS TCP Connector 本文将向您介绍一个强大的开源项目——Unity的ROS TCP Connector。这个项目为ROS（Robot Operating System）和Unity之间的实时通信提供了一个可靠的桥梁，使得开发者能够在Unity中实现精细的机器人模拟和可视化。 项目介绍 ROS TCP Connector是Unity Technolog...
ROS与Unity通讯总结
weixin_41311377的博客
05-07 1万+
ROS与Unity 3D通讯总结 参考文章:https://github.com/Unity-Technologies/Unity-Robotics-Hub https://github.com/Unity-Technologies/ROS-TCP-Endpoint https://github.com/Unity-Technologies/ROS-TCP-Connector 目前使用是GitHub开源的Unity-Robotics-Hub项目,其中在Unity的PC端使用ROS#已经集中 ROS-TCP-
Unity 与 虚拟机ROS连接
weixin_45654152的博客
12-01 986
Unity 连接 虚拟机ROS
从Unity Robotics Hub入门Unity-ROS
热门推荐
lovely_yoshino的博客
12-06 1万+
对于Unity而言，其拥有非常完备的物理特性，这对于机器人仿真是非常有用的，但是实际上Unity和ROS之间的通信一直是摆在两者之间的难题，正好看到宇宙爆肝锦标赛冠军写的这个系列，所以个人想参照为数不多的资料来进行整理，并完成这个系列的文章。“Unity Robotics Hub”是一种基于Unity环境的机器人模拟工具、教程、资源以及文档信息的资料库。机器人工作者可以在模拟场景中使用Unity。卸载旧的docker版本 允许apt命令可以使用HTTPS访问Docker repository 添加Dock
ros2 run save_pointcloud save_pointcloud --ros-args -p save_path:=/home/z/yun Package 'save_pointcloud' not found 怎么解决
07-09
<think>我们正在解决一个ROS 2运行错误：包'save_pointcloud'未找到。根据用户提供的信息和引用内容，我们可以推断用户可能正在尝试运行一个名为'save_pointcloud'的节点，但该包未被正确安装或构建。 步骤分析： 1. 确认包是否存在：用户需要确认该包是否已经在工作空间中成功构建。 2. 构建包：如果包存在但未构建，需要构建。 3. 环境设置：确保环境变量已设置，特别是source了安装空间（install空间）的setup.bash。 4. 包名检查：确认包名是否正确（注意ROS 2包名是区分大小写的，并且必须与package.xml中一致）。 根据引用[1]的内容，我们注意到在setup.py中指定了安装时要包含的launch和config目录。这提示我们，用户可能正在创建一个ROS 2包（ament_python），并且需要正确设置包的结构。 另外，引用[2]提到了用户订阅的话题，这表明用户可能在使用相机相关的节点，并试图保存点云图。因此，我们假设用户可能自己编写了一个名为'save_pointcloud'的包，用于保存点云。 解决方案： 1. 确保包已经正确构建： - 在ROS 2工作空间（通常是包含src、build、install、log的目录）中，运行以下命令构建包： ```bash colcon build --packages-select save_pointcloud ``` - 如果构建成功，会在install目录下生成相应的包。 2. source安装空间： - 在运行节点之前，必须source安装空间的setup.bash： ```bash source install/setup.bash ``` 注意：每个新终端都需要执行此操作，或者可以将该命令添加到.bashrc中。 3. 检查包名： - 使用以下命令列出所有可用的包，检查'save_pointcloud'是否在列表中： ```bash ros2 pkg list | grep save_pointcloud ``` - 如果包名不正确，需要修正。包名应该与package.xml中的<name>标签内容一致。 4. 如果包不存在，则需要创建包（但根据错误，用户可能已经创建了包，只是未找到，所以更可能是构建或source问题）。 5. 如果包确实存在但依然报错，检查package.xml和setup.py（或CMakeLists.txt）是否正确配置。特别是对于ament_python包，需要确保在setup.py中正确声明了入口点（entry points），以便ros2 run可以找到可执行文件。 示例setup.py中入口点的配置（对于save_pointcloud包，假设有一个节点可执行文件）： ```python from setuptools import setup setup( name='save_pointcloud', version='0.0.0', packages=[save_pointcloud], data_files=[ ... # 如引用[1]中提到的数据文件配置 ], install_requires=['setuptools'], zip_safe=True, author='your_name', author_email='email@example.com', maintainer='your_name', maintainer_email='email@example.com', keywords=['ROS'], classifiers=[ 'Intended Audience :: Developers', 'License :: OSI Approved :: Apache Software License', 'Programming Language :: Python', 'Topic :: Software Development', ], description='Package to save pointcloud', license='Apache License, Version 2.0', tests_require=['pytest'], entry_points={ 'console_scripts': [ 'save_pointcloud_node = save_pointcloud.save_pointcloud_node:main', ], }, ) ``` 6. 如果用户还没有创建包，那么需要先创建。但当前错误提示包未找到，所以假设包已经存在。 7. 另外，检查工作空间中是否有多个同名包，可能会导致冲突。 根据以上步骤，我们给出解决步骤： 步骤1：在工作空间根目录下构建包 ```bash colcon build --packages-select save_pointcloud ``` 步骤2：在终端中source安装空间 ```bash source install/setup.bash ``` 步骤3：再次运行节点 ```bash ros2 run save_pointcloud save_pointcloud_node ``` 如果问题仍然存在，请检查包名和节点名是否正确。 相关问题： 1. 如何创建一个ROS 2 Python包？ 2. 如何正确配置ROS 2包的setup.py和package.xml？ 3. 在ROS 2中，如何设置环境变量以便找到包？ 4. ROS 2的构建系统colcon有哪些常用命令？ 5. 如何调试ROS 2节点找不到的问题？</think>### 解决 ROS 2 "package 'save_pointcloud' not found" 错误 该错误通常发生在以下场景： 1. 包未构建成功 2. 环境变量未正确配置 3. 包名拼写错误 4. 包未正确安装 #### 解决步骤： 1. **确认包存在** 在工作空间根目录执行： ```bash source install/setup.bash # 加载环境 ros2 pkg list | grep save_pointcloud ``` 若无输出，说明包未被识别 2. **重新构建包** ```bash cd ~/your_workspace # 进入工作空间 colcon build --packages-select save_pointcloud ``` 观察构建输出是否包含： ```log Finished <<< save_pointcloud [x.xs] ``` 3. **检查包结构** 确保包包含必要文件： ``` save_pointcloud/ ├── package.xml ├── setup.py ├── resource/ ├── save_pointcloud/ │ └── __init__.py └── launch/ └── your_launch_file.launch.py ``` 在 `setup.py` 中需声明入口点： ```python[^1] entry_points={ 'console_scripts': [ 'save_pointcloud_node = save_pointcloud.main:main' ], } ``` 4. **验证环境加载** 每次打开新终端时需执行： ```bash source /opt/ros/humble/setup.bash source ~/your_workspace/install/setup.bash ``` 5. **检查包名一致性** 确认以下文件中的包名完全一致： - `package.xml` 中的 `<name>save_pointcloud</name>` - `setup.py` 中的 `name='save_pointcloud'` - 启动文件中的 `package='save_pointcloud'` #### 常见修复方案： - **若包丢失**：重新克隆仓库 ```bash cd src/ git clone https://github.com/your/save_pointcloud.git colcon build --packages-select save_pointcloud ``` - **若路径错误**：检查 `COLCON_PREFIX_PATH` ```bash echo $COLCON_PREFIX_PATH | grep save_pointcloud ``` - **若依赖缺失**：在 `package.xml` 添加： ```xml <depend>sensor_msgs</depend> <depend>rclpy</depend> ``` #### 深度图保存注意事项[^2]： 处理深度图时需确保： 1. 已正确订阅 `/camera/depth/image_raw` 2. 使用正确的图像编码（如 `16UC1`） 3. 转换深度数据时进行单位缩放： ```python depth_image = self.bridge.imgmsg_to_cv2(msg, desired_encoding='16UC1') depth_meters = depth_image.astype(np.float32) / 1000.0 # 毫米转米 ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值