GRCNN抓取网络学习2【自制Jacquard数据集训练】

已于 2024-03-10 11:33:28 修改
阅读量1.8k 收藏 8
点赞数 2
分类专栏： # UR机械臂 文章标签： 学习
于 2023-09-01 16:28:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/vor234/article/details/132516170
版权
本文介绍了如何使用自制的Jacquard数据集训练GRCNN抓取网络，包括数据格式修改、训练数据集的准备和常见训练方法的对比。在训练过程中，作者还分享了遇到的错误及其解决方案，如安装包版本不匹配、中心点报错和numpy高版本问题。文章最后鼓励读者尝试并期待后续的模型调优部分。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

GRCNN抓取网络学习2【自制Jacquard数据集训练】

1. 前言

请先完成【机械臂视觉抓取从理论到实战】，这样有利于下面操作的理解！

完整UR机械臂的GRCNN抓取网络教程参考以下博客：
0. 【机械臂视觉抓取从理论到实战】

  1. GRCNN抓取网络学习1【Jacquard数据集等效制作】
  2. GRCNN抓取网络学习2【自制Jacquard数据集训练】
  3. GRCNN抓取网络学习3【自制Jacquard数据集模型调优】
  4. GRCNN抓取网络学
了解本专栏 订阅专栏 解锁全文 超级会员免费看
GRCNN抓取网络学习1【Jacquard数据集等效制作】
vor234的博客
08-26 6547
首先了解Jacquard数据集的参数组成通过上面的步骤可以获取自己抓取数据集，输入到GRCNN中是三种文件grasps.txtRGB.png接下来会教大家如何训练自己的GRCNN网络啦！参考文献：pybullet GGCNN数据集制作。
GRCNN抓取网络学习3【自制Jacquard数据集模型调优】
vor234的博客
09-01 1801
请先完成，这样有利于下面操作的理解！然后第二步是，有了自己的数据集输入到GRCNN中是三种文件，那么可以GRCNN抓取网络学习2【自制Jacquard数据集训练】！既然学会训练，那么开展下一步计划模型调优。GRCNN源码：https://github.com/skumra/robotic-grasping。
Jacuard抓取数据集介绍
m0_74089435的博客
07-03 2394
提花数据集由来自 54 485 个不同对象的 11 619 个不同场景组成，共有 4 967 454 个抓取注释（1 181 330 个唯一位置）。对于每个场景，都提供了一个渲染的RGB图像，一个分割蒙版，两个深度图像和抓取注释。每个可下载的 zip 文件都包含数据集的独立子部分，因此您可以像处理整个数据集一样处理 10 个演示对象。打开 Jacuard如下，12个文件夹。
Jacquard_V2数据集(机器人视觉抓取)
weixin_45263278的博客
02-28 2580
我们的Jacquard_V2数据集是一个用于机器人视觉抓取任务的数据集，它是Jacquard数据集的增强版本。该数据集包含11,000个目标物体和51,000张图像。所有图像都具有RGB-D模态。注释包括多种夹爪尺寸、抓取位置和抓取角度。有关我们Jacquard_V2数据集的更多详细信息请参考论文。Jacquard V2论文我们已将论文的全部代码开源，请在github或优快云上进行下载。
Jacquard_V2数据集：机器人视觉抓取的革命性升级
gitblog_06506的博客
09-20 905
Jacquard_V2数据集：机器人视觉抓取的革命性升级 Jacquard_V2数据集机器人视觉抓取 项目地址: https://gitcode.com/Resource-Bundle-Collection/ad3ab ...
探索机器人视觉抓取的未来：Jacquard V2 数据集
gitblog_00390的博客
09-14 570
探索机器人视觉抓取的未来：Jacquard V2 数据集 项目地址:https://gitcode.com/gh_mirrors/ja/Jacquard_V2 项目介绍 Jacquard V2 是一个专为机器人视觉抓取任务设计的数据集，是原始 Jacquard 数据集的增强版本。该数据集包含了 11,000 个目标对象和 51,000 张图像，所有图像均具备 RGB-D 模态。每个图像的标注信息包...
机器人视觉抓取数据集Jacquard V2-代码
02-28
机器人视觉抓取数据集Jacquard V2-代码
深度学习jacquard数据集运行一半卡死但不报错，且一运行cpu跑满cuda不动
m0_66638719的博客
02-22 398
最近学习GGCNN，自己想照着原代码敲一遍学习，学习jacquard数据集，代码照着以往的规范写，但一运行到特定位置就卡住了，并且cpu跑满cuda不动，明明以已经全部.to(device)了，求大佬指点。
GRCNN抓取网络学习4【手眼标定】
vor234的博客
09-10 1853
我们知道，在三维空间准确描述执行器的状态，不仅要包括位置信息，也要包含姿态信息，即位姿（Pose）。齐次变换矩阵就是在机器人学中描述一个坐标系到另一个坐标系的变换关系的矩阵，包含了姿态旋转分量和位置平移分量。其中，T12T_1^2T12​矩阵表示从坐标系1到坐标系2的变换，R3∗3R_{3*3}R3∗3​ 表示旋转矩阵，T3∗1T_{3*1}T3∗1​ 表示平移矩阵。世界坐标系(Xw,Yw,Zw)(X_w,Y_w,Z_w)(Xw​,Yw​,Zw​) ：在环境中由用户任意选择一个基准坐标系作为参考来描述摄像机
Jacquard V2 数据集使用教程
gitblog_01033的博客
09-14 564
Jacquard V2 数据集使用教程 Jacquard_V2 项目地址: https://gitcode.com/gh_mirrors/ja/Jacquard_V2 项目...
ggcnn_tf
03-04
注意：这是用于以下RSS 2018论文的原始代码。 它处于非常糟糕的状态，不太可能维护，因此我建议您在master分支中使用更新的PyTorch，它对用户更加友好。 生成式抓取CNN（GG-CNN） GG-CNN是一个轻量级的，完全卷积的网络，可预测输入深度图像中每个像素处对偶抓取的质量和姿势。 GG-CNN的轻量级和单遍生成特性可实现快速执行和闭环控制，从而在抓取尝试期间移动对象的动态环境中实现准确抓取。 该存储库包含以下论文中的生成式把握卷积神经网络（GG-CNN）的实现： 闭合循环以进行机器人抓取：实时，生成的抓取综合方法 （ ，（ ，于 机器人技术：科学与系统（RSS）2018 | 如果您使用本作品，请引用： @article{morrison2018closing, title={Closing the Loop for Robotic Grasping:
GRCNN: Graph Recognition Convolutional Neural Network for Synthesizing Programs from Flow Charts
weixin_47277897的博客
02-15 2678
GRCNN：从流程图中合成程序的图识别卷积神经网络 论文使用了一种新型的卷积神经网络，从图像中识别图结构。对GRCNN进行端到端训练，可以同时预测流程图的边缘信息和节点信息。实验表明，合成一个程序的准确率为66.4%，识别边缘和节点的准确率分别为94.1%和67.9%。平均而言，合成一个程序大约需要60毫秒。 为什么提出这个框架？ 要合成一个程序，必须提供规范。形式语言的规范可以准确地表示用户的意图，并用于演绎程序综合[3]。然而，很少有人拥有正式语言的知识...
pybullet GGCNN数据集制作（三）
weixin_50920579的博客
05-18 5413
1.vscode配置anaconda环境 2.RuntimeError: Frame didn't arrived within 5000关闭驱动即可（具体见本文第一小节） 3.深度图中黑色的点一般都是由于反光透明等问题导致的
使用Mask-RCNN训练自己的数据集看这一篇就够了，从制作数据集开始一步步教你如何玩转Mask-RCNN（保姆级教程）
热门推荐
ekekex的博客
04-15 2万+
使用Mask_RCNN训练自己的数据集的方法，教你从零开始训练自己的Mask_RCNN模型。
GGCNN笔记
超级菜
10-22 2707
GGCNN数据集的总结
grcnn机械臂仿真
最新发布
02-16
### GR-CNN与机械臂仿真的相关信息 #### 关于GR-CNN的应用背景 生成残差卷积神经网络（GR-ConvNet）是一种专门设计用于从多通道图像中高效生成对跖机器人抓取位置的模型，在标准数据集上的表现优异，分别在Cornell和Jacquard抓取数据集上达到了97.7%和94.6%的准确率[^2]。 #### 机械臂仿真环境的选择 对于希望模拟GR-CNN驱动下的机械臂行为的研究者来说，选择合适的仿真平台至关重要。常见的选项包括Gazebo、V-REP/CoppeliaSim以及PyBullet等工具。这些平台提供了丰富的物理引擎支持，能够逼真地再现现实世界中的力学特性，从而为训练提供可靠的反馈机制。 #### 整合GR-CNN到仿真环境中 为了实现这一目标，通常的做法是先通过Python或其他编程接口将预训练好的GR-CNN加载进来；接着利用ROS(Robot Operating System)作为中间件来连接深度学习框架与选定的仿真器。具体而言： ```python import rospy from sensor_msgs.msg import Image from cv_bridge import CvBridge, CvBridgeError import torch import torchvision.transforms as transforms from gr_convnet.model import GRConvNet # 假设这是GR-ConvNet的具体导入方式 def image_callback(msg): try: bridge = CvBridge() cv_image = bridge.imgmsg_to_cv2(msg, "bgr8") transform = transforms.Compose([ transforms.ToTensor(), # 添加其他必要的转换操作... ]) input_tensor = transform(cv_image).unsqueeze(0) with torch.no_grad(): output = model(input_tensor) # 处理output并发送给控制器... except CvBridgeError as e: print(e) if __name__ == '__main__': rospy.init_node('grasp_detector', anonymous=True) model_path = 'path/to/pretrained/model.pth' device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = GRConvNet().to(device) checkpoint = torch.load(model_path,map_location=device) model.load_state_dict(checkpoint['model']) model.eval() sub = rospy.Subscriber("/camera/rgb/image_raw", Image, image_callback) rospy.spin() ``` 这段代码片段展示了如何订阅来自摄像头的话题消息，并将其传递给已经加载完毕的GR-ConvNet实例进行推理处理。注意这里假设了存在一个名为`gr_convnet.model.GRConvNet`的有效类定义，实际应用时需根据实际情况调整路径和其他细节配置。 #### 数据准备与标注 当涉及到具体的实验设置时，还需要考虑如何获取高质量的数据样本供算法学习之用。这可能涉及创建合成场景或将真实世界的物品放置在一个受控环境下拍摄照片。重要的是确保采集到的画面质量良好且覆盖足够的多样性以便让机器学会应对不同类型的挑战情况。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

2345VOR

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值