脑机接口+机械臂视觉抓取

PART1: 远程连接服务器

启动终端1
ssh usrname@ip
vncserver :59 -geometry 1680x950
启动终端2
vncviewer
ip:59(端口号)
(这两步可以安装vncviewer的软件,在里面输入ip,启动vncserver之后直接启动vncviewer的软件就行)

基本操作:

  • 退出服务器:vncserver -kill :59

  • 复制文件:

    • 本地到服务器:scp -r 本地路径 usrname@ip:服务器路径
      (单个文件不必加r,加也行)
    • 服务器到本地scp -r usrname@ip:服务器路径 本地路径
  • 查看GPU使用情况:watch -n 1 nvidia-smi

  • python版本切换:

    sudo rm /usr/bin/python
    sudo ln -s /usr/bin/python2.7 /usr/bin/python
    
  • 查看进程用户:ps -f -p 26359,其中,UID 表示用户ID,PID 表示进程号,PPID 表示父进程号,TIME 表示执行时间,CMD 表示执行命令

PART2:环境配置

项目源码之后会上传github,按照requirements的要求配置即可.其中,tensorflow-gpu版本改为1.6.0,cuda为9.0.176,cudnn为7.0.5,使用annaconda新建环境mask_rcnn,python版本为3.5
查看tensorflow版本:

python
import tensorflow as tf; tf.__version__

值得注意的是,cud

### 关于机械视觉抓取的技术实现方法 #### 总述 机械视觉抓取是一个复杂的多学科交叉领域,涉及机器人学、计算机视觉等多个方面。该过程通常分为几个主要阶段:手眼标定、物体识别与定位、抓取姿态分析以及运动规划[^1]。 #### 手眼标定 为了使摄像头获取的信息能够被转换成机械坐标系下的位置信息,需要进行手眼标定。这一过程旨在建立摄像机图像平面与机械末端执行器之间的几何关系,从而确保两者间的精确协作。对于特定类型的机械而言,在考虑其结构特点的基础上可适当简化处理流程;例如文中提到的六轴机械由于有两个舵机专用于控制夹爪部分的动作,则实际操作过程中只需关注其余四个关节即可[^2]。 #### 物体识别与定位 利用先进的深度学习算法如YOLOv5来完成目标检测任务是非常有效的手段之一。这类模型能够在短时间内准确地标记出场景内的各个物品,并给出它们的具体边界框参数。这不仅提高了工作效率还增强了系统的鲁棒性和适应能力,使得即使面对复杂背景或者光照变化较大的情况也能稳定工作。 #### 抓取姿态分析 当确定好要拾起的目标之后,下一步就是计算最佳的接触方式——即所谓的“抓握姿势”。此环节需综合考量被抓物形状大小等因素并结合先前得到的空间位姿估计结果来进行决策。某些情况下可能还需要借助额外传感器(比如力矩反馈装置)辅助判断最合适的施力方向和力度范围以保障动作的安全可靠。 #### 运动路径规划 最后一步便是依据上述所得数据制定合理的行动路线让机器手顺利抵达指定地点实施捡拾行为而不与其他障碍发生碰撞。这里涉及到轨迹优化等问题往往需要用到专门设计好的软件工具包或是开源框架帮助解决。像Universal Robots公司推出的UR系列设备就配套提供了丰富的API接口支持开发者快速搭建应用环境开展实验研究活动[^3]。 ```python import rospy from sensor_msgs.msg import Image from cv_bridge import CvBridge, CvBridgeError import cv2 def image_callback(msg): try: bridge = CvBridge() cv_image = bridge.imgmsg_to_cv2(msg, "bgr8") # 对cv_image进行进一步处理... except CvBridgeError as e: print(e) if __name__ == '__main__': rospy.init_node('image_converter', anonymous=True) image_subscriber = rospy.Subscriber("/camera/color/image_raw", Image, image_callback) rospy.spin() ```
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值