机器人
关注
分享
扫一扫
文章平均质量分 67
Synioe
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
机器人视觉检测+跟踪：行人跟随过程中对目标提取特征+匹配
今天上午也是没有很大的成效，一直到下午睡醒（论好的睡眠的重要性），在一篇帖子中看到一种新的写法，opencv3将IplImage转换为Mat格式的写法，在我们的代码中采用这种方式，改到哪里哪里的问题就消失了，这种感觉非常爽！写完整一点，记录准确以后参考。我在机器人视觉检测中将kinect采集到的视频数据流进行特征提取和匹配，用的是成熟快速兼于一体的surf加速鲁棒特征进行匹配，这其中的一个...原创 2018-08-13 15:10:21 · 6607 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（3）
目标：检测并跟随目标（人） on TX2基本方案嵌入式设备，计算资源有限，对算法的运行时间敏感。 detection: YOLOv3(-tiny) tracking: KCF 当前状态 YOLOv3在TX2上能跑到5fps，但存在偶尔漏检的情况。YOLOv3使用darknet。 KCF虽然非常快，但很容易跟丢，对于目标形变（人的姿态变化）、目标移动较快、...原创 2018-09-20 20:37:25 · 2305 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（4）
1. 将手动画框给小强机器人行人跟踪的代码用opencv行人检测的demo替换，实现自动检测。在网上下载了一个XML训练模型，并修改了代码，在catkin_make这个工作空间时出现问题，一直报错：xiaoqiang@xiaoqiang-desktop:~/catkin_tra$ catkin_makeBase path: /home/xiaoqiang/catkin_traSource...原创 2018-09-20 20:45:17 · 2537 阅读 · 1 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（5）
kinect_tf.cpp#include <ros/ros.h>#include <tf/transform_listener.h>#include <geometry_msgs/Twist.h>//#include <sound_play/sound_play.h>//播放音频#include <unistd.h>#in...原创 2018-09-20 20:46:52 · 1102 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（6）
opencv的行人检测demo中的get_support_vector在之前返回的值一直是1,也就是支持向量个数一直是1,这样在for(int i=0; i<supportVectorNum; i++) { const float * pSVData = svm.get_support_vector(i);//返回所有支持向量的指针 ...原创 2018-09-20 20:48:50 · 1233 阅读 · 4 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（7）
1.kinect人体骨架追踪中有tf树变换，了解tf树的广播和订阅原理，尝试通过订阅在人体骨架跟踪中tf变换广播的骨架关节点位置坐标信息，获取跟踪目标的位置。$ cd %TOP_DIR_YOUR_CATKIN_WS%/src$ catkin_create_pkg robot_setup_tf roscpp tf geometry_msgssrc/tf_broadcaster.cpp...原创 2018-09-20 20:50:48 · 918 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（8）
/×kinect_tf.cpp实现人体骨骼检测追踪到的坐标点用tf转换接听，得到关节点的信息，这里只是接听了部分人体位置数据，“right_hand_1，right_shoulder_1”并对接听到的数据进行处理，这里判断距离，如果距离过大要调整速度，距离过小则调整速度，手部关节点如果y方向坐标如果高于肩部，则停下来了×/#include <ros/ros.h> #in...原创 2018-09-20 20:52:40 · 671 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（9）
1。讨论行人检测标定过程时实施方案，这边的技术细节已经基本确定，写成一个类或者cpp文件，有tracker.cpp调用函数，获得标定信号using kinect do hand recognition and then give the true or false signal2。行人检测着一块，用svm做检测现在的问题是运行出现段错误内存转出，沟通后现在需要调试看怎么解决@tld_t...原创 2018-09-20 20:54:31 · 865 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（10）
1、 陈述当天的任务；修改特征匹配，结合行人检测opencv库，对添加了特征匹配的代码后不能通过编译后的问题，问题是围绕着opencv版本，网上的相关解答也是说opencv版本不兼容，在opencv2.0版本有个nonfree库可以很方便的使用，而在Opecv3.0已经移除了这个库，导致SurfFeatureDetector detector(minHessian);出现报错，说没有...原创 2018-09-20 20:56:30 · 633 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（21）
在ros+groovy上安装kinect驱动：OpenNI，SensorKinect，NITE首先安装依赖项：sudo apt-get install git-core cmake freeglut3-dev pkg-config build-essential libxmu-dev libxi-dev libusb-1.0-0-dev doxygen graphviz mono-compl...原创 2018-10-09 14:20:43 · 1022 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（22）
机器人调试ros turtle_floower人体跟随#include <ros/ros.h>#include <pluginlib/class_list_macros.h>#include <nodelet/nodelet.h>#include <geometry_msgs/Twist.h>#include <sensor_...原创 2018-10-09 14:24:26 · 2138 阅读 · 1 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（23）--特征匹配
图像特征提取+基于opencv的特征匹配OpenCV的feature2d module中提供了从局部图像特征（Local image feature）的检测、特征向量（feature vector）的提取，到特征匹配的实现。其中的局部图像特征包括了常用的几种局部图像特征检测与描述算子，如FAST、SURF、SIFT、以及ORB。对于高维特征向量之间的匹配，OpenCV主要有两种方式：1）Br...原创 2018-10-09 14:27:20 · 1234 阅读 · 3 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（2）
目标：在TX2上运行人体检测和跟踪算法 主体方案：人体检测[yolov3] + 跟踪[KCF]现状 yolov3在tx2的帧率是2fps，yolov3-tiny能达到15~20fps。 KCF很快，但是很容易跟丢。 目前用的是RGB图像，如果用RGBD，是不是会更好？ 几个可能改进的方向 用TensorRT跑yolov3，提升yolov3在tx2上的...原创 2018-09-20 20:35:26 · 1868 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（1）
更新一波暑假做的机器人视觉检测跟随的项目，有一些笔记都放在博客中，有需要的可以交流~项目的目的是在机器人上搭建视觉检测系统，Kinect+ros+深度学习目标检测+行人识别（opencv的SVM行人检测以及Darknet神经网络Yolov3-tiny）+目标跟踪算法（主要是滤波算法）下面开始更新啦...目标：在TX2上运行人体检测和跟踪算法1. 刷机（安装jetpack） h...原创 2018-09-20 20:33:38 · 11225 阅读 · 2 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（21）
图像特征提取+基于opencv的特征匹配OpenCV的feature2d module中提供了从局部图像特征（Local image feature）的检测、特征向量（feature vector）的提取，到特征匹配的实现。其中的局部图像特征包括了常用的几种局部图像特征检测与描述算子，如FAST、SURF、SIFT、以及ORB。对于高维特征向量之间的匹配，OpenCV主要有两种方式：1）Br...原创 2018-10-09 14:39:43 · 656 阅读 · 0 评论 -
接上篇博文：视觉检测过程中特征匹配结果容器类<DMatch>判断
紧接上篇博文，顺势将特征匹配的结果进行筛选，并把代码做了实现。思路是用matches[i].distance判断是否满足条件，由于网上能够查阅到的资料仅仅是将计算得到的匹配特征点用drawMatch()绘制两幅图像的匹配结果，我这里是自己进行了匹配筛选，编译是能够成功的。double averagematch_dist =0; for(int i = 0; i < ptsP...原创 2018-08-13 17:19:26 · 381 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（11）
任务完成情况参考这篇博客 OpenCV3特征提取和暴力匹配方法 "surf特征提取+匹配"这篇博客是在opencv3版本上做特征提取的，3.0版本后的surf使用方法和2.0版本有了不同，所以需要做修改，这里参考了其使用的方法重新写了特征匹配的代码。修改后的tracking_node代码：/*********************************************...原创 2018-09-25 11:14:41 · 854 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（12）
任务完成情况opencv的数据格式转换，这次碰上了，主要就是cvMat,IplImage,cv::Mat,InputArray之间的格式转换，现在想要将提取的图像特征时，用一张灰度图传给surf特征检测器，计算出特征点，在这之前需要将图像的数据格式进行转换:cv::xfeatures2d::SURF::detectAndCOmpute(InputArray image, InputArr...原创 2018-09-25 11:17:08 · 886 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（13）
收获巨大啊总结一下编译成功的路线，不容易啊，要哭了。今天上午也是没有很大的成效，一直到下午睡醒（论好的睡眠的重要性），在一篇帖子中看到一种新的写法，opencv3将IplImage转换为Mat格式的写法，在我们的代码中采用这种方式，改到哪里哪里的问题就消失了，这种感觉非常爽！写完整一点，记录准确以后参考。我在机器人视觉检测中将kinect采集到的视频数据流进行特征提取和匹配，用的是...原创 2018-09-25 11:19:48 · 763 阅读 · 1 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（14）
增添Lowe匹配筛选算法的surf特征匹配特征点匹配的效果来看，匹配的效果还是相当糟糕的，如果我们拿着这样子的匹配结果去实现图像拼接或者物体追踪，效果肯定是极差的。所以我们需要进一步筛选匹配点，来获取优秀的匹配点，这就是所谓的“去粗取精”。这里我们采用了Lowe’s算法来进一步获取优秀匹配点。为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，SIFT的作者Lowe提出了比较最近邻距...原创 2018-09-25 11:21:36 · 1076 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（15）
### kinect + winSDK代码```#include <windows.h>#include <iostream> #include <NuiApi.h>#include <opencv2/opencv.hpp>using namespace std;using namespace cv;//通过传...原创 2018-09-25 11:24:36 · 622 阅读 · 1 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（16）
跟踪丢失后再检测时加上目标特征匹配，是将第一帧检测到的目标框中的特征提取出来，具体可以采用尺度不变特征SIFT，SURF特征提取，提取出来的特征，能否以向量的形式保存在变量中，再检测时搜索图像帧中的待确定目标区域（可能有数个这样的roi），可以通过计算欧式距离的方式与第一帧图像中的特征进行匹配，快速排除欧氏距离相差较大的检测对象（非跟踪的行人对象），当匹配度达到一定值后，即检测到第一帧跟踪的...原创 2018-09-25 11:26:07 · 879 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（17）
参考一个实例行人检测在ubuntu+ros环境下，利用RGBD采集数据给小车，实现行人跟随。原作者开源的例子是出现一个窗口，用鼠标选择一个区域做kcf跟随，选择的物体不受限制，物体移动后，机器人随即跟随。博主实现的是用opencv行人检测的demo，替换原作者的例子。该demo在opencv-2.4.13/samples/cpp/peopledetect.cpp下。先认识一下原作者的例...原创 2018-09-25 11:29:12 · 2882 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（18）
//kinect骨骼检测跟踪#include <iostream>#include <opencv2\imgproc.hpp> //opencv头文件#include <opencv2\calib3d.hpp>#include <opencv2\highgui.hpp>#include <Kinect.h> ...原创 2018-09-25 11:31:02 · 1009 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（19）
经过两天的莫怕滚打，终于把加上cvsvm的机器人行人检测跟踪包编译好了，先写一下完成的过程。1.鉴于之前机器人主机上的opencv版本是3.4.1，编译出现问题，于是多方查阅资料，将opencv的版本回调2.4.92.在安装回调版本之前，现将主机中的opencv版本下载干净，不然出问题。3.修改cmake文件，这里用了很多时间，搞清楚cmake文件的格式和编写，下面是修改后的cmake...原创 2018-09-25 11:32:08 · 924 阅读 · 0 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（20）
1.尝试用tx2外接kinectv1深度相机获取RGBD图像信息，传入到我们的行人检测代码框架中，调试基于深度相机的行人检测与跟踪算法的效果。首先安装kinect对应Arm处理器的ubuntu驱动程序，libfreenect v2.0OpenNI V2.2.0.33Nite V2.0.0安装libfreenectsudo apt-get install git g++ cmake li...原创 2018-09-25 11:33:56 · 4237 阅读 · 1 评论 -
机器人视觉项目：视觉检测识别+机器人跟随（24）--surf--flann
行人跟随中的extract+match feature在小强机器人行人跟随功能包中加入图像特征提取和特征匹配，提取surf特征，匹配方法是快速最近邻近似搜索flann。直接上代码：/******************************************************************************** The MIT License (MI...原创 2018-10-09 14:30:11 · 1019 阅读 · 0 评论