交互系统的构建之（四）手掌与拳头检测加盟TLD
http://blog.youkuaiyun.com/zouxy09
人机交互系统的构建之（一）http://blog.youkuaiyun.com/zouxy09/article/details/7919618中提到我的整个交互系统包含以下部分： TLD系统、TTS语音合成、语音识别、手势和语音控制鼠标和键盘、运行前加入手掌的检测（这样就不用鼠标画目标box了）、拳头的检测等等。
目前已完成：
1、TLD系统的介绍与编译：
http://blog.youkuaiyun.com/zouxy09/article/details/7893022
2、TLD系统工作过程分析：
http://blog.youkuaiyun.com/zouxy09/article/details/7893026
3、重写Makefile编译TLD系统:
http://blog.youkuaiyun.com/zouxy09/article/details/7919618
4、Linux下鼠标和键盘的模拟控制：
http://blog.youkuaiyun.com/zouxy09/article/details/7920253
5、TTS技术简单介绍和Ekho（余音）TTS的安装与编程：
http://blog.youkuaiyun.com/zouxy09/article/details/7909154
6、TTS语音合成的添加：
http://blog.youkuaiyun.com/zouxy09/article/details/7921032
7、OpenCV中人脸检测Haar分类器分析（本文的手掌和拳头的检测也是基于这个的）
http://blog.youkuaiyun.com/zouxy09/article/details/7922923
8、计算机视觉目标检测的框架与过程分析
http://blog.youkuaiyun.com/zouxy09/article/details/7928771
本文将完成：
运行前加入手掌的检测，检测到手掌作为需要跟踪的目标（这样就不需要用鼠标框选目标box了）、运行时加入拳头的检测，检测到拳头，则表示用户单击。
有关于本系统构建的文章结构都会由三个部分来组织，一是该功能模块的介绍和在Linux下简单应用程序的实现；二是将该功能模块整合到交互系统（先以TLD为地基）中去；三是分析目前存在的问题与未来的解决构思。
一、手掌和拳头的检测原理和编程
1.1、原理
该部分使用到的手掌的检测是基于OpenCV的Haar+AdaBoost，而拳头检测是基于OpenCV的LBP+ AdaBoost；
检测的原理见：
http://blog.youkuaiyun.com/zouxy09/article/details/7922923
http://blog.youkuaiyun.com/zouxy09/article/details/7928771
关于目标检测的图像特征提取的分析，我也做了一个总结：
目标检测的图像特征提取之（一）HOG特征
http://blog.youkuaiyun.com/zouxy09/article/details/7929348
目标检测的图像特征提取之（二）LBP特征
http://blog.youkuaiyun.com/zouxy09/article/details/7929531
目标检测的图像特征提取之（三）Haar特征
http://blog.youkuaiyun.com/zouxy09/article/details/7929570
目前整体交互系统的检测过程我修改如下：
系统启动，语音会进行提示；然后先用拳头放进摄像头区域，然后张开手掌，系统就会检测到手掌，然后我提取检测到的手掌的一个方框，作为TLD需要跟踪的目标Bounding Box（不再需要鼠标去框选了），这样TLD就会跟踪这个手掌，用手掌去控制鼠标。然后再处理帧的过程中，会检测拳头，检测到拳头表示鼠标单击事件。但拳头检测并不是检测整张图像，为了提高检测速度，我这样处理：假设跟踪器跟踪到了手掌Box，那么这时候握拳的地方肯定在手掌box的附近，所以把这个手掌box稍微加大（为了稳定），把这个box框内的图像传给拳头检测器检测。
1.2、编程
在现在的OpenCV版本中，使用级联分类器做人脸检测的时候，有两种选择：一是使用老版本的CvHaarClassifierCascade，一是使用新版本的CascadeClassifier类。老版本的分类器只支持类Haar特征，而新版本的分类器既可以使用Haar，也可以使用LBP特征。
类CascadeClassifier中实际上封装了新旧两种分类器，对于老版本的xml模型文件，CascadeClassifier会用CvHaarClassifierCascade去解析，并用cvHaarDetectObjects去检测。而对于新版本的xml文件，CascadeClassifier会用自己的一套格式去解析。
使用起来很简单，只需要简单的几步：
//创建级联分类器对象
CascadeClassifier cascade;
//加载级联分类器
cascade.load( “haarcascade_frontalface_alt.xml” );
//转换成灰度图像
cvtColor( img, smallImg, CV_BGR2GRAY );
//可以先缩放灰度图像，再对图像进行直方图均衡
equalizeHist( smallImg, smallImg );
//检测
cascade.detectMultiScale( smallImg, objects, 1.1, 2, CV_HAAR_SCALE_IMAGE, Size(30, 30) );
检测函数是detectMultiScale，它的参数比较多。该函数以不同大小的窗口扫描输入图像寻找目标。
函数原型是：void CascadeClassifier::detectMultiScale(const Mat& image, vector<Rect>& objects, double scaleFactor=1.1, int minNeighbors=3, int flags=0, Size minSize=Size(), Size maxSize=Size());
参数image为输入的灰度图像，objects为得到被检测物体的矩形框向量组，scaleFactor参数决定每两个不同大小的窗口之间有多大的跳跃，默认值为1.1，参数minNeighbors控制误检率，现实图像中的目标可能会被多次检测到，因为周围的像素和不同大小的窗口也会检测到目标。默认为3，表示至少有3次检测到目标，才认为是目标。flags对于新的分类器没有用（但目前的haar分类器都是旧版的，CV_HAAR_DO_CANNY_PRUNING利用Canny边缘检测器来排除一些边缘很少或者很多的图像区域，CV_HAAR_SCALE_IMAGE就是按比例正常检测，CV_HAAR_FIND_BIGGEST_OBJECT只检测最大的物体，CV_HAAR_DO_ROUGH_SEARCH只做初略检测），默认为0。minSize和maxSize用来限制得到的目标区域的范围，例如你的目标不会太小，也不会太大，所以太小和太大的区域就不用检测了。
OpenCV带了一个检测的例子：功能是检测人脸和人的双眼
http://opencv.itseez.com/doc/tutorials/objdetect/cascade_classifier/cascade_classifier.html
代码如下：
#include "opencv2/objdetect/objdetect.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <iostream>
#include <stdio.h>
using namespace std;
using namespace cv;
/** Function Headers */
void detectAndDisplay( Mat frame );
/** Global variables */
String face_cascade_name = "haarcascade_frontalface_alt.xml";
String eyes_cascade_name = "haarcascade_eye_tree_eyeglasses.xml";
CascadeClassifier face_cascade;
CascadeClassifier eyes_cascade;
string window_name = "Capture - Face detection";
RNG rng(12345);
/** @function main */
int main( int argc, const char** argv )
{
CvCapture* capture;
Mat frame;
//-- 1. Load the cascades
if( !face_cascade.load( face_cascade_name ) ){ printf("--(!)Error loading\n"); return -1; };
if( !eyes_cascade.load( eyes_cascade_name ) ){ printf("--(!)Error loading\n"); return -1; };
//-- 2. Read the video stream
capture = cvCaptureFromCAM( -1 );
if( capture )
{
while( true )
{
frame = cvQueryFrame( capture );
//-- 3. Apply the classifier to the frame
if( !frame.empty() )
{ detectAndDisplay( frame ); }
else
{ printf(" --(!) No captured frame -- Break!"); break; }
int c = waitKey(10);
if( (char)c == 'c' ) { break; }
}
}
return 0;
}
/** @function detectAndDisplay */
void detectAndDisplay( Mat frame )
{
std::vector<Rect> faces;
Mat frame_gray;
cvtColor( frame, frame_gray, CV_BGR2GRAY );
equalizeHist( frame_gray, frame_gray );
//-- Detect faces
face_cascade.detectMultiScale( frame_gray, faces, 1.1, 2, 0|CV_HAAR_SCALE_IMAGE, Size(30, 30) );
for( int i = 0; i < faces.size(); i++ )
{
Point center( faces[i].x + faces[i].width*0.5, faces[i].y + faces[i].height*0.5 );
ellipse( frame, center, Size( faces[i].width*0.5, faces[i].height*0.5), 0, 0, 360, Scalar( 255, 0, 255 ), 4, 8, 0 );
Mat faceROI = frame_gray( faces[i] );
std::vector<Rect> eyes;
//-- In each face, detect eyes
eyes_cascade.detectMultiScale( faceROI, eyes, 1.1, 2, 0 |CV_HAAR_SCALE_IMAGE, Size(30, 30) );
for( int j = 0; j < eyes.size(); j++ )
{
Point center( faces[i].x + eyes[j].x + eyes[j].width*0.5, faces[i].y + eyes[j].y + eyes[j].height*0.5 );
int radius = cvRound( (eyes[j].width + eyes[j].height)*0.25 );
circle( frame, center, radius, Scalar( 255, 0, 0 ), 4, 8, 0 );
}
}
//-- Show what you got
imshow( window_name, frame );
另外，我的手掌和拳头的分类器都是别人弄好的了，效果也不错。
二、整合到TLD系统中
在run_tld.cpp中添加的代码如下：
//xiaoyi added here
String fist_cascade = "c1_lbp_900_20.xml";
String palm_cascade = "palmcascade2.xml";
……
……
//xiaoyi added here
int detect_object( Mat& img, CascadeClassifier& cascade, vector<Rect> &objects, float scale)
{
//将图片缩小，加快检测速度
Mat smallImg( cvRound (img.rows/scale), cvRound(img.cols/scale), CV_8UC1 );
//将尺寸缩小到1/scale,用线性插值
resize( img, smallImg, smallImg.size(), 0, 0, INTER_LINEAR );
equalizeHist( smallImg, smallImg );//直方图均衡
cascade.detectMultiScale( smallImg, objects, 1.1, 2, CV_HAAR_SCALE_IMAGE, Size(30, 30) );
return objects.size();
}
//xiaoyi added here
int detect_fist( Mat& img, CascadeClassifier& cascade, float scale)
{
vector<Rect> fists;
detect_object( img, cascade, fists, scale);
printf("the fist.size is---------------------------------%d \n", fists.size());
return fists.size();
}
//xiaoyi added here
int detect_palm_first(Mat &img)
{
CascadeClassifier cascade;//创建级联分类器对象
double scale = 1.3;
vector<Rect> palms;
Mat gray;
if( !cascade.load( palm_cascade ) ) //从指定的文件目录中加载级联分类器
{
cerr << "ERROR: Could not load classifier cascade" << endl;
return 0;
}
//因为用的是类haar特征，所以都是基于灰度图像的，这里要转换成灰度图像
cvtColor( img, gray, CV_BGR2GRAY );
detect_object( gray, cascade, palms, scale);
if (!palms.size())
return 0;
box.width = cvRound( palms[0].width * scale * 0.7 );
box.height = cvRound( palms[0].height * scale * 0.8 );
box.x = cvRound(palms[0].x * scale + palms[0].width * scale * 0.15 );
box.y = cvRound(palms[0].y * scale + palms[0].height * scale * 0.1 );
gotBB = true;
return 1;
}
……
……
main()函数
{
……
GETBOUNDINGBOX:
while(!gotBB)
{
if (!fromfile) {
capture >> frame;
}
else
first.copyTo(frame);
cvtColor(frame, last_gray, CV_RGB2GRAY);
//加入手掌检测，作为初始的bounding box
detect_palm_first(frame); //xiaoyi added here
drawBox(frame,box);
imshow("TLD", frame);
if (cvWaitKey(33) == 'q')
return 0;
}
……
int load_cascade_success = 1;
Rect detect_fist_box;
double scale = 1.1;
CascadeClassifier cascade; //创建级联分类器对象
if( !cascade.load( fist_cascade ) ) //从指定的文件目录中加载级联分类器
{
cerr << "ERROR: Could not load classifier cascade" << endl;
load_cascade_success = 0;
}
detect_fist_box.x = pbox.x - 40;
if (detect_fist_box.x < 0)
detect_fist_box.x = 0;
detect_fist_box.y = pbox.y - 20;
if (detect_fist_box.y < 0)
detect_fist_box.y = 0;
detect_fist_box.width = pbox.width + 80;
if ((detect_fist_box.x + detect_fist_box.width) > 320)
detect_fist_box.width = 320 - detect_fist_box.x;
detect_fist_box.height = pbox.height + 40;
if ((detect_fist_box.y + detect_fist_box.height) > 240)
detect_fist_box.height = 240 - detect_fist_box.y;
Mat temp = detect_gray(detect_fist_box);
if (load_cascade_success )
{
if ( (detect_fist(temp, cascade, scale)) > 0 )
{
if (continue_fist == 0)
simulate_key(fd_mouse, BTN_LEFT);
continue_fist++;
}
else
continue_fist = 0;
}
……系统集合后试验了一下，感觉还是挺不错的，呵呵！
三、目前存在的问题和解决构思
1、需不需要通过Opencv的手掌检测去加固TLD的手掌检测和跟踪？
2、单击的时候实际上是不属于TLD的跟踪轨迹的了，这对于系统是否存在影响？
3、其他的稳定性问题
扫一扫
1308
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
