读视频文件和运动问题检测

本文链接：https://blog.youkuaiyun.com/timidsmile/article/details/7018656

本文介绍了使用OpenCV实现视频中背景图像与前景图像的分离，通过更新移动平均来更新背景图像，从而检测出变化的前景部分。详细展示了如何将图像从IplImage类型转换为矩阵类型cvMat，并利用cvRunningAvg函数进行背景更新。最后，通过一系列图像处理操作（如灰度化、二值化和形态学滤波）来突出前景对象。实例代码展示了整个流程，包括视频帧的读取、处理与展示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下面这个程序来自于仕琪的讲稿《使用OpenCV进行图像处理》]中的例程：

code：

#include "stdafx.h"
#include <stdio.h>

#include <cv.h>
#include <cxcore.h>
#include <highgui.h>

int main( int argc, char** argv )
{
	//声明IplImage指针
	IplImage* pFrame = NULL; 
	IplImage* pFrImg = NULL;
	IplImage* pBkImg = NULL;

	CvMat* pFrameMat = NULL;
	CvMat* pFrMat = NULL;
	CvMat* pBkMat = NULL;

	CvCapture* pCapture = NULL;

	int nFrmNum = 0;

	//创建窗口
	cvNamedWindow("video", 1);
	cvNamedWindow("background",1);
	cvNamedWindow("foreground",1);
	//使窗口有序排列
	cvMoveWindow("video", 30, 0);
	cvMoveWindow("background", 360, 0);
	cvMoveWindow("foreground", 690, 0);



	

	if( !(pCapture = cvCaptureFromAVI("E:\\code\\car.avi")))
	{
			//pCapture = cvCaptureFromCAM(-1))
		fprintf(stderr, "Can not open camera.\n");
		return -2;
	}

		
	//逐帧读取视频
	while(pFrame = cvQueryFrame( pCapture ))
	{
		nFrmNum++;

		//如果是第一帧，需要申请内存，并初始化
		if(nFrmNum == 1)
		{
			pBkImg = cvCreateImage(cvSize(pFrame->width, pFrame->height),  IPL_DEPTH_8U,1);
			pFrImg = cvCreateImage(cvSize(pFrame->width, pFrame->height),  IPL_DEPTH_8U,1);

			pBkMat = cvCreateMat(pFrame->height, pFrame->width, CV_32FC1);
			pFrMat = cvCreateMat(pFrame->height, pFrame->width, CV_32FC1);
			pFrameMat = cvCreateMat(pFrame->height, pFrame->width, CV_32FC1);

			//转化成单通道图像再处理
			cvCvtColor(pFrame, pBkImg, CV_BGR2GRAY);
			cvCvtColor(pFrame, pFrImg, CV_BGR2GRAY);

			cvConvert(pFrImg, pFrameMat);
			cvConvert(pFrImg, pFrMat);
			cvConvert(pFrImg, pBkMat);
		}
		else
		{
			cvCvtColor(pFrame, pFrImg, CV_BGR2GRAY);
			cvConvert(pFrImg, pFrameMat);
			//高斯滤波先，以平滑图像
			//cvSmooth(pFrameMat, pFrameMat, CV_GAUSSIAN, 3, 0, 0);

			//当前帧跟背景图相减
			cvAbsDiff(pFrameMat, pBkMat, pFrMat);

			//二值化前景图
			cvThreshold(pFrMat, pFrImg, 60, 255.0, CV_THRESH_BINARY);

			//进行形态学滤波，去掉噪音  
			//cvErode(pFrImg, pFrImg, 0, 1);
		    //cvDilate(pFrImg, pFrImg, 0, 1);

			//更新背景
			cvRunningAvg(pFrameMat, pBkMat, 0.003, 0);
			//将背景转化为图像格式，用以显示
			cvConvert(pBkMat, pBkImg);

			//显示图像
			cvShowImage("video", pFrame);
			cvShowImage("background", pBkImg);
			cvShowImage("foreground", pFrImg);

			//如果有按键事件，则跳出循环
			//此等待也为cvShowImage函数提供时间完成显示
			//等待时间可以根据CPU速度调整
			if( cvWaitKey(2) >= 0 )
				break;


		}
	}




			//销毁窗口
			cvDestroyWindow("video");
			cvDestroyWindow("background");
			cvDestroyWindow("foreground");

			//释放图像和矩阵
			cvReleaseImage(&pFrImg);
			cvReleaseImage(&pBkImg);

			cvReleaseMat(&pFrameMat);
			cvReleaseMat(&pFrMat);
			cvReleaseMat(&pBkMat);

			cvReleaseCapture(&pCapture);

			return 0;
}

（代码写的好规范的说~为嘛我总是想起什么写什么~~思路不清晰。。。。）

==============================================================================================================================

里面有个函数不是很清楚：

下面的解释来自百度百科：http://baike.baidu.com/view/3634447.htm

cvRunningAvg

　　opencv中的函数，用来更新移动平均。用法：

　　void cvRunningAvg(const CvArr * image,

　　CvArr* acc,

　　double alpha,

　　const CvArr* mask=NULL)

　　image:输入图像，1或3通道，8比特或32比特的float型

　　acc:累加器，和image一样大小

　　alpha：更新时，image所占的权重

　　mask：操作符掩码

　　if mask(x,y)!= 0 (1-alpha)*acc(x,y)+alpha*image(x,y) =>acc(x,y)

好像，，，，，，，还不是很清楚~~~~

==================================================================================================

还有一个地方疑问~~~为什么要把图像格式 IplImage 转化成矩阵格式 cvMat ？？？

程序中转化之后，就只调用了3个函数嘛~

cvAbsDiff
cvThreshold

cvRunningAvg

这三个函数用 IplImage 格式的也OK的呀~~~为什么，有什么好处？

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

frame_gray= cvCreateImage(cvSize(frame->width,frame->height),IPL_DEPTH_8U, 1);

frame_gray_last = cvCreateImage(cvSize(frame->width,frame->height),IPL_DEPTH_8U,1);

m_out_image = cvCreateImage(cvSize(frame->width,frame->height),IPL_DEPTH_8U,1);

m_out_image_copy = cvCreateImage(cvSize(frame->width,frame->height),IPL_DEPTH_8U,1 );

这几行代码的初始化为什么不可以放在if语句中？

为什么每次都需要给它初始化？不可以一次初始化，然后赋值么？

==========================================================

另外，结果不是很理想~

不知道是视频选择的问题还是什么，二值化后的前景图像，感觉第一帧一直在那里····

知道为什么会出现这样的结果了。因为背景图像一直是第一帧的图像，没有更新，所以，最前方一直有一个汽车的影像···

这应该比较适合与背景不变的情况吧。。。。

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++还有一个程序，其效果图：

感觉这个反而简单且效果好点~

code：

#include "stdafx.h"
#include "cv.h"
#include "highgui.h"

#ifdef _EiC
#define WIN32
#endif

int main( int argc, char** argv )
{
	CvCapture* capture = NULL;
	IplImage *frame = NULL;
	//IplImage *frame_copy = NULL;

	IplImage  *frame_last = NULL;//存储上一帧
	IplImage  *m_out_image = NULL;

	IplImage* frame_gray = NULL;
	IplImage* frame_gray_last = NULL;
	IplImage* m_out_image_copy = NULL;
	int nFrmNum = 0;

	//capture = cvCaptureFromCAM(-1); 

	capture = cvCaptureFromAVI("E:\\code\\car.avi");

	//创建窗口
	cvNamedWindow( "result", 1 );
	cvNamedWindow("差分");

	//逐帧读取视频
	while(frame = cvQueryFrame( capture ))
	{
		nFrmNum++;

		//如果是第一帧，需要申请内存，并初始化
		if(nFrmNum == 1)
		{
			//frame_copy = cvCreateImage( cvSize(frame->width,frame->height),IPL_DEPTH_8U, frame->nChannels );
			frame_last = cvCreateImage(cvSize(frame->width,frame->height),IPL_DEPTH_8U, frame->nChannels);
			cvCopy(frame,frame_last);
		}
		else
		{
			frame_gray = cvCreateImage(cvSize(frame->width,frame->height),IPL_DEPTH_8U, 1);
			frame_gray_last = cvCreateImage(cvSize(frame->width,frame->height),IPL_DEPTH_8U, 1);

			m_out_image = cvCreateImage(cvSize(frame->width,frame->height),IPL_DEPTH_8U, 1);
			m_out_image_copy = cvCreateImage( cvSize(frame->width,frame->height),IPL_DEPTH_8U, 1 );
			
			cvCvtColor(frame,frame_gray,CV_RGB2GRAY);
	
			cvCvtColor(frame_last,frame_gray_last,CV_RGB2GRAY);

			cvAbsDiff(frame_gray,frame_gray_last,m_out_image);

			//cvThreshold(m_out_image,m_out_image,128, 255,CV_THRESH_BINARY);

			//将处理后的图像写出到第二个图像中

			if( m_out_image_copy->origin == IPL_ORIGIN_TL )
				cvCopy( m_out_image, m_out_image_copy, 0 );
			else
				cvFlip( m_out_image, m_out_image_copy, 0 );

			frame_last = cvCreateImage(cvSize(frame->width,frame->height),IPL_DEPTH_8U, frame->nChannels);
			cvCopy(frame,frame_last);

			cvShowImage("差分",m_out_image_copy);
			cvShowImage("result",frame);

			cvReleaseImage( &m_out_image_copy );
			cvReleaseImage( &frame_gray_last );
			cvReleaseImage( &frame_gray );


			if( cvWaitKey( 2 ) >= 0 )
				break;
		}
	}

	cvReleaseImage( &m_out_image );
	cvReleaseImage( &frame_last );
	cvReleaseImage( &frame );

	cvReleaseCapture( &capture );

	cvDestroyWindow("result");
	cvDestroyWindow("差分");

	return 0;
}