背景分割是许多可视化应用中重要操作。比如:一个静止的摄像头计算进出房间的游客数量的计数器,或者交通摄像头的车辆信息提取等等。在所有这些案例中都要独立 提取人或者车,从技术上讲,需要将动态的前景与静态的背景分离。
如果有一张没有游客的房间或者没有车辆的道路背景图,那么很简单,只要将新图和背景图做减法,就能得到前景图了。但是多数情况是没有这样的背景图的。所有我们需要在任何情况下都可以提取背景图。当有车辆阴影时,就变得很复杂。阴影也是移动的,简单的减法会把阴影算在前景里。这是一件很麻烦的事。对此有若干种算法,opencv提供了三中,便于使用。这里逐一介绍。
1,BackgroundSubtractorMOG
高斯混合背景分割算法,2001年 P. KadewTraKuPong and R. Bowden论文"An improved adaptive background mixture model for real-time tracking with shadow detection"。
该方法把每个背景像素使用K高斯分布(k=3to5)。混合比例是按照场景中的颜色的时间比例,时间越长,越可能是静态,就越可能是背景色。
代码中使用cv2.createBackgroundSubtractorMOG()函数,有一个可选参数:时间,高斯混合,阀值等等。它们都有默认值。在循环中使用backgroundsubtractor.apply()
取前景遮罩。
import numpy as np
import cv2
cap = cv2.VideoCapture('vtest.avi')
fgbg = cv2.createBackgroundSubtractorMOG()
while(1):
ret, frame = cap.read()
fgmask = fgbg.apply(frame)
cv2.imshow('frame',fgmask)
k = cv2.waitKey(30) & 0xff
if k == 27:
break
cap.release()
cv2.destroyAllWindows()
2,BackgroundSubtractorMOG2
同样是高斯混合背景分割算法,两篇论文 作者Z.Zivkovic,2004年‘Improved adaptive Gausian mixture model for background subtraction’和2006年的‘Efficient Adaptive Density Estimation per Image Pixel for the Task of Background Subtraction’。一个重要的算法就为每个像素选择适当的高斯分布数,这使用比如照明变化等更广泛的场景。
在前面的我们做了一个背景减法对象,这里创建一个可选,决定是否将阴影剔除。
import numpy as np
import cv2
cap = cv2.VideoCapture('vtest.avi')
fgbg = cv2.createBackgroundSubtractorMOG2()
while(1):
ret, frame = cap.read()
fgmask = fgbg.apply(frame)
cv2.imshow('frame',fgmask)
k = cv2.waitKey(30) & 0xff
if k == 27:
break
cap.release()
cv2.destroyAllWindows()
3,BackgroundSubtractorGMG3
该算法包含了统计背景图像估计和逐像素贝叶斯分类,Andrew B. Godbehere, Akihiro Matsukawa, Ken Goldberg,在2012年的‘Visual Tracking of Human Visitors under Variable-Lighting Conditions for a Responsive Audio Art Installation’。2011,在叫做'Are We There Yet?'的一个交互式艺术音频设备上成功运行。
它使用少量的帧(默认120)来取得背景数据,采用概率前景分割算法也就是使用贝叶斯推理识别可能的前景对象。这种估算的自适应的。在适应变化的照明中,新观察者比就观察者有更高的权重。几个形态过滤上操作像闭和开操作完移除可不需要的噪点。在前面几帧中间获得黑色的窗口,用开运算移除噪点是很好的做法。
import numpy as np
import cv2
cap = cv2.VideoCapture('vtest.avi')
kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(3,3))
fgbg = cv2.createBackgroundSubtractorGMG()
while(1):
ret, frame = cap.read()
fgmask = fgbg.apply(frame)
fgmask = cv2.morphologyEx(fgmask, cv2.MORPH_OPEN, kernel)
cv2.imshow('frame',fgmask)
k = cv2.waitKey(30) & 0xff
if k == 27:
break
cap.release()
cv2.destroyAllWindows()