本文介绍混合高斯模型（GMM）的基本原理及其在视频监控中背景建模的应用，包括模型建立、参数更新及MATLAB代码实现。
1 混合高斯模型（GMM）的建立及参数更新
混合高斯模型指的是对每个像素点建立一个由K个（一般K=3-5，K值越大，处理波动的能力强，能够较好地模拟动态变化的环境，但会加大计算量，使处理时间变长）单高斯模型混合而成的模型。（具体参考文献：[刘非非. 基于视频监控的室内跌倒行为的检测与识别研究[D]. 山东大学, 2016].）
如果继续深究，或者有些里面具体数学公式，以及混合高斯模型中涉及到的数学非常非常基础的知识，可以参看这篇浅谈协方差矩阵，详细介绍了协方差的意义，从浅显的概念开始解读，很容易让人理解，而且在后面还有“Matlab协方差实战”，更加让人容易理解。http://www.cnblogs.com/chaosimple/p/3182157.html 。
下面是我根据这个文章2.2.2整理出来的：
我只是将书中的文字，用这种方式表达出来，这也就让我们能够很好地去理解啦！其中的红字小框框，是笔者自己对这两个值，存在的疑惑。因为不一样的取值可能会有不一样的结果。
说明：在最上面的那几个公式那里，我只是按照书中写的，自己理解的进行替换。如果不对，还请各位指正！
2 MATLAB代码实现
笔者实力有限，所以这里的代码出处也是在网上下载具体网址：
http://www.ilovematlab.cn/thread-326760-1-1.html 这是matlab论坛中的一个贴子，本博客就是在其源码上修改的，当然只是修改了小小的一部分。大部分还是属于这篇帖子作者的。在此只是引荐，按照自己的理解并详细阐述说明。
在看代码之前，需要说明一下：有时我们看到代码会很头疼，因为里面的变量名很让人头疼！事实上，这些变量有以下原则：1）数学公式中的符号音译过来，例如：下面代码中的alpha，代表数学公式中希腊字母像a的那个；2）想要表达的具体事物的所对应的的英文缩写：例如，下面代码中的fg 代表front ground，即前景；这样看起代码是不是就不那么费劲了~~更多的就不做阐述了。
下面我们看代码：
clear all
source = VideoReader('falling.avi');
%载入视频，这里需要说明，本人用的matlab版本是2015b，在前一篇博客有详细说明。
numFrames = source.NumberOfFrames;%计算所载入的视频的总帧数
% ----------------------- Part1 frame size variables 图像帧的尺寸变量-----------------------
fr= read(source,1);%读取视频的第一帧图像
fr_bw = rgb2gray(fr); % convert background to greyscale将该帧图像转换为灰度图像
fr_size = size(fr); %获取该帧图片的尺寸，size函数返回的是两个值，即长、宽
width = fr_size(2); %将第二个值赋给width这个变量
height = fr_size(1); %将第一个值赋给height这个变量
fg = zeros(height, width); % 建立一个零矩阵，用于计算前景，储存前景像素。说白了就是告诉先占个地方，后面好放东西。
bg_bw = zeros(height, width);% 建立一个零矩阵，用于背景的更新
% --------------------- Part2 初始变量，及公式中的一些常数值 --------------------------------
C = 3; % number of gaussian components (typically 3-5)高斯个数
M = 3; % number of background components背景个数
%原谅笔者现在没有弄明白为什么有了高斯数，还有个背景数？？？
D = 2.5; % positive deviation threshold比较门槛值
alpha = 0.01; % learning rate (between 0 and 1) (from paper 0.01)初始化的学习率
thresh = 0.25; % foreground threshold (0.25 or 0.75 in paper)前景门槛
sd_init = 6;
% initial standard deviation (for new components) var = 36 in paper初始化偏差
w = zeros(height,width,C); % initialize weights array初始化权重
mean = zeros(height,width,C); % pixel means像素均值
sd = zeros(height,width,C); % pixel standard deviations像素标准偏差，注意与下面的方差区别，平方的关系
u_diff = zeros(height,width,C);
% difference of each pixel from mean每个像素与均值的差值
p = alpha/(1/C); % initial p variable (used to update mean and sd)均值，方差的更新系数
rank = zeros(1,C); % rank of components (w/sd)用于排序
% ------------Part3 initialize component means and weights 初始化均值和权重----------
pixel_depth = 8; % 8-bit resolution 8位分辨率
pixel_range = 2^pixel_depth -1; % pixel （像素）range (# of possible values)
%下面是 初始化每个点的每个高斯模型的均值，权重，方差
for i=1:height
for j=1:width
for k=1:C%每个像素点设置了三个高斯模型
mean(i,j,k) = rand*pixel_range; % means random (0-255)
w(i,j,k) = 1/C; % weights uniformly dist
sd(i,j,k) = sd_init; % initialize to sd_init
end
end
end
%----------------------------Part4 process frames 具体实现过程-----------------------------------
for n = 1:10:numFrames% 计算视频的总帧数!!! PS:经过笔者的实验，之前的代码将视频中的每帧图像都进行了前、背景的分离。笔者将其改为每隔10帧取一帧，进行前、背景的分离。
fr = read(source,n); %读取视频的第n帧图像
fr_bw = rgb2gray(fr); % convert frame to grayscale 转换为灰度图像
%fr_bw(i,j)可以认为是当前像素点吧
% calculate difference of pixel values from mean 计算各点像素的均值
%计算当前帧每个像素值与每个高斯模型均值的差，即进行相应的匹配，
%在前面和大家提过的文献中说明，建立好背景和模型后，再利用匹配算法将视频帧的前背景分离。而这里的匹配算法就是利用当前帧每个像素值与每个高斯模型均值的差，进行相应的匹配。事实上匹配算法还有很多种，笔者运行后的结果不是很理想，可能问题出在这个匹配算法上。但具体的不在详解（因为笔者也不知道啊）！只是在此将这个问题提出，方便大家交流。
for m=1:C
u_diff(:,:,m) = abs(double(fr_bw) - double(mean(:,:,m)));
%abs是取绝对值，这里就是在计算当前帧每个像素值与每个高斯模型均值的差
end
% update gaussian components for each pixel更新高斯模型的各像素点
% 将当前帧的每个像素值进行匹配（匹配开始）
for i=1:height
for j=1:width
match = 0;
for k=1:C
if (abs(u_diff(i,j,k)) <= D*sd(i,j,k))
% pixel matches component
% pixel matches component
% 当前像素与某一高斯模型匹配，匹配准
% 则是与高斯模型差值小与2.5倍的标准差 match = 1;
% variable to signal component match
% 匹配的时候，匹配标志设置为1
% variable to signal component match
% update weights, mean, sd, p 更新每个像素的高斯模型，
如果当前像素与某个背景高斯模型相匹配，则对背景进行更新
w(i,j,k) = (1-alpha)*w(i,j,k) + alpha; %1 权值的更新
p = alpha/w(i,j,k); % 2 更新率的更新
mean(i,j,k) = (1-p)*mean(i,j,k) + p*double(fr_bw(i,j));% 3当前像素点的均值的更新
sd(i,j,k) = sqrt((1-p)*(sd(i,j,k)^2) + p*((double(fr_bw(i,j)) - mean(i,j,k)))^2);
% 4 标准差的更新（也可以用方差）
else % pixel doesn't match component当像素与任何一个高斯模型都不匹 配的时候
w(i,j,k) = (1-alpha)*w(i,j,k);
% 5 weight slighly decreases% 对权重进行更新，不匹配的高斯模型权重减小
%1,2,3,4,5都是具体的数学表达形式。具体的参看上面的公式。只是将公式用语言 表达出来
end
end
w(i,j,:) = w(i,j,:)./sum(w(i,j,:));% 各个像素所有高斯背景模型的值之和，这是一个统计值
bg_bw(i,j)=0;
for k=1:C
bg_bw(i,j) = bg_bw(i,j)+ mean(i,j,k)*w(i,j,k);%更新背景
end
% if no components match, create new component 如果当前的高斯模型都不匹配的时候，用当前的图像参数建立一个新的高斯模型，取代权重最小的模型。
%用当前图像参数建立一个新的高斯模型
if (match == 0)
[min_w, min_w_index] = min(w(i,j,:));
%找出每一个像素对应的权重最小的高斯模型，找出w中的所有维数(也就是所有高斯模型)对应的第i行，第j列的最小值（也就是权重），返回值min_w为数值（权重）大小，min_w_index为对应的维数（高斯模型）
mean(i,j,min_w_index) = double(fr_bw(i,j));
%fr_bw为背景灰度图像，由于没有匹配，所以保留原值不变
%我认为是当前像素值作为新模型的均值
sd(i,j,min_w_index) = sd_init; %没有匹配，保留原值不变
end
rank = w(i,j,:)./sd(i,j,:); % calculate component rank，这也是数学公式的表达，具体在前面的叙述中有。就是按照这个公式进行排序
rank_ind = [1:1:C]; %计算权重与标准差的比值，用于对背景模型进行排序
% sort rank values
for k=2:C
for m=1:(k-1)
if (rank(:,:,k) > rank(:,:,m))
% swap max values 交换最大值
rank_temp = rank(:,:,m);
rank(:,:,m) = rank(:,:,k);
rank(:,:,k) = rank_temp;
% swap max index values 交换最大索引值
rank_ind_temp = rank_ind(m);
rank_ind(m) = rank_ind(k);
rank_ind(k) = rank_ind_temp;
end
end
end
% calculate foreground %计算前景
match = 0;
k=1;
fg(i,j) = 0; %前景
while ((match == 0)&&(k<=M))% 没有匹配，而且当前高斯数号小于背景数
if (w(i,j,rank_ind(k)) >= thresh)
if (abs(u_diff(i,j,rank_ind(k))) <= D*sd(i,j,rank_ind(k)))
fg(i,j) = 0; %判断是否是前景，如果符合匹配准则就认为是背景
match = 1;
else %否则认为是前景，前景值为255，即白色
fg(i,j) = 255;
end
end
k = k+1; %计算下一个高斯模型
if(k==5)
k=k-1;
break
end
end
end
figure(1),subplot(3,1,1),imshow(fr)%显示输入图像三行一列定位第一个
subplot(3,1,2),imshow(uint8(bg_bw))%显示背景图像三行一列定位第2个
subplot(3,1,3),imshow(uint8(fg)) %显示前景图像
%将图像矩阵转换为视频帧
end
end
笔者在这里说明一下，运行试验所用的视频是山东大学拍摄人体姿态的视频。下载地址：http://www.sucro.org/homepage/wanghaibo/SDUFall.html 这里是20个人的六种姿态。点击下载即可，是免费的。
扫一扫
8480
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
