三维视觉：运动分析上篇

【本学期选修国科大计算机视觉课程，本人方向也是cv，因此想通过博客方式记录课程中比较重要的点，巩固并且进行一些扩展学习】

【从本章节开始由董秋雷老师为我们讲述相关知识】

【本章节内容针对运动分析进行讲解】

接下来我们将主要针对以下内容进行介绍：

•混合高斯模型

• 光流

• 帧间差分

运动分析的定义：  在不需要人为干预 的情况下，综合利用计算机视觉、模式识别、图像处理、人工智能等诸多方面的知识对摄像机拍录的图像序列进行自动分析，实现对动态场景中人的定位、跟踪和识别， 并在此基础上分析和判断人的行为。

运动检测：将运动前景从图像序列中提取出来，也就是说将背景与运动前景分离开。

运动检测的重要性： 是目标跟踪、运动表述和行为理解等后续处理的基础。

运动检测的难点：受天气、光照、阴影等诸多外界因素以及背景物体内在因素的影响，图像中的背景也常常是动态变化的

两种总体思路：

1. 直接利用 前景 所特有的信息检测前景；

一些场景的背景有较大变化，而前景的一些特征变化不大。

2. 先得到 背景图象 ，然后将输入图象 减去 背景图像从而得到前景图象

一些场景的背景相对固定，而前景变化较大；

背景差法

原理：计算当前图像与背景图像的逐像素的灰度差，再通过设置阈值来确定运动前景区域。

已知背景的情况——均值图像：将若干背景图像求逐点的灰度均值（存在光照不同，灰度值不同）

 单高斯模型：对于每一个像素，用一个高斯分布来描述其在不同时刻的灰度分布情况的背景模型

背景 在图像序列中总是 最经常被观测到。

                                      

                                                                 高斯分布

效果图如下：

          

                 

 不足之处：背景往往不是绝对静止的，而是时常变化的！尤其对于室外场景。

混合高斯模型

与单高斯模型类似，混合高斯模型采用混合高斯分布（ 多个高斯模型加权和 ）来描述每个象素在不同时刻的灰度分布情况。

• 其假设依然是背景在图像序列中总是最经常被观测到。

                                 

 背景建模过程（仅针对单个像素）：

假设图像是100*100个像素，那就对应着100*100个高斯模型，每个高斯模型对应K个高斯模型。

1.初始化：用第一幅图像该点的像素值作为均值，给定一个较大的方差和较小的权值。

2.对该输入的灰度值与均值方差的不等式进行比较，若差距小，直接进行参数权值更新，不然就进入K值比较。

3.若当前的k小于K,则增加一个高斯模型，反之要用新的高斯模型代替优先级低的模型，这边考置信度来划分，不断重复。

优先级：

                                                             参数权值更新

  由于噪声的影响或前景物体的存在，某些像素值并不能代表背景，因此由这些像素值构造的高斯分布应该去掉， 即并不是K个高斯模型都会使用上。

如何去掉多余的高斯分布？

前面提到的假设：前景和噪声不会在同一位置太长时间，这样，前景和噪声对应的高斯模型的权值和优先级都比较小，因此可以将𝐾 个高斯分布按优先级由高到低排列，用如下策略选取前 𝐵 个分布作为背景模型：

                              

 其中𝑀为预设的阈值。（如果𝑀较小，则为单高斯模型）

前景检测 ：将待测图像的每一个像素点与该像素点对应的混合高斯模型的各个模型分别进行比较，若有 𝑧 − 𝜇 𝑗,𝑢𝑣 < 𝑎𝜍 （𝑎为一常数），则该点属于背景，否则属于前景。

光流法

  光流是空间运动物体在观测成像面上的像素运动的瞬时速度。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的运动。

运动场(motion field)： 一个运动物体在空间产生一个三维的速度场，运动前后空间对应点在图象上的投影形成一个二维运动场。

光流场(optical flow field) ：是指图像亮度模式的表观（或视在）运动，是二维矢量场。它包含的信息即是各像点的瞬时运动速度矢量信息。

为什么要研究光流呢？

  事实上，仅仅通过图像序列很难计算出物体的空间位置进而得到真实的运动场。而光流表达了像的变化，包含了目标一定的运动信息，通过计算光流场可以从图像中近似计算不能直接得到的运动场。

–1981年，Horn和Schunck创造性地将二维速度场与灰度相联系，引入 光流约束方程 ，得到光流计算的基本算法。

但是存在孔径问题，即方程数量不足。

基本的解决思路：添加其它的约束。

• 光流的五种计算方法：

– 基于梯度的方法

–基于匹配的方法

–基于能量的方法

–基于相位的方法

–神经动力学方法

基于梯度的方法——Lucas-Kanade方法

通常附加的约束是：假设光流场是局部平滑的。

Lucas-Kanade方法[3]的约束则更强一些：假设每个像素领域内的像素具有相对的速度。

计算方法如下，有兴趣的同学可以看看。

 

                     

 

• 光流法的优点

–直观的表述运动模式；

–不易受运动物体外表的干扰。

• 光流法的不足

–计算量比较大；

–易产生较大噪声

 帧间差分

  原理：在相邻两帧（也可以为多帧）间计算逐像素的灰度差，并通过设置阈值来确定对应运动前景的像素，进而得到运动前景区域。

双帧差分 

三帧差分 

帧间差分

• 优点 ：

–适用于动态变化的背景环境。

• 不足：

–较难准确检测运动速度过快的物体；

–较难准确检测运动速度过慢的物体；

–较难准确检测场景中同时存在的多个运动物体。

【受篇幅限制，这篇呈现了获取背景的方法，前景的获取将在下一篇进行陈述，不足之处敬请见谅】