图像分析学习笔记（8）：智能序列图像分析

序列图像分析的概念

• 序列图像定义：一个传感器采集的，随时间变化的一组图像
• 多目图像：多个传感器采集的一组图像（可能是随时间变化的）
• 图像序列（视频）分析：利用计算机视觉技术从图像序列中检测运动并对运动物体其进行运动分析、跟踪或识别，估计运动物体的三维运动及结构参数。
• 序列图像分析：视频语义-视频目标检测l 视频目标跟踪与分割l 视频行为识别；视频几何：视觉SLAM -估计三维运动l 估计结构参数
• 应用领域：计算机视觉：机器人导航，无人驾驶飞机，智能监视；目标跟踪：军事侦察、地面和空中的交通管制；工业监视：工业自动化控制；视频压缩
• 不同场合对运动信息检测与估计的要求：
  • 计算机视觉 真实运动估计
  • 机器人导航，无人驾驶飞机，智能监视
  • 视频压缩 率失真最优运动估计 最大限度地减小视频数据量估计的结果不一定是真实的运动参数 可视电话、流媒体、DVD、HDTV、IPTV等
• 序列图像分析分类
  • 根据摄像机和目标物体的运动状态
    • 摄像机不动物体不动（SCSO）（多视角三维重建）
    • 摄像机不动物体动（SCMO） （视频监控）
    • 摄像机动物体不动（MCSO） （视觉导航）
    • 摄像机动物体动（MCMO） （运动目标检测跟踪）
  • 根据观察对象
    • 单目标 多目标
  • 根据摄像机对象
    • 单摄像机 多摄像机

运动信息检测（底层、像素级）

• 运动信息检测与估计需要研究的基本问题：
  • 估计运动前后相邻时刻两幅图像上对应点坐标之间的差值，即运动矢量。
  • 特征对应：运动物体上的特征与其在二维图像平面上的投
    影坐标的对应关系
• 二维运动是指三维运动在图像平面上的透视或正交投影，导致二维运动的因素有：物体的三维运动：平移 双线性 仿射 透视投影；摄像机的运动：摄像机变焦 摄像机绕Z轴旋转 和照明：光流并不总是与真实运动场相同
• 二维运动矢量：两个给定帧 $f(x，y,t_1)$和$f(x，y,t_2$