21、多媒体内容中人类对象的行为建模

多媒体内容中人类对象的行为建模

1. 引言

多媒体内容分析在众多领域都至关重要，如信息检索、监控、机器人技术和自动化等。其主要目标是从多媒体内容中提取语义信息。近年来，图像和视频处理、音频信号处理、计算机视觉和机器学习的发展推动了该领域的进步。

多媒体内容分析通常基于特征提取、对象/事件检测和识别。常见的视觉特征包括颜色、直方图、边缘、形状、Haar-like特征、SIFT（尺度不变特征变换）和HOG（方向梯度直方图）。利用这些提取的特征，基于统计建模和机器学习方法的对象检测和识别作为中级分析操作进行，其结果可用于支持高级任务，如语义抽象、语义描述和语义查询。

人类对象在大多数多媒体内容分析应用中最为重要，因此本文主要关注人类行为建模，介绍两种新方法：人类运动变化检测和小人类群体运动建模。人类运动建模和运动变化检测在智能监控系统中是重要任务，但面临复杂场景、复杂运动行为和多变环境条件等挑战。现有的运动检测算法可分为基于模型的检测和基于签名的检测两类。此外，小人类群体行为分析也有其独特的挑战，如人员间的相互遮挡、群体规模变化和群体内/间的交互等。

2. 特征分类

特征选择在多媒体内容分析中至关重要。一方面，特征提取可将原始高维数据映射到低维特征空间，降低后续计算成本；另一方面，独特的特征集能捕捉视觉对象在空间和时间域的特征，对多媒体语义分析至关重要。

常见的用于人类对象检测和识别的特征有：
- SIFT特征 ：由Lowe在1999年提出，具有平移、尺度和旋转不变性。通过在图像的不同尺度和位置识别关键点，围绕关键点采样数组并进行变换，将数组划分为网格，计算每个网格中像素的梯