3、人类活动识别：挑战与解决方案

人类活动识别：挑战与解决方案

1. 引言

在计算机视觉领域，识别人类活动是一个重要的基础问题，也是实现场景自动理解的关键步骤。与单人动作相比，人类交互作为现实世界中典型的人类活动，受到了广泛关注。

以往的研究表明，整合来自物体识别、物体定位和人体姿态估计等各种感知任务的共现信息，有助于消除视觉上相似交互的歧义，促进识别任务。然而，在一些具有挑战性的情况下，仍然存在错误分类的问题。这意味着共现关系在处理包含较大变化的交互时，表达能力不足。例如，在“拳击”交互中，防守者可以执行各种语义动作来保护自己，如后退、蹲下甚至反击。这就需要我们定义所有可能的动作共现关系，并为每个共现情况提供足够的训练数据，这在计算上是昂贵的。

此外，交互视频通常包含多人之间的密切身体接触交互，如“拥抱”和“打架”。这给理解这类交互视频带来了两大挑战：身体部位遮挡和特征分配的歧义（在密切交互中，像兴趣点这样的特征很难唯一地分配给特定的人）。现有的交互识别方法未能有效解决这些问题。一些方法使用跟踪器/检测器粗略提取人物，并假设交互不包含密切身体接触，这在密切交互中的性能有限；另一些方法将交互人物视为一个整体，避免了特征分配问题，但没有利用交互的内在丰富上下文。兴趣点在传统单人动作识别方法中主要与前景移动的人体相关，但在交互中，由于多人存在，很难准确地将兴趣点分配给单个人，导致人物的动作表示极其嘈杂，从而降低了识别性能。

为了解决上述两个挑战，本文提出了两种方法。第一种方法使用语义描述（交互式短语）来更好地描述复杂的交互；第二种方法学习有区分性的时空补丁，以更好地分离交互的人，为交互识别提供更干净的特征。

2. 方法一：学习用于交互识别的语义描述

人类