PPDM原文阅读笔记

一、概述

传统的人机交互（HOI）检测有两个阶段，第一个阶段先找出人物和物体，第二个阶段对每个人物和物体进行分类。而PPDM提出了一种单阶段的HOI检测方法，从而使得不管是准确率还是速度都得到了大大的提高。

在PPDM中，HOI被定义为了一个三元组<人点、交互点、物体点>，人点和物体点都是检测盒的中心点。PPDM有两个分支，一个是点检测分支，一个是点匹配分支。点检测分支主要工作是预测三个点（人点、物体点、交互点），点匹配分支主要工作是预测了从交互点到其对应的人点和物体点的两个位移。来自同一个交互点的人点和物体点就是匹配的。

此外PPDM还提供了一个更加应用于实际的数据集HOI-A。

下图为PPDM的速度和准确率的优势图

PPDM的贡献有：
（1）将HOI检测任务重构为点检测和点匹配两个分支问题，比之前最好的更快更准，实现了实时
（3）构建了一个面向应用的大规模数据集HOI-A

二、详细说明

1.传统HOI检测简介

传统HOI检测方法由两个阶段组成。

第一个阶段是人-物目标产生阶段，用一个预训练好的模型来定位人和物，然后将过滤后的M个人盒和N个物盒成对接合，生成M×N个人、物对。

第二个阶段是目标分类，预测每对人、物对的交互动作（interactions）。

其缺点就是：
（1）就是两个阶段是顺序执行并且相互分离。
（2）第二阶段的结果完全依靠于第一个阶段。
（3）而且每个人/物目标都是独立生成的，没有考虑过在第二阶段把这两个目标组成一个三元组。
（4）由于（3）导致生成的人-物目标低质量，然后又因为第二阶段对所有的人-物对都扫描，就导致大量的无用计算。

2.PPDM简介

（1）提出了新的一阶段HOI监测框架

提出一个并行的HOI检测框架，将HOI检测定义为一个点检测和匹配问题。

首先，把传统HOI提到的人/物体盒用盒子的中心点及盒子的长宽来表示。然后定义了交互点为人盒中心点和物体盒中心点的中点。最后，为了匹配每个交互点和对应的人、物体点，定义了从交互点到对应的人点和物体点的两个位移。

在这些定义基础上，设计了一种新的单阶段的并行点检测和匹配的框架，将HOI检测的复杂任务分解成了两个更简单的并行任务。

第一个分支（任务）是点检测，它估计三个中心点（交互点、人点、物点）以及相应的大小（宽度和高度）和两
个局部偏移量。交互点为人点和物体点提供了上下文信息和正则化，也就是说估计交互点隐式地增强了对人类和物体的检测。

第二个分支（任务）是点匹