论文阅读：Action recognition for human-marionette interaction.

该论文在ACM MM 2012上获最佳论文提名。

摘要

作者提出了基于人体动作识别方法的人类-木偶交互系统，并以此开发了交互艺术木偶戏和模仿木偶游戏这两个应用。
交互艺术木偶戏：木偶模仿人类的动作，然后人再模仿木偶的动作。该木偶的制作涉及到了动作识别与木偶的控制系统，其中前一个方面是该文章重点。作者将开发出的智能木偶称为i-marionette。作者在该部分还叙述了木偶戏的艺术价值，比如反映了现实世界与虚拟世界的关联啥的（反正没有艺术细胞的我是没看懂）。因为之前的木偶戏都是人来手动控制木偶，所以这个工作是一个突破性的工作。
模仿木偶游戏：智能木偶i-marionette做一个动作，之后人来模仿木偶的动作。完成后动作识别系统会给出一个分值，代表刚才的人模仿木偶的相似程度。

1 引言

经典木偶戏：木偶完全由人工控制，人扮演控制者，木偶只能扮演被控者。
交互艺术木偶戏：木偶通过动作识别算法自动模仿人的动作，人也会模仿木偶的动作，便产生了机器与人互相影响的的艺术。作者原文说的是：人类创造技术，技术创造木偶，木偶再影响人类。

模仿木偶游戏：同样依托于人体动作识别算法。最后系统给模仿者一个打分，分数越高代表模仿者模仿的越像。作者另外提到：人类创造了游戏，人类玩游戏随后游戏影响人类。最终，游戏控制人类（无法理解，不敢恭维）。
识别算法：提出了Action Trait Code (ATC)算法来实现人体动作分类。该方法包含Microsoft Kinect 传感器 并且通过Kinect SDK获得人体3D关节点。ATC通过从每个身体部位的平均速率推导出的一系列特定的速率来代表一个特定的动作。之后基于ATC的分类结果，应用一个有效的图模型学习和识别人体动作。
为了测试该算法的速度，作者在自己收集了一个数据集，该数据集由以Chinese Liyuan dance为主题的6个视频构成。测试结果表明作者的算法达到了实时性的程度。

2 相关工作

木偶系统领域：
Murphey提出了一种运动描述语言(MDLp) 来encode木偶的动作；Sillam and Luciani创造了一种由钢琴的琴键来控制木偶动作的一套物理模型。
关于面向舞蹈的电子自动木偶领域：

如图3所示这两种"模仿人"的机器人其实是通过预先设定的实现固定动作的程序来实现的。
人体动作识别和分类算法领域：
之前的一些算法实现了从视频或者图像识别人体动作，但是只能识别横向运动；Sung提出了一种使用3D骨架数据的分层最大熵马尔可夫模型（MEMM）以在非结构化环境中对非结构化人类活动进行人类检测和识别；Raptis提出了一种对舞蹈姿态进行实时分类的系统，由设计好的骨骼表示，级联分类器和一个基于动态时间扭曲的距离度量构成；Jenkins 提出了一种基于机器视觉进行姿态分类和动作识别的方法；Theodoridis在机器人系统中实现了识别攻击性动作的功能。

3 人体动作识别

作者将人体动作理解分为两个方面：一是通过概率模型来实现经典的动作识别任务；二是基于量化人体运动来实现动作分类任务。

3.1 动作识别Overview

整个流程包括三个方面：预处理，动作分类和动作识别。

预处理：通过Kinect SDK将输入的视频序列转化为人体3D关节点序列。
动作分类：通过ATC[1]来实现人体动作分类。ATC通过从每个身体部位的平均速率推导出的一系列特定的速率来代表一个特定的动作。