56、人类活动识别的新型混合架构

人类活动识别的新型混合架构

在人类活动识别领域，准确识别日常活动（ADL）对于医疗保健和机器人等应用至关重要。为了实现更高效、准确的活动识别，我们提出了一种新的混合架构，下面将详细介绍相关内容。

1. 特征与动作类型的相关性

ADL包含多种不同类型的动作，如姿势相似的动作（堆叠和拆堆物体、搓手和鼓掌）、低运动的动作（打字、在沙发上放松）以及具有身体动态时间演变的动作（行走、摔倒）。为了优化动作识别，需要建立特征性质与待建模动作类别之间的适当关系。在ADL中，主要使用以下三种视觉线索对应的特征：
- 外观特征 ：通过卷积神经网络对动作视频的空间布局进行建模。
- 短期运动特征 ：通常通过光流计算瞬时运动，或基于密集轨迹中的短期轨迹片段来计算。
- 基于姿势的运动特征 ：从循环神经网络中获取，用于建模3D人体动态的时间演变。

为了说明外观特征在动作识别中的重要性，我们给出了以下表格：
| 动作 | 特征数量 | D（外观准确率 - 运动准确率） |
| — | — | — |
| 在沙发上放松 | 1346 | +100% |
| 在电脑前工作 | 1356 | +50% |
| 静止 | 1510 | +75% |
| 在沙发上交谈 | 2060 | +50% |
| 喝水 | 3079 | -50% |
| 烹饪（切碎） | 4448 | 0% |
| 烹饪（搅拌） | 4961 | 0% |
| 刷牙 | 5527 | -25% | </