11、基于潜低秩张量迁移学习的 RGB-D 动作识别方法

基于潜低秩张量迁移学习的 RGB-D 动作识别方法

1. 框架概述

在处理 RGB 和深度数据时，将其视为三阶张量，而整个数据集则看作四阶张量。源域中有 RGB - D 数据作为辅助数据，目标域中仅有单模态（RGB 或深度）数据，其性能会受辅助数据影响。
- 数据表示：RGB 和深度数据为三阶张量，数据集为四阶张量。
- 工作流程：
1. 对源数据库的两种模态使用跨模态正则化器，使 RGB 和深度通道的相关性能转移到目标域，助力发现目标/测试中的深度信息。
2. 利用潜低秩约束，从模态完整的源域恢复目标域的深度信息，弥补目标数据库中缺失的模态。

2. 预备知识

介绍了张量分解的基础理论：
- N 阶张量 ：多维数组 (X \in R^{I_1\times\cdots\times I_n\times\cdots\times I_N}) 被称为 N 阶张量，其中 (I_n) 是第 n 维的大小。例如，向量 (x \in R^{I_1}) 是一阶张量，矩阵 (X \in R^{I_1\times I_2}) 是二阶张量。
- Mode - n 展开 ：固定 N 阶张量 (X) 的 mode - n 向量可将其拉伸为矩阵 (X^{(n)} \in R^{I_n\times(I_1\times I_2\cdots I_{n - 1}\times I_{n + 1}\cdots I_N)})。
- Tucker 分解 ：给定张量 (X \in R^{I_1\times\cdots\times I_N}) 和