12、跨模态检索与动作检测技术解析

跨模态检索与动作检测技术解析

跨模态检索的域不变子空间学习

在跨模态检索领域，为解决不同模态数据间的匹配问题，提出了域不变子空间学习（DISL）方法。

核心思想

受子空间学习和域适应思想的启发，利用线性预测函数寻找一个子空间，使同一类中不同模态的样本相互靠近。通过将原始特征投影到低维子空间，最小化模态间的差异，探索跨模态的不变结构。

目标函数

目标函数的形式如下：
[
L(w_v, w_t, b_v, b_t, m_v, m_t) = |X_vm_vw_v + b_v - Y| + \alpha_v|w_v|^2 + |X_tm_tw_t + b_t - Y| + \alpha_t|w_t|^2 + \gamma tr(A^{\top}LA)
]
约束条件为：
[
m_v^{\top}m_v = I, m_t^{\top}m_t = I
]
其中，(m_v, m_t) 是特征映射矩阵，(w_v, w_t) 和 (b_v, b_t) 分别是模型的权重和偏置参数。为使每个映射基相互不相关，使用正交条件约束映射矩阵，(I) 是单位矩阵。同时，对模型参数 (w_v, w_t) 添加正则化惩罚项以减小分类误差，(\alpha_v, \alpha_t) 是权衡参数。

为了衡量不同模态之间的内部和外部相似性，引入了 (tr(A^{\top}LA)) 项，其中 (A = \begin{bmatrix}X_vm_v \ X_tm_t\end{bmatrix})，(L = D - J)。(J) 是一个 (2n \times 2n) 维的矩阵，元素为 0