12、跨模态检索与动作检测技术解析

跨模态检索与动作检测技术解析

跨模态检索的域不变子空间学习

在跨模态检索领域,为解决不同模态数据间的匹配问题,提出了域不变子空间学习(DISL)方法。

核心思想

受子空间学习和域适应思想的启发,利用线性预测函数寻找一个子空间,使同一类中不同模态的样本相互靠近。通过将原始特征投影到低维子空间,最小化模态间的差异,探索跨模态的不变结构。

目标函数

目标函数的形式如下:
[
L(w_v, w_t, b_v, b_t, m_v, m_t) = |X_vm_vw_v + b_v - Y| + \alpha_v|w_v|^2 + |X_tm_tw_t + b_t - Y| + \alpha_t|w_t|^2 + \gamma tr(A^{\top}LA)
]
约束条件为:
[
m_v^{\top}m_v = I, m_t^{\top}m_t = I
]
其中,(m_v, m_t) 是特征映射矩阵,(w_v, w_t) 和 (b_v, b_t) 分别是模型的权重和偏置参数。为使每个映射基相互不相关,使用正交条件约束映射矩阵,(I) 是单位矩阵。同时,对模型参数 (w_v, w_t) 添加正则化惩罚项以减小分类误差,(\alpha_v, \alpha_t) 是权衡参数。

为了衡量不同模态之间的内部和外部相似性,引入了 (tr(A^{\top}LA)) 项,其中 (A = \begin{bmatrix}X_vm_v \ X_tm_t\end{bmatrix}),(L = D - J)。(J) 是一个 (2n \times 2n) 维的矩阵,元素为 0

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值