27、用于广义零样本学习的跨模态 N 对网络

用于广义零样本学习的跨模态 N 对网络

在机器学习领域，广义零样本学习（GZSL）是一个具有挑战性的任务，旨在识别训练数据中未出现过的类别。为了解决这一问题，提出了跨模态 N 对网络（CMNPN），下面将详细介绍其原理、实验及效果。

1. 模型架构

1.1 问题定义

假设我们有一个训练集 ${x_i, y_i, a_i} {i = 1}^{N}$，其中 $x_i \in X_S \subset R^D$ 是第 $i$ 个样本的 $D$ 维视觉表示，$a_i \in A_S$ 和 $y_i \in S$ 分别是 $x_i$ 对应的语义原型和独热标签。$A_S = {a_1, \ldots, a_k}$ 和 $S = {y_1, \ldots, y_k}$ 表示 $k$ 个已见类别的语义表示和标签集合。对于 $l$ 个未见类别，$A_U = {a {k + 1}, \ldots, a_{k + l}}$ 和 $U = {y_{k + 1}, \ldots, y_{k + l}}$ 分别表示语义特征和标签集合，$X_U$ 是未见实例。

传统零样本学习（TZSL）的目标是通过其语义特征 $A_S$ 预测测试实例 $x_t \in R^D$ 的未见类标签 $y_t \in U$，而广义零样本学习（GZSL）旨在从 $T = S \cup U$ 中预测其标签。注意，已见类集合 $S$ 和未见类集合 $U$ 是不相交的，即 $S \cap U = \varnothing$。

1.2 CMNPN 框架

CMNPN 框架包含两个模块：嵌入网络和深度度量网络，深度度量网络又可分为视觉模态 N 对网络（VMNPN