35、多模态学习：概念、分类与编程示例

多模态学习：概念、分类与编程示例

1. 多模态学习概述

在机器学习领域，不同类型的输入数据，如自然语言文本、图像数据以及代表物品价格的数值数据等，被称为不同的模态。多模态机器学习（Multimodal ML）就是构建使用或关联多种模态数据的模型的领域。

1.1 MNIST 数据异常值检测

在一个编程示例中，通过以下代码找出 MNIST 测试集中误差最大的样本并展示：

index = error.argmax() 
plt.subplot(1, 2, 2) 
plt.imshow(test_images[index], cmap=plt.get_cmap('gray')) 
plt.show()

观察结果图像，发现它们确实是常规数据中的异常值。值得注意的是，在这个示例中，虽然 MNIST 和 Fashion MNIST 是有标签的数据集，但我们既没有使用标签，也没有使用 Fashion MNIST 数据集来训练模型，仅使用了 MNIST 训练图像来区分 MNIST 和 Fashion MNIST，并在 MNIST 测试集中找出异常值。

1.2 多模态学习的分类

Baltrušaitis、Ahuja 和 Morency（2017）将多模态学习分为五个主题：表示（Representation）、融合（Fusion）、翻译（Translation）、对齐（Alignment）和协同学习（Co - Learning）。以下是对这些主题的详细介绍：

1.2.1 表示（Representation）