6、对抗深度学习中的迁移学习与领域自适应

对抗深度学习中的迁移学习与领域自适应

1. 对抗深度学习基础

在对抗深度学习中，会在编码空间生成对抗数据，即 Enc(Xtrain) + αbest ，然后将其解码为 Dec(Enc(Xtrain) + αbest) 与原始的 CNN 分类器（CNNo）进行评估。在收敛时，游戏会为每一对正负样本推断出最优的 α∗，将所有的 α∗ 组合起来对 CNNo 进行多标签对抗攻击，得到被操纵的分类器 CNNmanipulated（简称 CNNm）。最后，CNNm 会被重新训练成安全分类器 CNNsecure（简称 CNNs），该分类器对多标签对抗攻击具有鲁棒性。

2. 迁移学习与领域自适应概述

在机器学习中，迁移学习是将从一个数据分析问题中获得的可学习知识应用到另一个问题上。存储、重用和转移先前数据集和任务中的信息和知识，有可能提高新机器学习问题（如涉及强化学习代理的问题）的样本效率。迁移学习是多任务学习的一种形式，可用于监督学习，以改善对抗机器学习应用（如垃圾邮件过滤和多标准分类器）中的多标签分类。

领域自适应是迁移学习的一个领域，适用于垃圾邮件过滤。它使用源分布为与源分布相关但不同的目标分布学习一个性能良好的模型。例如，源分布可以是源用户收到的垃圾邮件，领域自适应旨在为不同的目标用户对垃圾邮件进行建模。在领域自适应中，源数据和目标数据的特征空间相同，但数据分布不同。而迁移学习中源数据的特征空间可以与目标数据相同，也可以不同。

领域自适应可用于建模训练数据和机器学习算法中的分布偏移，并验证对抗学习算法相应的分布鲁棒性。现代机器学习社区在人工智能的实际应用中有几种在训练数据集和验证数据集之间实现领域