【论文笔记】基础模型与联邦学习的协同：综述

---

Synergizing Foundation Models and Federated Learning: A Survey

Abstract

• Foundation Models的发展对很多行业已经产生了很多影响，Foundation Models包括
  • 大语言模型 Large Language Model
  • Vision Transformers
  • 多通道模型Multimodal models
• 在预训练阶段，Foundation Models对于大容量数据的需求是很大的
• 相比一般的Foundation Models，特定领域的Foundation Models需要专有的数据，但是由于隐私问题，在可用数据量问题方面提出了实际挑战

1. Introduction

1.1 大模型遇到的窘境

• 通用的基础模型可以在互联网上开放地利用数据来进行训练，但是特定领域的FM需要专有数据
• 在法律、医疗保健和金融范围内的数据隐私是尤其敏感的
• 并且数据通常构成了企业的关键资产，所以数据并不能广泛传播
• 因此，在尊重数据隐私和解锁特定领域的大模型的潜力的前提下，迫切需要新的策略来处理数据的可用性并促进模型训练

1.2 解决目前窘境的方法——联邦学习

• 联邦学习在跨分散客户端的协作模型训练中，不需要共享原始数据
• 联邦学习在服务器和分散的客户端之间进行周期性交互，交换可训练的模型参数，不需要私有客户端数据
• 通过以上两种手段，联邦学习可以有效的进行隐私保护

1.3 文献的目的

• 现阶段中，对于基础模型和联邦学习之间协同作用只处于认识阶段，对于这种作用的挑战，方法和方向还缺乏全面理解
• 这篇文献的目标是弥补对于这份作用的全面理解的空缺，推进隐私感知和特定领域基础模型的发展

1.4 文献主要内容

1. 第一节 引言
2. 第二节FM和FL的背景
3. 第三节 FM&FL的动机和挑战
4. 第四节 代表性技术
5. 第五节 跨领域的应用
6. 第六节 未来方向

2. Background

2.1 Foundation Models

2.1.1 基础模型概念

• 一个基础模型在经过预训练阶段之后，通过微调之后可以适用于官方你的任务
• 基础模型在人工智能的各个领域中引发了重大的转变，例如
  • 自然语言处理
    • 大型语言某模型
  • 计算机视觉
  • 语言和声学

2.1.2 基础模型的

2.2 Federated Learning

2.2.1 联邦学习概念

• 联邦学习是一种学习范式，这种学习范式是一组客户端利用其私有的数据集，在中央服务器的协调下协同学习共享的全局模型
• 联邦学习的一般目标是找到使以下分布式优化目标最小化的参数集 m i n θ F ( θ ) : = 1 K ∑ k ∈ [ K ] F k ( θ ) min_{\theta}F(\theta):=\frac{1}{K}\sum_{k\in [K]}F_{k}(\theta) min<