阅读笔记-Scaling Laws for Forgetting When Fine-Tuning Large Language Models

  1. 研究背景:
    大型语言模型(LLMs)在自然语言处理领域中扮演着越来越重要的角色,它们通常在大量语言数据上进行预训练,以便在特定下游任务上进行微调。然而,微调过程中存在一个被称为“灾难性遗忘”的问题,即模型在适应新任务时可能会忘记之前学到的知识。尽管有研究关注LLMs在微调时的遗忘现象,但关于常见微调方法如何影响遗忘的了解仍然有限。
    在这里插入图片描述

  2. 过去方案和缺点:
    以往的研究主要集中在如何减少遗忘,例如通过正则化方法、集成学习和参数隔离方法来缓解遗忘。然而,这些方法在实际应用中可能存在局限性,例如在微调大型模型时可能需要大量的计算资源。此外,过去的研究没有充分考虑微调过程中参数数量和训练步骤对遗忘的具体影响。

  3. 本文方案和步骤:
    本文研究了在微调预训练的大型语言模型时遗忘的问题,并量化了这一现象。作者使用了参数高效的微调(PEFT)策略,如低秩适配器(LoRA),并发现这些策略仍然会受到灾难性遗忘的影响。研究者通过LoRA对Llama 2 7B聊天模型进行了微调,并评估了遗忘作为预训练模型预测变化的度量。他们还提出了遗忘与微调损失之间的强逆线性关系,并获得了遗忘随着微调参数数量和更新步骤的增加而增加的精确缩放定律。

  4. 本文实验和性能:
    实验结果表明,遗忘与微调损失之间存在强烈的预测关系,且遗忘和微调损失都与微调参数数量和训练步骤呈幂律关系。研究还揭示了遗忘对知识、推理以及训练到Llama 2 7B聊天模型中的安全防护措施的影响。实验结果表明,通过提前停止训练或改变微调参数数量无法避免遗忘。这些发现为未来研究提供了一个重要的安全关键方向,即评估和发展减轻遗忘的微调方案。

阅读总结报告:
本文通过实证研究,揭示了在微调大型语言模型时遗忘现象的普遍性和严重性。作者不仅量化了遗忘,还提出了遗忘与微调损失、参数数量和训练步骤之间的关系。这些发现对于理解微调过程中的知

### 神经网络的扩展法则或缩放定律 神经网络的扩展法则主要涉及如何随着数据量、模型大小以及计算资源的变化来调整模型性能。这些原则对于构建高效的大规模深度学习系统至关重要。 #### 数据集规模的影响 增加训练数据通常会提高模型的表现,直到达到饱和点为止。当拥有更多高质量的数据时,可以更充分地利用复杂的深层架构而不会过拟合[^1]。然而,在实际应用中,获取大量标注良好的数据可能是一个挑战。 #### 模型容量的增长 通过增大网络层数(即更深)、每层中的节点数(即更宽),或者两者兼有,能够增强表达能力并捕捉更加复杂的关系模式。但是需要注意的是,过度增长可能导致过拟合现象的发生;因此需要适当控制参数数量,并采用正则化方法如Dropout等技术加以缓解[^2]。 #### 计算资源的有效分配 为了支持更大规模的模型训练过程,往往还需要相应的硬件设施升级,比如GPU集群的支持。有效的分布式训练策略可以帮助加速收敛速度,同时保持较高的精度水平。此外,优化算法的选择也会影响整体效率,例如Adam相比SGD可以在某些情况下提供更快的学习速率和更好的泛化效果[^3]。 ```python import tensorflow as tf from tensorflow.keras import layers, models def create_scaled_model(input_shape=(None,), num_classes=10): model = models.Sequential() # 增加卷积层的数量以加深网络结构 for i in range(8): model.add(layers.Conv2D(filters=64 * (i+1), kernel_size=(3, 3), activation='relu', padding="same")) # 扩展全连接层宽度 model.add(layers.Flatten()) model.add(layers.Dense(units=512*8, activation='relu')) # 输出分类器部分不变 model.add(layers.Dense(num_classes)) return model ``` 此代码片段展示了创建一个具有较大容量的CNN模型的方法之一:逐步增加卷积层的数量及其滤波器数目,从而实现对输入特征空间更为细致入微的理解;同时也显著增加了最终全连接层之前的单元个数,以便更好地处理抽象级别更高的表示形式。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值