When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale

828 篇文章

已下架不支持订阅

本文研究了数据剪枝对大规模语言模型(LLM)预训练的影响,发现通过简单的困惑度量选择数据子集,即使大幅减少训练数据,也能保持甚至提高模型性能。对比复杂度更高的评估方法,困惑度在数据修剪中展现出优越性。研究显示,仅使用原始数据集30%的困惑度选定数据,模型性能可提升1.5%,并随着模型规模扩大,这一趋势保持一致。这为自动管理和优化高质量语料库提供了新思路。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列的文章,针对《When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale》的翻译。

当少即是多:研究大规模预训练LLM的数据修剪

摘要

近年来,大量的文本数据对大型语言模型(LLM)的发展做出了重大贡献。这些数据通常是通过抓取互联网来获取的,从而产生由嘈杂的网络文本组成的预训练数据集。到目前为止,将这些数据集精简为更高质量的子集的努力依赖于手工制作的启发式算法,这些启发式算法被编码为基于规则的过滤器。在这项工作中,我们从更广泛的角度出发,探索了可扩展的数据质量估计,可用于系统地测量预训练数据的质量。我们在困惑的简单数据质量估计器的规模上进行了严格的比较,以及误差L2范数和记忆的更复杂和计算密集的估计。这些度量用于对预训练语料库进行排序和修剪,然后我们比较在这些修剪后的数据集上训练的LLM。令人惊讶的是,我们发现简单的困惑技术优于我们计算成本更高的评分方法。在对原始训练数据集的30%进行训练的同时,我们在无修剪基线的基础上进行了改进。我们的工作为自动管理高质量语料库的未探索策略奠定了基础,并表明在保持性能的同时,可以删除大多数预训练数据。

1 引言

2 方法

3 实验

4 结果

已下架不支持订阅

研究双层优化在学习和视觉中的应用,是为了改善学习算法和视觉系统的性能。在学习和视觉任务中,我们通常面临两个层面的优化问题。 第一层优化问题涉及到学习算法的优化,即如何通过合适的学习算法来获得最佳的模型参数。学习算法的优化过程通常涉及到定义损失函数和选择合适的优化方法。然而,常规的优化方法在高维问题中可能会面临挑战,导致在学习过程中陷入局部最优解。因此,研究者们开始探索使用双层优化方法来改进学习算法的性能。双层优化方法通过引入内部优化循环来进一步更新学习算法中的超参数,以改善模型性能。这种方法可以更好地探索参数空间,寻找更优的模型参数,从而提高学习算法的效果。 第二层优化问题涉及到视觉任务的优化,即如何通过图像处理和计算机视觉算法来解决具体的视觉问题。视觉任务可以包括目标检测、图像分割、姿态估计等多个方面。传统的视觉算法通常是通过定义特定的目标函数并使用迭代方法来进行优化。然而,这种方法可能会受到参数选择和初始条件的限制。因此,研究者们开始研究使用双层优化技术来提高视觉任务的性能。双层优化方法通过引入内部优化循环来逐步调整算法超参数和模型参数,以更好地适应特定的视觉任务。 总之,研究双层优化在学习和视觉中的应用,旨在改善学习算法和视觉系统的性能。这种方法可以通过优化学习算法的参数和模型参数,以及优化视觉任务的目标函数和算法参数,来改进学习和视觉的效果。这将有助于在学习和视觉领域取得更好的结果和应用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值