ResoFilter: Fine-grained Synthetic Data Filtering for Large Language Models through Data-Parameter

本文是LLM系列文章,针对《ResoFilter: Fine-grained Synthetic Data Filtering for Large Language Models through Data-Parameter Resonance Analysis》的翻译。

ResoFilter:通过数据参数共振分析对大型语言模型进行细粒度综合数据滤波

摘要

大型语言模型(LLM)在各个领域都表现出了显著的有效性,利用GPT生成合成数据的数据增强方法变得越来越普遍。然而,增强数据的质量和效用仍然值得怀疑,目前的方法缺乏评估数据特征的明确指标。为了应对这些挑战,我们提出了ResoFilter,这是一种整合模型、数据和任务以优化数据集的新方法。ResoFilter利用微调过程来获取数据参数特征以进行数据选择,通过模型权重表示数据特征来提高可解释性。我们的实验表明,ResoFilter在数学任务中仅使用一半的数据即可实现与全面微调相当的结果,并在不同模型和领域表现出很强的泛化能力。该方法为构建合成数据集和评估高质量数据提供了有价值的见解,为增强数据增强技术和提高LLM的训练数据集质量提供了有前景的解决方案。为了可重复性,我们将在验收后发布我们的代码和数据。这项工作的源代码和实现细节可以在我们的GitHub存储库中公开获得(https://github.com/TAL-auroraX/ResoFilter)

1 引言

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值