c_cpp_csharp的专栏

本文针对大型语言模型（LLMs）在协作训练场景中（数据无法直接共享）的高质量数据选择问题，提出了一种名为CLUES的方法。核心思路是基于训练动态（training dynamics）的影响来筛选高质量数据，即高质量数据与锚定数据集（anchor dataset）的训练动态更相似。本地训练动态评分：客户端计算私有数据中每个样本的梯度与公共验证集梯度的内积累积迹，作为数据质量分数；全局锚定阈值筛选。

监督微调（SFT）在使大型语言模型（LLM）适应特定领域或任务方面起着至关重要的作用。然而，正如实证实验所证明的那样，在实际应用中，收集的数据不可避免地包含噪声，这对下游任务的模型性能提出了重大挑战。因此，迫切需要一个抗噪声的SFT框架来增强下游任务中的模型能力。为了应对这一挑战，我们引入了一个鲁棒的SFT框架（ROBUSFT），该框架对下游任务数据进行噪声检测和重新标记。对于噪声识别，我们的方法采用具有推理增强模型的多专家协作系统来实现卓越的噪声检测。

大型语言模型（LLM）在各个领域都表现出了显著的有效性，利用GPT生成合成数据的数据增强方法变得越来越普遍。然而，增强数据的质量和效用仍然值得怀疑，目前的方法缺乏评估数据特征的明确指标。为了应对这些挑战，我们提出了ResoFilter，这是一种整合模型、数据和任务以优化数据集的新方法。ResoFilter利用微调过程来获取数据参数特征以进行数据选择，通过模型权重表示数据特征来提高可解释性。