文章核心总结与创新点
主要内容
本文提出DATE-LM(Data Attribution Evaluation in Language Models),一款面向大型语言模型(LLMs)的数据归因评估基准套件。该基准以实际应用为导向,通过训练数据选择、毒性/偏见过滤、事实归因三大核心任务,系统评估数据归因方法的性能。DATE-LM提供统一模块化评估流程、预训练/微调模型检查点及公开排行榜,解决了现有LLM数据归因评估中可复现性差、计算成本高、缺乏全面应用驱动评估的问题。基于该基准的大规模实验表明,无单一数据归因方法在所有任务中占优,简单非归因基线有时能媲美甚至超越复杂归因方法,且方法性能对任务特定评估设计敏感。
创新点
- 首个LLM专用的统一应用驱动基准:聚焦数据归因在LLM中的实际应用场景,而非单纯理论评估,覆盖三大核心任务。
- 模块化高效评估框架:提供标准化流程和预训练模型检查点,降低评估门槛,减少重复计算,提升方法对比的公平性与可复现性。
- 针对性解决现有评估缺陷:在事实归因中通过半合成释义打破词汇重叠偏见,在毒性/偏见过滤中引入安全对齐干扰项增强鲁棒性评估。
- 公开社区协作平台:推出排行榜支持方法快速对比和社区贡献,为后续数据归因研究提供基础。
翻译部分(Markdown格式)
Abstract
数据归因方法量化训练数据对模型输出的影响,在LLM的各类研究与应用中愈发重要
订阅专栏 解锁全文
1325



被折叠的 条评论
为什么被折叠?



