Federated Evaluation of Large Language Models on Downstream Tasks with Collective Wisdom

本文是LLM系列文章，针对《FedEval-LLM: Federated Evaluation of Large Language Models on Downstream Tasks with Collective Wisdom》的翻译。

摘要

联邦学习（FL）已成为大型语言模型（LLM）协作训练的一种有前景的解决方案。然而，将LLMs整合到FL中带来了新的挑战，特别是在LLMs的评估方面。传统的评估方法依赖于标记的测试集和基于相似性的指标，只覆盖了可接受答案的一个子集，因此无法准确反映LLM在生成任务上的性能。同时，尽管利用先进LLM的自动评估方法具有潜力，但由于需要将数据传输到外部服务器，它们面临着数据泄露的关键风险，并且由于缺乏领域知识，下游任务的性能也不是最优的。为了解决这些问题，我们提出了一个名为FedEval LLM的大型语言模型联合评估框架，该框架在不依赖标记测试集和外部工具的情况下，为下游任务的LLM提供可靠的性能测量，从而确保强大的隐私保护能力。FedEval LLM利用参与者作为裁判的个性化LLM联盟来提供领域知识和集体评估能力，从而与各自的下游任务保持一致，并减轻与单个裁判相关的不确定性和偏见。实验结果表明，个性化评估模型对下游任务的评估能力有了显著提高。当应用于FL时，这些评估模型在精心策划的测试集上与人类偏好和RougeL分数表现出很强的一致性。FedEval LLM有效地克服了传统指标的局限性和对外部服务的依赖，使其成为协作培训场景中LLM评估的有前景的框架。

1 引言

2 相关工作

3 实验

4 讨论

5 结论

在这项工作中，我们提出了一个联邦评估框架FedEval LLM，它可以在保护本地数据隐私的同时，对LLM在下