训练大模型，什么样的数据才算“好”？

特定领域与特定任务

有效微调的核心在于数据集与LLM将要运行的特定领域保持一致。

领域指的是特定的知识领域或范围，例如医学、法律、金融或技术。每个领域都有其独特的术语、行话、文体习惯和语境细微差别。我们必须在训练/微调数据集中找到这些特征。

例如，在医学领域，诸如“高血压”、“心肌梗死”和“抗生素耐药性”等术语是很常见的。在一个富含此类术语的数据集上进行微调的模型将生成准确且在医学领域上下文中适当的文本。

除了领域对齐之外，数据集还必须向LLM展示其预期执行的特定任务。任务范围可以从问答、摘要等。

翻译、情感分析，到更专业的功能，如法律文件分类或代码生成。

考虑一个用于法律合同分析的模型。数据集应包括各种合同、条款和法律注释，以帮助模型学习识别关键要素、解释法律语言，甚至检测合同中潜在的问题。如果没有特定于任务的数据，该模型可能无法获得有效执行所需的技能。

此外，上下文相关性确保数据集中的示例不仅是特定于领域的，而且代表了模型将被部署在其中的上下文。这包括沟通风格（正式与非正式）、文化参考以及模型将遇到的典型场景。

对于为全球受众设计的客户服务聊天机器人，数据集应包含反映不同客户互动、文化细微差别以及必要时提供多语言支持的对话。这使得模型能够更胜任地处理现实世界的情况。

质量胜于数量

机器