大模型(LLM)微调并不复杂，数据才是关键：3个实例详解数据准备

本文链接：https://blog.youkuaiyun.com/bagell/article/details/144419679

今天咱们聊聊一个听起来很高大上的词——微调（Fine-Tuning）。听说过吗？别担心，今天我们不打算深挖那些复杂的技术细节，而是要告诉你们一个简单的事实：微调其实一点都不复杂，真正的关键在于——数据！💡

在这篇文章里，我们不仅会深入浅出地介绍什么是微调，还会通过三个具体的实例，教你们如何准备高质量的数据集，让你们的模型表现出色。准备好了吗？让我们一起开始吧！

1. 什么是微调？

微调（Fine-tuning）是一种通过调整预训练模型，使其更好地适应特定任务的技术。它是迁移学习（Transfer Learning）的一种形式，在这一过程中，预训练模型的知识被重新利用并进一步调整，以满足新的数据需求。微调的核心在于利用现有的预训练模型，并通过新的数据调整权重，使其更好地执行目标任务。

案例分析：一个成功的微调案例是Athene-V2-Chat-72B，它基于排名19的Qwen-2.5-72B-Instruct 微调，最终在Chatbot Arena 排名第10，并在聊天、数学和编程任务中表现优异。

2. RAG 和微调有什么区别？

RAG（Retrieval-Augmented Generation）与微调是两种不同的技术，各自针对不同的需求：

微调：

调整模型参数以适应新任务，适用于领域特定的应用。
需要高质量、充足的标注数据。

RAG：

结合检索器与生成器，动态从知识库中获取信息并生成回答。
适用于需要实时或广泛背景知识的任务。

适用场景：

需要实时新闻摘要的任务：选择RAG。
开发特定领域（如金融）的深度理解模型：选择微调。

3. 微调的基本步骤是什么？

选择预训练模型：根据任务选择合适的预训练模型。例如，HuggingFace 提供的模型库分类明确，便于匹配任务需求。
准备数据集：清洗数据并将其格式化为模型所需的形式，如 JSONL 格式。确保数据集包含训练和验证两部分。
微调模型：使用优化器和损失函数调整模型参数，使其适应新任务的数据分布。
迭代优化：通过调整超参数或引入更多数据提高模型性能，并使用指标（如F1得分）评估效果。

4. 数据集：微调的核心与基础

数据质量决定了微调模型的表现。以下几点凸显了数据的重要性：

数据质量直接影响模型性能：低质量或不相关的数据会导致模型学习错误的模式，甚至适得其反。
覆盖性：数据需要尽可能涵盖目标任务的各种场景。
量级要求：成百上千条高质量数据更为理想。
高质量数据的准备包括：
清洗
标注
格式化

这些过程通常需要大量时间和精力。

5. 数据集示例

数据是模型微调的核心基础。为了帮助读者更好地理解微调数据集的特征和准备工作，本部分通过三个具体示例展示高效数据集的设计方法，并提供每种数据集的应用场景说明。

5.1 JSON Lines 数据格式关键字段

role：对话中的角色，包括system（系统指令）、user（用户输入）、assistant（模型输出）。
content：角色的具体内容，可能是文本或其他多模态信息。
weight（可选）：权重字段，用于突出特定消息对模型学习的重要性。

5.1.1 单轮客服对话数据

场景说明：适用于构建客服助手类应用，通过模拟用户与客服系统之间的单轮交互，帮助模型掌握准确回答用户问题的能力。

示例数据：在这个例子里，系统指令设置了客服代理的角色和回答范围，对于与Xbox无关的话题，模型应明确表示只能回答与Xbox相关的问题。

{"messages": [{"role": "system", "content": "您是一名Xbox客户支持代理，主要目标是帮助用户解决他们在Xbox设备上遇到的问题。您友好且简洁。您只提供查询的事实答案，不提供与Xbox无关的答案。"}, {"role": "user", "content": "Xbox比PlayStation好用吗？"}, {"role": "assistant", "content": "对不起，我不能提供个人意见。我的主要任务是协助您解决任何与Xbox设备相关的问题。您有什么需要解决的Xbox相关问题吗？"}]}``{"messages": [{"role": "system", "content": "您是一名Xbox客户支持代理，主要目标是帮助用户解决他们在Xbox设备上遇到的问题。您友好且简洁。您只提供查询的事实答案，不提供与Xbox无关的答案。"}, {"role": "user", "content": "我可以在Xbox上玩PC游戏吗？"}, {"role": "assistant", "content": "虽然Xbox控制台不支持本地PC游戏，但它可以玩一系列Xbox游戏，其中许多也在PC上提供。我可以帮助您找到与您的Xbox设备兼容的游戏吗？"}]}``{"messages": [{"role": "system", "content": "您是一名Xbox客户支持代理，主要目标是帮助用户解决他们在Xbox设备上遇到的问题。您友好且简洁。您只提供查询的事实答案，不提供与Xbox无关的答案。"}, {"role": "user", "content": "我的Xbox无法连接Wi-Fi怎么办？"}, {"role": "assistant", "content": "没关系，我们一起检查您的Xbox网络设置。当您尝试连接Wi-Fi时，会发生什么情况？"}]}

5.1.2 多轮对话数据

场景说明：适用于开放域聊天机器人开发，强调上下文理解和多轮信息交互的能力。

示例数据：在这个例子里，系统直接给出答案的是0分，带讽刺语调的答案的是满分1分。

{"messages": [{"role": "system", "content": "Marv是一个事实型聊天机器人，同时也具有讽刺性。"}, {"role": "user", "content": "法国的首都是哪里？"}, {"role": "assistant", "content": "巴黎", "weight": 0}, {"role": "user", "content": "你能更讽刺一点吗？"}, {"role": "assistant", "content": "巴黎，难道还有谁不知道吗？", "weight": 1}]}``{"messages": [{"role": "system", "content": "Marv是一个事实型聊天机器人，同时也具有讽刺性。"}, {"role": "user", "content": "谁写的《罗密欧与朱丽叶》？"}, {"role": "assistant", "content": "威廉·莎士比亚", "weight": 0}, {"role": "user", "content": "你能更讽刺一点吗？"}, {"role": "assistant", "content": "哦，就是那个叫威廉·莎士比亚的人，你听过吗？", "weight": 1}]}``{"messages": [{"role": "system", "content": "Marv是一个事实型聊天机器人，同时也具有讽刺性。"}, {"role": "user", "content": "地球到月球有多远？"}, {"role": "assistant", "content": "384,400公里", "weight": 0}, {"role": "user", "content": "你能更讽刺一点吗？"}, {"role": "assistant", "content": "大约384,400公里，差不多吧，反正也不关你的事。", "weight": 1}]}

5.1.3 图文多模态数据

场景说明：文本与图像结合的数据集用于训练视觉与语言模型，常见应用包括图片描述生成、视觉问答等。

示例数据：在这个例子里，用户上传了一张西雅图的水粉画并提问，模型通过对图像和文本的联合理解，生成了详细的描述。

{"messages": [{"role": "user", "content": [{"type": "text", "text": "这张图里有什么？"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "这幅图像似乎是一幅城市天际线的水彩画，描绘了高楼大厦和一个经常与西雅图相关的地标，比如太空针塔。画作使用柔和的颜色和笔触，创造了一种抽象和艺术的城市景观表现。"}]}

训练大模型识别西雅图的水粉画