微型语言模型部署教程（三）：单轮对话任务微调

目录

前言

本节学习目的

步骤详解

第一步：单轮对话任务微调

第二步 多轮对话任务微调

常见问题及解决方案

---

前言

本系列博客是学习如在AutoDL何部署和实操开源模型。本篇介绍如何搭建基础环境并安装相关依赖。

感谢作者的开源项目：

项目学习：”GitHub - jingyaogong/minimind: 「大模型」3小时完全从0训练26M的小参数GPT，个人显卡即可推理训练！「大模型」3小时完全从0训练26M的小参数GPT，个人显卡即可推理训练！. Contribute to jingyaogong/minimind development by creating an account on GitHub.https://github.com/jingyaogong/minimind?tab=readme-ov-file#%E6%95%B0%E6%8D%AE%E9%9B%86%E4%B8%8B%E8%BD%BD%E5%9C%B0%E5%9D%80

本节学习目的

• 单轮对话任务微调

• 多轮对话任务微调

步骤详解

第一步：单轮对话任务微调

在微调之前，先跳出该项目来看看微调的含义：模型微调是通过微调工具，使用独特的场景数据对平台的基础模型进行调整，帮助你快速定制一个更符合业务需求的大型模型。其优势在于对基础模型进行小幅调整以满足特定需求，相比于训练一个新模型，这种方法更为高效且成本更低；微调步骤大致可以分为以下几步

• 选择微调方法

• 制作训练样本

• 模型选择

• 开始训练

• 明确训练目标

• 验证模型

具体可以参考下面智谱AI开发平台的微调手册。
智谱AI开放平台大模型开放平台-新一代国产自主通用AI开放平台，致力于将产品技术与行业场景双轮驱动的中国先进的认知智能技术和千行百业应用相结合，构建更高精度、高效率、通用化的AI开发新模式，实现智谱大模型的产业化，将AI的好处带给每个人。https://