XTuner 大模型单卡低成本微调实战

Finetune 简介

LLM的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式。
指令跟随微调
使用场景：让模型学会对话模板,根据人类指令进行对话。
训练数据：高质量的对话、问答数据。

指令跟随微调是为了得到能够实际对话的LLM。
介绍指令跟随微调前，需要先了解如何使用LLM进行对话。
在实际对话时，通常会有三种角色

• System：给定一些上下文信息，比如“你是一个安全的AI 助手”
• User：实际用户,会提出一些问题,比如“世界第一高峰是?”
• Assistant ：根据 User 的输入，结合System的上下文信息,做出回答，比如“珠穆朗玛峰”
  
  在使用对话模型时，通常是不会感知到这三种角色的
  对话模板：对话模板是为了能够让LLM区分出, System、 User和Assistant不同的模型会有不同的模板

增量预训练微调
使用场景：让基座模型学习到一些新