xtuner微调大模型

1. xtuner介绍

xtuner是上海人工智能实验室开发的一个高效、灵活、全能的轻量化大模型微调工具库，可以支持多种方式，如LoRA、QLoRA、全参数微调。

1.1 github地址

Xtuner

1.2 安装

xtuner官方提供了4种安装方式，不过这里推荐其中两种：
方式一：通过 pip 安装 XTuner并集成 DeepSpeed

pip install -U 'xtuner[deepspeed]'

方式二：从源码安装 XTuner

git clone https://github.com/InternLM/xtuner.git
cd xtuner
pip install -e '.[all]'

安装的同时，推荐下载xtuner源码，这样运行出问题可以根据源码快速定位，也可以理解各个命令有哪些入参。

2. 使用xtuner微调大模型

2.1 数据集准备

数据集可以用开源数据集（xtuner数据集准备指导），也可以手工制作，这里主要介绍手工制作的数据集，制作的数据集为json文件，格式需要满足：

[
    {
   
        "conversation": [
            {
   
                "system": "You are an AI assistant whose name is InternLM.",
                &