XTuner 微调个人小助手认知任务

 一:概述

        XTuner是全链条开源开放的一个高效微调的框架，它适配多种生态，即就是多种微调算法：多种微调&偏好对齐算法，覆盖各类应用场景。适配多种开源生态，支持加载HuggingFace、ModelScope模型或者数据集。自动优化加速即就是开发者无需关注复杂的显存优化与计算加速细节，支持千亿参数+百万上下文训练。适配多种硬件，训练方案覆盖NVIDIA20系列以上所有显卡，最低只需8GB显存即可微调7B模型。

二：XTuner个人小助手微调实践

        <1>创建开发机

                        

        <2>进入开发机

                

        <3>克隆XTuner仓库到本地

                

mkdir -p /root/InternLM/Tutorial
git clone -b camp3  https://github.com/InternLM/Tutorial /root/InternLM/Tutorial

        <4>创建虚拟环境

# 创建虚拟环境
conda create -n xtuner0121 python=3.10 -y

# 激活虚拟环境（注意：后续的所有操作都需要在这个虚拟环境中进行）
conda activate xtuner0121

# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
# 安装其他依赖
pip install transformers==4.39.3
pip install streamlit==1.36.0

        <5>安装XTuner

                5.1 从github上下载源码

# 创建一个目录，用来存放源代码
mkdir -p /root/InternLM/code

cd /root/InternLM/code

git clone -b v0.1.21  https://github.com/InternLM/XTuner /root/InternLM/code/XTuner

                5.2  进入源码目录进行安装

# 进入到源码目录
cd /root/InternLM/code/XTuner
conda activat