L1G5000XTuner 微调个人小助手认知

环境配置与数据准备

本节中，我们将演示如何安装 XTuner。 推荐使用 Python-3.10 的 conda 虚拟环境安装 XTuner。

步骤 0. 使用 conda 先构建一个 Python-3.10 的虚拟环境

cd ~
#git clone 本repo
git clone https://github.com/InternLM/Tutorial.git -b camp4
mkdir -p /root/finetune && cd /root/finetune
conda create -n xtuner-env python=3.10 -y
conda activate xtuner-env

1. cd ~

• 解释: 这个命令将当前工作目录更改为用户的主目录（在Linux系统中通常是/root对于root用户或/home/username对于普通用户）。这一步确保了接下来的操作将在主目录下进行。

2. git clone https://github.com/InternLM/Tutorial.git -b camp4

• 解释: 使用git clone命令从GitHub上复制指定的仓库到本地计算机。这里是从GitHub - InternLM/Tutorial: LLM&VLM Tutorial地址克隆仓库，并且通过-b camp4参数指定了要检出的分支为camp4。这意味着只会下载camp4这个特定分支的内容。

3. mkdir -p /root/finetune && cd /root/finetune

• 解释:
  • mkdir -p /root/finetune: 创建一个新的目录/root/finetune。如果该目录已经存在，则不会报错也不会覆盖现有目录（这就是-p选项的作用）。
  • &&: 在shell命令中，&&用于连接两个命令，只有当第一个命令成功执行后才会执行第二个命令。
  • cd /root/finetune: 将当前工作目录切换到刚刚创建的/root/finetune目录。

4. conda create -n xtuner-env python=3.10 -y

• 解释: 使用Conda创建一个新的虚拟环境，名为xtuner-env，并指定Python版本为3.10。-y选项自动确认所有提示，默认同意安装过程中提出的所有问题。

5. conda activate xtuner-env

• 解释: 激活之前创建的名为xtuner-env的Conda虚拟环境。激活环境后，所有后续的Python命令都将使用这个环境中配置的Python版本和包。

综上所述，这段脚本的主要目的是：

• 克隆特定的GitHub仓库。
• 在/root下创建一个新的目录finetune，用于存放与微调相关的文件或数据。
• 创建并激活一个专门的Python虚拟环境xtuner-env，其中配置了Python 3.10版本，适合于特定项目的需求，比如微调语言模型等任务。这种做法有助于隔离项目的依赖关系，避免不同项目之间的库冲突。

步骤 1. 安装 XTuner

此处推荐用我 freeze 的 requirements.txt，更多的安装方法请回到前面看 XTuner 文档

cd /root/Tutorial/docs/L1/XTuner
pip install -r requirements.txt

验证安装

为了验证 XTuner 是否安装正确，我们将使用命令打印配置文件。

打印配置文件： 在命令行中使用 xtuner list-cfg 验证是否能打印配置文件列表。

xtuner list-cfg

输出没有报错则为此结果

注意：上面的这个安装步骤是书生文档中的，如果直接用会有问题，如下图所示，所以我们应该按照我下面给的这个步骤来做，这个步骤来自XTuner的安装文档

安装

本节中，我们将演示如何安装 XTuner。

最佳实践

我们推荐用户参照我们的最佳实践安装 XTuner。 推荐使用 Python-3.10 的 conda 虚拟环境安装 XTuner。

步骤 0. 使用 conda 先构建一个 Python-3.10 的虚拟环境