【书生浦语大模型实战营四期】基础岛 第5关 XTuner 微调个人小助手认知

基础任务

环境配置与数据准备

使用 conda 构建一个 Python-3.10 的虚拟环境

安装 XTuner

验证安装

修改提供的数据

创建一个新的文件夹用于存储微调数据


创建修改脚本

执行脚本


查看数据

训练启动

复制模型

修改 Config




启动微调


权重转换


模型合并

模型 WebUI 对话

修改脚本中的模型路径

启动应用

通过浏览器访问：http://127.0.0.1:8501 来进行对话

进阶任务

将自我认知的模型上传到 HuggingFace平台，并将应用部署到 HuggingFace平台

模型上传

conda activate xtuner-env
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs 
git lfs install 
pip install huggingface_hub

git config --global credential.helper store
huggingface-cli login

这时需要输入huggingface的token

创建项目

cd /root/finetune/work_dirs/assistTuner

#intern_study_L1_5就是model_name
huggingface-cli repo create intern_study_L1_5

# 克隆到本地 your_github_name 注意替换成你自己的
git clone https://hf-mirror.com/{your_github_name}/intern_study_L1_5

克隆好之后，刷新文件目录可以看到克隆好的intern_study_L1_5文件夹。

把训练好的模型保存进里面

cp -r merged/* intern_study_L1_5/

用git提交到远程仓库

cd intern_study_L1_5
git add .
git commit -m "add:intern_study_L1_5"
# 替换为你的username和之前申请的access token
git remote set-url origin https://<user_name>:<token>@huggingface.co/<repo_path>
git push

我这边push不上去，提示503
最后该用改用huggingface官方推荐的才行，命令如下：

huggingface-cli upload intern_study_L1_5 . .

现在可以在Hugging Face的个人profile里面看到这个model

应用部署

看了下，想白嫖在hugging face上部署估计够呛，以下分别是在开发机上部署使用时的资源占用，以及hugging face白嫖所提供的资源。

先留个坑，有空在填。