1 部署环境
step 1. 使用24GB显存以上的显卡创建环境
step 2. 创建好环境之后,关闭环境,使用无卡模式开机(有钱可忽略)
step 3. 安装LLaMA-Factory
git clone https://github.com/hiyouga/LLaMA-Factory.git
# conda create -n llama_factory python=3.10
# conda activate llama_factory
cd LLaMA-Factory
pip install -e .[metrics]
step 4. 配置ModelScope下载模型环境
export USE_MODELSCOPE_HUB=1
# 更改模型缓存地址,否则默认会缓存到/root/.cache,导致系统盘爆满
export MODELSCOPE_CACHE=/root/autodl-tmp/models/modelscope
# 学术资源加速
source /etc/network_turbo
pip install modelscope vllm
# 安装vllm时可能导致进程killed,需要降低内存安装
# pip install modelscope vllm --no-cache-dir
step 5. 使用ModelScope下载模型
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen1.5-7B')
step 6. 切换到 llama-factory 工作目录
cd \root\LLaMA-Factory
step 7. 使用web部署
CUDA_VISIBLE_DEVICES=0 python src/web_demo.py \
--model_name_or_path /root/autodl-tmp/models/modelscope/qwen/Qwen1___5-7B \
--template qwen \
--