使用LLaMA Factory微调导出模型，并用ollama运行，用open webui使用该模型

本篇记录学习使用llama factory微调模型的过程，使用ollama运行微调好的模型，使用open webui前端调用ollama的模型；

测试机信息：

系统：Ubuntu 24.04.2 LTS（桌面版）

cpu：i9-14900KF 

内存：128G

显卡：RTX 4090 x 2

LLaMA Factory

安装llama factory

llama factory的git地址：LLaMA-Factory/README_zh.md at main · hiyouga/LLaMA-Factory · GitHub

使用git下载，使用python安装，所以要先安装git和python；（系统安装的时候已经装了Python 3.12.3了）

先建立个python的虚拟环境：python3 -m venv llama-pyenv

会在当前目录下建立一个llama-pyenv的文件夹，激活虚拟环境：source ./llama-pyenv/bin/activate

然后根据官网说明，执行安装命令：

从git下载llama-facotry，并使用pip安装；

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

去魔搭社区下载模型需要安装：pip install modelscope （git网站：modelscope/README_zh.md at master · modelscope/modelscope · GitHub）

使用量化还需要安装：pip install bitsandbytes

进入llama-facotry目录（使相对路径在该文件夹下），cd LLaMA-Factory/

打开微调页面，执行：llamafactory-cli webui，至此就安装好了；

下载模型

模型库：模型库首页 · 魔搭社区

找到你需要的模型，例如DeepSeek-r1 14b这个：

点开，复制模型名： 

使用命令下载：modelscope download --model