使用Ollama配置本地微调的gguf模型文件

在之前的文章中，我们已经得到了经过我们微调的大语言模型，不管是在本地部署使用或者是用OpenWebUI界面部署在服务器上达到和chatGPT界面类似的效果，使用Ollama部署一定是最好的选择。以下均为在Ubuntu系统（Linux）上的测试。

如果需要在Windows上部署可以查看Ollama的官方文档：

https://github.com/ollama/ollama

一、安装Ollama

Linux安装Ollama命令行：

curl -fsSL https://ollama.com/install.sh | sh

安装不了你可以直接进入网页：https://ollama.com/install.sh，直接看到代码，复制下来创建install.sh放进去用sh install.sh 跑一下应该也行。

尝试跑一个开源模型测试一下是否成功运行，模型会自动下载开源大模型Ollama支持十几个不同参数量常用的开源大语言模型，这一步可以忽略：

ollama run llama3.1

在对话框输入/help查看对话可用指令，输入/bye退出对话模式。

二、准备工作

首先我们要新建一个文件夹创建.modelfile文件并将模型文件也放入其中，两