Ollama 添加本地模型:GGUF 权重文件导入

Ollama 添加本地模型有多种方式，以下是常见的两种：
从 GGUF 权重文件导入：如果你已经下载了 GGUF 权重文件，比如从 Hugging Face 上下载的 Qwen2.5 相关的 GGUF 文件(下载GGUF文件 需要考虑自己显存大小 否则后期会因为现存不足无法运行模型）。首先在模型目录创建一个名为Modelfile的文件，文件内容为FROM <你的GGUF文件路径>，例如FROM ./Qwen2.5-VL-7B-Instruct-Q4_0.gguf。然后执行导入命令：ollama create <模型名称> -f ./Modelfile，比如ollama create Qwen2.5 -f ./Modelfile。

先切换到gguf文件所在路径：

创建指向 GGUF 文件的 Modelfile

#先执行
cat > Modelfile << EOF
#再执行
FROM ./Qwen2.5-VL-7B-Instruct-BF16.gguf
PARAMETER temperature 0.7
PARAMETER num_ctx 4096
EOF 

 ollama create Qwen2.5-VL-7B-Instruct-BF16 -f Modelfile

ollama list 可以看到加在进来的模型