【大模型本地部署】huggingface 下载ollama所需的模型

要在Hugging Face上下载并运行与 Ollama 兼容的模型，需要明确以下几点：

---

1. Ollama 的模型支持

• Ollama 是一个本地运行大型语言模型（LLM）的工具，默认支持从官方仓库下载模型（如 llama2, DeepSeek, codellama 等）。
• 官方模型列表可通过 ollama list 查看，下载命令为 ollama pull <model-name>（例如 ollama pull llama2）。

---

2. 通过 Hugging Face 获取模型

如果你想使用 Hugging Face 上的第三方模型（例如量化版本或自定义模型），需要以下步骤：

步骤 1：在 Hugging Face 上查找兼容模型

• 访问 Hugging Face Models，搜索支持的格式（如 GGUF 格式的模型，适用于 llama.cpp 生态）。
• 推荐作者（例如 bartowski 提供了大量量化模型）：
  • 例如 bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF：
    https://huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF/blob/main/DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf

步骤 2：下载模型文件

• 进入模型页面，下载 *.gguf 文件（如 DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf）。
• 可以直接通过网页下载，或使用 huggingface-cli 工具：

  pip install huggingface-hub
  huggingface-cli download bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF  DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf --local-dir ./models
  

---

3. 在 OLLama 中运行自定义模型

• OLLama 支持通过 Modelfile 加载本地模型。

• 创建一个 Modelfile，（注意模型文件路径）内容如下：

  FROM ./models/DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf
  PARAMETER temperature 0.7
  

• 构建并运行模型：

  ollama create example-model -f Modelfile
  ollama run example-model
  

---

4. 替代方案（推荐）

• 如果只是想快速使用 Hugging Face 模型，可以借助 llama.cpp 直接运行 GGUF 模型：

  # 克隆 llama.cpp 仓库
  git clone https://github.com/ggerganov/llama.cpp
  cd llama.cpp
  
  # 编译并运行模型
  make
  ./main -m ./models/DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf -p "你的提示"
  

---

总结

• 直接使用 OLLama 官方模型：ollama pull llama2 更简单。
• 自定义 Hugging Face 模型：下载 GGUF 格式文件 → 通过 Modelfile 加载 → ollama create/run。
• 遇到问题时，参考 OLLama 文档 或 Hugging Face 模型页面的说明。