Ollama使用快速入门

原创已于 2025-02-14 18:55:03 修改 · 1.1k 阅读

CC 4.0 BY-SA版权

文章标签：

于 2025-02-01 17:42:38 首次发布

一、什么是 Ollama？
Ollama 是一个开源工具，支持在本地运行和部署多种大型语言模型（如 Llama 3、Mistral、Phi-3 等）。特点：支持 macOS、Linux、Windows。通过命令行或 API 调用模型。支持自定义模型微调（需配置）。

二、安装 Ollama
Linux/macOS

# 一键安装脚本
curl -fsSL https://ollama.com/install.sh | sh

Windows

下载安装包：Ollama Windows 版双击运行安装程序。

三、基础命令

ollama serve  # 启动服务（默认端口 11434）
ollama pull <模型名>  # 例如：ollama pull llama3
ollama run <模型名>  # 进入交互式对话模式
ollama list          # 查看已下载的模型
ollama rm <模型名>   # 删除模型
ollama help          # 查看所有命令
ollama show --modelfile qwen:7b  #导出某个模型

导出某个模型

ollama show --modelfile qwen:7b
#返回
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM qwen:7b

FROM /Users/m2max/.ollama/models/blobs/sha256-87f26aae09c7f052de93ff98a2282f05822cc6de4af1a2a159c5bd1acbd10ec4
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"
#从模型文件信息里得知 /Users/m2max/.ollama/models/blobs/sha256-46bb65206e0e2b00424f33985a5281bd21070617ebcfda9be86eb17e6e00f793 即为我们想要的qwen:7b （格式为gguf）

#导出
cp /Users/m2max/.ollama/models/blobs/sha256-46bb65206e0e2b00424f33985a5281bd21070617ebcfda9be86eb17e6e00f793 qwen_7b.gguf

如何导入模型

#需要准备Modelfile文件
From /path/to/qwen_7b.gguf
#
ollama create qwen:7b -f Modelfile
#导入模型的时候，确保硬盘可用空间在模型大小的2倍以上  transferring model data 复制一个完整的模型

四、通过 API 调用模型
Ollama 提供 REST API，支持编程调用：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "为什么天空是蓝色的？",
  "stream": false
}'

#Python 调用示例
import requests

response = requests.post(
    "http://localhost:11434/api/generate",
    json={"model": "llama3", "prompt": "解释量子计算"}
)
print(response.json()["response"])