大模型快速部署工具Ollama介绍

在linux上手动安装ollama

Mac和Windows具有成熟的一键安装工具，基本都能安装成功。这里提到如何在linux（内网，配置问题）手动安装linux。当然你也可以尝试官方给出的一键脚本：

curl -fsSL https://ollama.com/install.sh | sh

启动服务：

ollama serve

如何使用ollama：

1. 使用对话模式

ollama run llama3   # 拉取模型并执行
ollama list         # 显示模型列表
ollama rm llama3    # 删除llama3模型
ollama pull         # 拉取模型，并不执行

2. 如何使用REST api格式调用

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Why is the sky blue?",
  # "stream": false默认不写是开启的
}'

带上下文调用（多轮对话）

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    {
      "role": "user",
      "content"