大模型部署框架 Ollama（二）：环境变量设置与常用 CLI 命令

最新推荐文章于 2025-09-15 11:19:01 发布

原创最新推荐文章于 2025-09-15 11:19:01 发布 · 1.5k 阅读

CC 4.0 BY-SA版权

文章标签：

#人工智能 #RAG #自然语言处理 #embedding #langchain #LLM

前言：作为一款强大的本地运行大型语言模型（LLMs）的框架，Ollama 为开发者、数据科学家和技术用户提供了更大的控制权和灵活性。本文介绍 Ollama 的环境变量设置，常用 CLI 命令及其运行示例。环境变量用于配置 Ollama 的运行环境和行为，CLI 命令用于与本地大模型的交互和管理。

本文为 Ollama 系列的第二篇文章。上一篇文章对 Ollama 的特性、应用场景和安装步骤进行了介绍：《大模型本地部署开源框架 Ollama 介绍》。

环境变量设置

环境变量用于配置 Ollama 的运行环境和行为，以下是一些常见的环境变量及其用途：

网络配置

OLLAMA_HOST：定义 Ollama 服务器的协议和主机地址。默认为 127.0.0.1:11434，仅本机地址可通过 11434 端口访问该服务。可以通过此变量自定义 Ollama 服务的监听地址和端口，例如设置为 0.0.0.0:8080 ，可允许其他电脑访问 Ollama（如：局域网中的其他电脑）。默认使用 http 协议。若要使用 https 协议，可设置为：https://0.0.0.0:443
OLLAMA_ORIGINS：配置允许跨域请求的来源列表。默认包含 localhost、127.0.0.1、0.0.0.0 等本地地址以及一些特定协议的来源。通过设置此变量，可以指定哪些来源可以访问 Ollama 服务，例如 OLLAMA_ORIGINS=*,https://example.com 允许所有来源以及 https://example.com 的跨域请求。

模型管理

OLLAMA_MODELS：指定模型文件的存储路径。默认为用户主目录下的 .ollama/models 文件夹。通过设置此变量，可以自定义模型文件的存储位置，例如 OLLAMA_MODELS=/path/to/models 将模型存储在指定的路径下。
OLLAMA_KEEP_ALIVE：控制模型在内存中的存活时间。默认为 5 分钟。负值表示无限存活，0 表示不保持模型在内存中。此变量用于优化模型加载和运行的性能，例如 OLLAMA_KEEP_ALIVE=30m 可以让模型在内存中保持 30 分钟。
OLLAMA_LOAD_TIMEOUT：设置模型加载过程中的超时时间。默认为 5 分钟。0 或负值表示无限超时。此变量用于防止模型加载过程过长导致服务无响应，例如 OLLAMA_LOAD_TIMEOUT=10m 可以将超时时间设置为 10 分钟。
OLLAMA_MAX_LOADED_MODELS：限制同时加载的模型数量。默认为 0，表示不限制。此变量用于合理分配系统资源，避免过多模型同时加载导致资源不足，例如 OLLAMA_MAX_LOADED_MODELS=4 可以限制同时加载 4 个模型。
OLLAMA_MAX_QUEUE：设置请求队列的最大长度。默认为 512。此变量用于控制并发请求的数量，避免过多请求同时处理导致服务过载，例如 OLLAMA_MAX_QUEUE=1024 可以将队列长度设置为 1024。
OLLAMA_MAX_VRAM：设置 GPU 显存的最大使用量（以字节为单位）。默认为 0，表示不限制。此变量用于控制 GPU 资源的使用，避免显存不足导致的问题，例如 OLLAMA_MAX_VRAM=8589934592 可以将显存限制为 8GB。
OLLAMA_GPU_OVERHEAD：为每个 GPU 预留的显存（以字节为单位）。默认为 0。此变量用于确保每个 GPU 有一定的显存余量，避免显存不足导致的问题，例如 OLLAMA_GPU_OVERHEAD=1073741824 可以为每个 GPU 预留 1GB 的显存。

性能与调度

OLLAMA_NUM_PARALLEL：设置同时处理的并行请求数量。默认为 0，表示不限制。此变量用于优化服务的并发处理能力，例如 OLLAMA_NUM_PARALLEL=8 可以同时处理 8 个并行请求。
OLLAMA_SCHED_SPREAD：允许模型跨所有 GPU 进行调度。默认为 false。启用此变量可以提高模型运行的灵活性和资源利用率，例如 OLLAMA_SCHED_SPREAD=1 可以启用跨 GPU 调度。

调试与日志

OLLAMA_DEBUG：启用额外的调试信息。默认为 false。开启此变量可以获取更多的调试日志，帮助排查问题，例如 OLLAMA_DEBUG=1 可以启用调试模式。
OLLAMA_NOHISTORY：禁用 readline 历史记录。默认为 false。启用此变量可以避免保存命令历史记录，例如 OLLAMA_NOHISTORY=1 可以禁用历史记录。
OLLAMA_NOPRUNE：在启动时不清理模型文件。默认为 false。启用此变量可以保留所有模型文件，避免不必要的清理操作，例如 OLLAMA_NOPRUNE=1 可以禁用模型文件的清理。

特性开关

OLLAMA_FLASH_ATTENTION：启用实验性的 Flash Attention 特性。默认为 false。此变量用于测试和使用新的注意力机制特性，例如 OLLAMA_FLASH_ATTENTION=1 可以启用 Flash Attention。
OLLAMA_MULTIUSER_CACHE：为多用户场景优化提示缓存。默认为 false。启用此变量可以提高多用户环境下的缓存效率，例如 OLLAMA_MULTIUSER_CACHE=1 可以启用多用户缓存优化。

代理设置

HTTP_PROXY：设置 HTTP 代理服务器地址。此变量用于配置 Ollama 在进行 HTTP 请求时使用的代理服务器，例如 HTTP_PROXY=http://proxy.example.com:8080 可以让 Ollama 使用指定的 HTTP 代理。
HTTPS_PROXY：设置 HTTPS 代理服务器地址。此变量用于配置 Ollama 在进行 HTTPS 请求时使用的代理服务器，例如 HTTPS_PROXY=https://proxy.example.com:8080 可以让 Ollama 使用指定的 HTTPS 代理。
NO_PROXY：设置不使用代理的地址列表。此变量用于指定哪些地址在进行请求时不使用代理，例如 NO_PROXY=localhost,example.com 可以让 Ollama 在访问 localhost 和 example.com 时不使用代理.

Ollama 还提供了与硬件、底层库相关的环境变量，详情可查看 Ollama 源码。

CLI 命令

Ollama 常用的 CLI 命令见下表：

命令	用途
`ollama serve`	在本地系统上启动 Ollama。
`ollama create <new_model>`	从现有模型创建一个新模型，用于定制或训练。
`ollama show <model>`	显示特定模型的详细信息，例如其配置和发布日期。
`ollama run <model>`	运行指定的模型，使其准备好进行交互。
`ollama pull <model>`	将指定的模型下载到您的系统。
`ollama list`	列出所有已下载的模型。
`ollama ps`	显示当前正在运行的模型。
`ollama stop <model>`	停止指定的正在运行的模型。
`ollama rm <model>`	从您的系统中移除指定的模型。

在终端，输入上面的命令 + '-h'，可查看具体命令的帮助文档（如，ollama show -h，可查看 show 命令的帮助文档）。下面列出每个命令的具体用法和示例。

启动 Ollama

在本地系统上启动 Ollama：ollama server

PS C:\Windows\system32> ollama serve -hStart ollama
Usage:  ollama serve [flags]
Aliases:  serve, start
Flags:  -h, --help   help for serve
Environment Variables:      OLLAMA_DEBUG               Show additional debug information (e.g. OLLAMA_DEBUG=1)      OLLAMA_HOST                IP Address for the ollama server (default 127.0.0.1:11434)      OLLAMA_KEEP_ALIVE          The duration that models stay loaded in memory (default "5m")      OLLAMA_MAX_LOADED_MODELS   Maximum number of loaded models per GPU      OLLAMA_MAX_QUEUE           Maximum number of queued requests      OLLAMA_MODELS              The path to the models directory      OLLAMA_NUM_PARALLEL        Maximum number of parallel requests      OLLAMA_NOPRUNE             Do not prune model blobs on startup      OLLAMA_ORIGINS             A comma separated list of allowed origins      OLLAMA_SCHED_SPREAD        Always schedule model across all GPUs
      OLLAMA_FLASH_ATTENTION     Enabled flash attention      OLLAMA_KV_CACHE_TYPE       Quantization type for the K/V cache (default: f16)      OLLAMA_LLM_LIBRARY         Set LLM library to bypass autodetection      OLLAMA_GPU_OVERHEAD        Reserve a portion of VRAM per GPU (bytes)      OLLAMA_LOAD_TIMEOUT        How long to allow model loads to stall before giving up (default "5m")

模型管理

1. 列出所有已下载的模型。

PS C:\Windows\system32> ollama list -hList models
Usage:  ollama list [flags]
Aliases:  list, ls
Flags:  -h, --help   help for list
Environment Variables:      OLLAMA_HOST                IP Address for the ollama server (default 127.0.0.1:11434)

2. 查看某个模型的详细信息

PS C:\Windows\system32> ollama show -hShow information for a model
Usage:  ollama show MODEL [flags]
Flags:  -h, --help         help for show      --license      Show license of a model      --modelfile    Show Modelfile of a model      --parameters   Show parameters of a model      --system       Show system message of a model      --template     Show template of a model
Environment Variables:      OLLAMA_HOST                IP Address for the ollama server (default 127.0.0.1:11434)

如下图，可查看大模型的参数数量、上下文长度、嵌入长度等信息：

3. 显示正在运行的大模型

PS C:\Windows\system32> ollama ps -hList running models
Usage:  ollama ps [flags]
Flags:  -h, --help   help for ps
Environment Variables:      OLLAMA_HOST                IP Address for the ollama server (default 127.0.0.1:11434)

4. 停止指定的正在运行的模型

PS C:\Windows\system32> ollama stop -hStop a running model
Usage:  ollama stop MODEL [flags]
Flags:  -h, --help   help for stop
Environment Variables:      OLLAMA_HOST                IP Address for the ollama server (default 127.0.0.1:11434)

5. 删除已下载的大模型

PS C:\Windows\system32> ollama rm -hRemove a model
Usage:  ollama rm MODEL [MODEL...] [flags]
Flags:  -h, --help   help for rm
Environment Variables:      OLLAMA_HOST                IP Address for the ollama server (default 127.0.0.1:11434)

6. 下载大模型

PS C:\Windows\system32> ollama pull -hPull a model from a registry
Usage:  ollama pull MODEL [flags]
Flags:  -h, --help       help for pull      --insecure   Use an insecure registry
Environment Variables:      OLLAMA_HOST                IP Address for the ollama server (default 127.0.0.1:11434)

运行大模型

尽管我们可以通过第三方的 Web UI 等方式与基于 Ollama 部署的本地大模型进行交互，但通过 run 命令的方式与大模型交互，具有以下的优点：

直接在终端运行 run 命令，可便捷高效地验证本地部署的大模型的响应效果
记录保存大模型的响应：可将大模型的响应记录到本地文件。
基于 run 命令开发自动化执行的脚本，定时调度执行，实现与大模型交互的自动化工作流程。

run 命令的帮助文档：

PS C:\Windows\system32> ollama run -hRun a model
Usage:  ollama run MODEL [PROMPT] [flags]
Flags:      --format string      Response format (e.g. json)  -h, --help               help for run      --insecure           Use an insecure registry      --keepalive string   Duration to keep a model loaded (e.g. 5m)      --nowordwrap         Don't wrap words to the next line automatically      --verbose            Show timings for response
Environment Variables:      OLLAMA_HOST                IP Address for the ollama server (default 127.0.0.1:11434)      OLLAMA_NOHISTORY           Do not preserve readline history

下面是使用 run 的例子。

ollama run <model> [PROMPT]

PS C:\Windows\system32> ollama run qwen2.5:7b "请介绍一下机器学习"当然，我很乐意为您介绍机器学习。
机器学习是一种人工智能技术，它使计算机能够在不进行明确编程的情况下从数据中学习。简单来说，就是让机器通过学习数据来识别模式、做出决策，并能够随着时间的推移改善其性能。
### 1. 基本概念
- **训练集和测试集**：在机器学习中，通常会将数据分为训练集（用来训练模型）和测试集（用来验证模型的效果）。- **特征**：这些是用于描述数据的数据点。例如，在预测房价的模型中，房屋面积、卧室数量等可以作为特征。
### 2. 算法类型
机器学习算法主要可分为三类：
1. **监督学习**：在这种方法中，训练数据被标记，并且目标是对新数据进行预测或分类。   - 例如：通过已标注的电子邮件（垃圾邮件/非垃圾邮件）来构建一个自动过滤垃圾邮件的系统。
2. **无监督学习**：在没有标记的数据的情况下进行分析和模式识别。通常用于探索性数据分析中，如聚类。   - 例如：根据用户购买行为将顾客分组，发现潜在的目标市场。
3. **强化学习**：该方法让机器通过与环境交互来学习最佳行动策略。   - 例如：AlphaGo使用强化学习打败了世界围棋冠军李世石。
### 3. 应用领域
- **自然语言处理**：如情感分析、文本摘要等；- **计算机视觉**：如图像识别、物体检测等；- **推荐系统**：如根据用户历史行为推荐商品或内容；- **医疗健康**：如疾病诊断预测模型；- **金融风控**：风险评估与管理。
### 4. 技术栈
进行机器学习项目通常需要以下技能和工具：
- **编程语言**：Python是最常用的语言，因为它有丰富的库支持。- **数据处理**：如Pandas、NumPy等包用于数据清洗和预处理。- **模型构建与训练**：Scikit-learn, TensorFlow, PyTorch等库提供了大量的机器学习算法实现。- **可视化工具**：Matplotlib, Seaborn, Plotly等帮助理解和展示结果。
### 5. 挑战
尽管机器学习带来了许多机遇，但也面临着挑战：
- 数据隐私和安全问题；- 缺乏高质量的数据集会影响模型的准确性；- 解释性问题（即对模型决策过程的理解）；- 过度拟合或欠拟合现象。
总之，机器学习是当今世界最激动人心的技术之一。随着数据量的增长以及算法的进步，它将在更多领域发挥重要作用。

可将大模型的响应结果，保存到本地文件：ollama run <model> [PROMPT] > output.txt

如，ollama run qwen2.5:7b "若要系统的学习金融知识，有哪些途径?" > fin_learning_advice.txt，可将大模型响应结果保存到 fin_learning_advice.txt。

ollama run qwen2.5:7b "若要系统的学习金融知识，有哪些途径?"  > fin_learning_advice.txt

可使用 run 命令，对一个文本文件的内容进行总结：

选取了 Ollama 的一段代码：https://github.com/ollama/ollama/blob/main/server/prompt.go，使用 qwen2.5-coder:7b 总结该段代码的内容。

PS D:\llm_learning> Get-Content "prompt.go" | ollama run qwen2.5-coder:7b "请总结一下这段代码的内容。" 这段代码定义了一个用于处理聊天消息的函数 `chatPrompt`，该函数主要用于生成用于下一个聊天回合的提示和图像数据。以下是对代码内容的详细总结：
1. **包和导入**：   - 包名为 `server`。   - 导入了多个外部包，包括标准库、第三方库（如 `github.com/ollama/ollama/api`, `github.com/ollama/ollama/llm`,`github.com/ollama/ollama/model/mllama`, `github.com/ollama/ollama/template` 等）以及一些内部包。
2. **类型和变量**：   - 定义了一个 `tokenizeFunc` 类型，表示一个接受上下文和字符串并返回整数切片和错误的函数。   - 定义了一个全局变量 `errTooManyImages`，表示vision模型不支持每条消息多个图像。
3. **chatPrompt 函数**：   - 该函数接受一个上下文、一个模型实例、一个分词函数、一个选项结构体、一组聊天消息和一组工具。   - 根据模型是否为Mllama家族（通过 `checkMllamaModelFamily` 函数判断），确定图像的编码方式。   - 遍历输入的消息，截取符合条件的消息并构建提示字符串。   - 处理图像数据，并将其添加到返回的图像列表中。
4. **checkMllamaModelFamily 函数**：   - 该函数检查模型配置中的 `ModelFamilies` 是否包含 "mllama"，以确定模型是否为Mllama家族。
5. **错误处理**：   - 函数中包含了多个错误处理逻辑，例如当消息包含多个图像时返回 `errTooManyImages`。   - 使用 `slog.Debug` 记录调试信息。
总结来说，这段代码的主要功能是根据输入的聊天消息和模型配置，生成用于下一个聊天回合的提示字符串和图像数据。它处理了消息的截取、分词、图像编码和错误处理等步骤。