AI大模型本地部署开源框架 Ollama 介绍

最新推荐文章于 2025-09-18 14:50:53 发布

原创最新推荐文章于 2025-09-18 14:50:53 发布 · 1k 阅读

25 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #RAG #embedding #langchain #LLM #程序员 #大模型教程

Ollama 是一个本地部署大模型的开源框架，降低了本地部署和管理大模型的门槛，且提供了丰富的开源大模型库，值得开发者学习和使用。本文简单介绍了 Ollama 的特性、应用场景，本地安装和运行大模型的步骤。

Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。Ollama 是 Omni-Layer Learning Language Acquisition Model 的简写，这代表一种新颖的机器学习方法，承诺重新定义我们对语言习得和自然语言处理的看法。

Ollama的关键特性：

本地执行：Ollama 的一个显著特点是其能够本地运行 LLMs，减轻了与基于云的解决方案相关的隐私问题。通过将AI 模型直接带到用户的设备上，Ollama 确保了对数据的更大控制和安全性，同时提供了更快的处理速度和减少对外部服务器的依赖。
丰富的模型库：Ollama 提供了丰富的预训练 LLMs 库，包括流行的模型（如，Llama 3）。用户可以具体的需求，针对不同任务、领域和硬件能力，选择合适的模型，确保了 AI 项目的灵活性和多功能性。
无缝集成：Ollama 可与各种工具、框架和编程语言无缝集成，使开发者能够轻松地将 LLMs 纳入他们的工作流程中。无论是 Python、LangChain 还是 LlamaIndex，Ollama 为构建复杂的 AI 应用程序和解决方案提供了强大的集成选项。
定制和微调：有了 Ollama，用户有能力定制和微调 LLMs 以满足他们的特定需求和偏好。从提示工程到少样本学习和微调过程，Ollama 赋予用户塑造 LLMs 行为和输出的能力，确保它们与预期目标一致。

Ollama 的出现，使得在本地运行大型语言模型变得更加容易和方便。Ollama 的应用场景有：

创意写作和内容生成：作家和内容创作者可以利用 Ollama 来克服写作障碍，头脑风暴内容创意，并在不同体裁和格式中生成多样化和吸引人的内容。
代码生成和辅助：开发人员可以利用 Ollama 的能力进行代码生成、解释、调试和文档编写，简化他们的开发工作流程并提高代码质量。
语言翻译和本地化：Ollama 的语言理解和生成能力使其成为翻译、本地化和多语言沟通的宝贵工具，促进跨文化理解和全球合作。
研究和知识发现：研究人员和知识工作者可以通过使用 Ollama，从大量的信息中进行分析、整合和提取洞察，提高知识获取的效率。涵盖文献综述、数据分析、假设生成和知识提取等场景。
客户服务和支持：企业可以部署由 Ollama 驱动的智能聊天机器人和虚拟助手，以增强客户服务，自动化常见问题解答，提供个性化的产品推荐，并分析客户反馈以提高满意度和参与度。
医疗保健和医疗应用：在医疗保健行业，Ollama 可以协助医疗文档编写、临床决策支持、患者教育、远程医疗和医学研究，提升医疗保健效率。

安装

以 windows 系统为例，安装步骤如下：

下载

进入官网下载页面（https://ollama.com/download），选择 windows 版本下载

安装

点击安装文件 OllamaSetup.exe，可直接进行安装。默认情况下，会安装在 C 盘上，会占用 C 盘的存储空间。可通过以下方式，变更 ollama 的安装路径：

打开 powershell，进入 OllamaSetup.exe，运行以下命令后（DIR 路径为安装路径，如"E:\developToolkit\ollama"），会出现安装弹框，点击 Install，即可将 Ollama 安装到指定的路径。

OllamaSetup.exe /DIR="E:\developToolkit\ollama"

Ollama 安装弹窗：

安装完成后，在 powershell 输入 "ollama -v "，输出 Ollama 的版本信息，说明已按照成功

设置大模型存储位置

要改变 Ollama 存储下载模型的位置（默认是存储在 C 盘的用户目录，会占用 C 盘的大量存储空间），可通过设置环境变量 OLLAMA_MODELS 的方式，设置大模型的存储位置。

启动设置（Windows 11）或控制面板（Windows 10）应用程序，并搜索环境变量。
点击为环境变量。点击新建一个系统变量。
编辑或创建一个新的变量 OLLAMA_MODELS ，指定希望模型存储的位置。
点击确定/应用以保存。

运行

选择大模型

进入 Ollama 的模型页面，选择要运行的大模型：https://ollama.com/search

以 qwen2.5 模型为例，选择模型规格（如，3b），拷贝模型标识（qwen2.5:3b）

在 powershell 窗口，输入命令：ollama pull qwen2.5:3b，完成模型的下载。

输入命令：ollama list，即可查看到本地的模型清单。由于我们之前设置的环境变量 OLLAMA_MODELS，大模型会存储的 OLLAMA_MODELS 指定的目录路径。

运行大模型

输入命令：ollama run qwen2.5:3b，即可运行刚才下载到本地的大模型，可在终端与大模型对话。

也可以通过 api 的方式，与本地运行的大模型进行交互：

(Invoke-WebRequest -method POST -Body '{"model":"qwen2.5:3b", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

本文简单介绍了 Ollama 的特性、应用场景、安装、本地运行大模型。