本地AI革命：5分钟掌握Ollama部署大模型全流程

最新推荐文章于 2025-04-01 00:41:20 发布

一个幽默的程序员

最新推荐文章于 2025-04-01 00:41:20 发布

阅读量926

点赞数 25

文章标签：人工智能 ollama

本文链接：https://blog.youkuaiyun.com/gdjnrc_com/article/details/146604108

版权

你是否曾想过，那些强大的AI大模型能否在自己的电脑上运行？无需担忧隐私泄露，无需支付高昂的API费用，只需几步操作，就能让DeepSeek-R1、Llama 3.2等顶尖AI模型在你的掌控之下。今天，我将带你探索Ollama这款开源神器，让AI大模型的部署变得如此简单，甚至连编程小白都能轻松上手！

Ollama：打开AI本地部署的大门

Ollama是什么？简单来说，它是一把钥匙，能够解锁开源AI大模型的本地部署能力。通过它，你可以在个人电脑上运行各种强大的AI模型，实现完全私有化的AI对话体验。

一、下载安装Ollama

首先，我们需要访问Ollama的官方Github仓库：https://github.com/ollama/ollama

在页面上，你会看到针对不同操作系统的下载选项。本文以macOS为例进行演示，但Windows系统的操作流程也基本相同。

下载完成后，按照提示完成安装：

安装成功后，打开终端（macOS用户可按F4键搜索"终端"），输入`ollama`命令，如果出现以下界面，说明安装已经成功：

二、AI模型的选择与安装

Ollama只是一个容器，真正的魔力来自于你选择安装的AI模型。根据你的硬件配置和需求，你可以选择不同参数量级的模型。

Model	Parameters	Size	Download
DeepSeek-R1	7B	4.7GB	ollama run deepseek-r1
DeepSeek-R1	671B	404GB	ollama run deepseek-r1:671b
Llama 3.3	70B	43GB	ollama run llama3.3
Llama 3.2	3B	2.0GB	ollama run llama3.2
Llama 3.2	1B	1.3GB	ollama run llama3.2:1b
Llama 3.2 Vision	11B	7.9GB	ollama run llama3.2-vision
Llama 3.2 Vision	90B	55GB	ollama run llama3.2-vision:90b
Llama 3.1	8B	4.7GB	ollama run llama3.1
Llama 3.1	405B	231GB	ollama run llama3.1:405b
Phi 4	14B	9.1GB	ollama run phi4
Phi 4 Mini	3.8B	2.5GB	ollama run phi4-mini
Gemma 2	2B	1.6GB	ollama run gemma2:2b
Gemma 2	9B	5.5GB	ollama run gemma2
Gemma 2	27B	16GB	ollama run gemma2:27b
Mistral	7B	4.1GB	ollama run mistral
Moondream 2	1.4B	829MB	ollama run moondream
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
LLaVA	7B	4.5GB	ollama run llava
Granite-3.2	8B	4.9GB	ollama run granite3.2

执行以下命令来安装Llama 3.2模型：

ollama run Llama3.2

ollama run mistral

执行安装命令后，系统会显示下载进度。这个过程可能需要一些时间，取决于你的网络速度：

当看到"Send a message"提示时，恭喜你，模型已经准备就绪，可以开始对话了：

三、与AI模型的第一次对话

现在，让我们尝试与刚刚安装的Llama 3.2模型进行对话。我输入了一个简单的问题："你是谁？"

使用 Control+D 组合键可以结束当前对话。如果你关闭了终端窗口，下次想要继续对话，只需再次运行相应的命令即可，例如 ollama run Llama3.2 。

四、让交互更友好：GUI界面的选择

命令行虽然强大，但对于日常使用来说并不够友好。好在Ollama生态系统中有许多优秀的图形界面工具，可以让你的AI交互体验更加流畅。在Ollama的官方Github仓库中，你可以找到多种GUI和Web界面工具的推荐。每个工具都有详细的安装和使用说明，你可以根据个人喜好选择最适合自己的一款。

五、解锁API能力：让AI为你的应用赋能

Ollama的魅力不仅在于对话功能，更在于它提供了完整的API接口，让你能够将AI能力无缝集成到自己的应用中。 Ollama默认在本地启动API服务，你可以在 Ollama API文档中查看详细的API说明：

接下来，我们使用Apifox工具来演示如何调用Ollama的API：

1.创建API请求

curl --location --request POST 'http://localhost:11434/api/generate' \
--header 'Content-Type: application/json' \
--data-raw '{
    "model": "llama3.2",
    "prompt": "Why is the sky blue?",
    "stream": false
}'

在 Apifox 中创建一个新的 HTTP 项目，然后新建接口，将cURL命令粘贴到地址栏，Apifox 会自动解析参数：