不用云端！Ollama 帮你在笔记本部署Qwen3，保姆级教程

本地部署Qwen3保姆级教程

原创于 2025-11-12 10:11:56 发布 · 727 阅读

28 ·

CC 4.0 BY-SA版权

文章标签：

#langchain #llama #人工智能 #LLM #Agent #程序员

Qwen3 是阿里巴巴最新一代的开源大型语言模型。它支持 100 多种语言，并在推理、编码和翻译任务中表现出色，足以媲美当今许多顶级模型，包括 DeepSeek-R1、o3-mini 和 Gemini 2.5。

在本教程中，我将一步一步地解释如何使用 Ollama 在本地运行 Qwen3。

我们还将使用 Qwen 3 构建一个本地轻量级应用程序。该应用程序将使您能够在 Qwen3 的推理模式之间切换，并在不同语言之间进行翻译。

为什么要在本地运行 Qwen3？

在本地运行 Qwen3 可带来以下几个主要优势：

隐私保护：您的数据绝不会离开您的设备。
延迟：本地推理速度更快，无需 API 往返。
成本效益高：无代币费用或云费用。
控制：您可以调整提示、选择模型和配置思维模式。
离线访问：下载模型后，无需网络连接即可使用。

Qwen3 针对深度推理（思考模式）和快速响应（非思考模式）都进行了优化，并支持 100 多种语言。让我们在本地进行设置。

使用 Ollama 在本地设置 Qwen3

Ollama 是一款工具，它允许您通过简单的命令行界面在本地计算机上运行 Llama 或 Qwen 等语言模型。

步骤 1：安装 Ollama

从以下网址下载适用于 macOS、Windows 或 Linux 的 Ollama： https: //ollama.com/download。

请按照安装程序说明进行操作，安装完成后，在终端中运行以下命令进行验证：

ollama 
--version

步骤 2：下载并运行 Qwen3

Ollama 提供种类日益丰富的 Qwen3 型号，旨在满足各种硬件配置的需求，从轻薄笔记本电脑到高端服务器。

ollama run qwen3

运行上述命令将在 Ollama 中启动默认的 Qwen3 模型，目前默认为qwen3:8b模型。如果您资源有限或希望启动速度更快，可以显式运行较小的变体，例如 4B 模型：

ollama run qwen3:4b

Qwen3 目前提供多种版本，参数量从最小的 0.6 字节（523MB）到最大的 235 字节（142GB）不等。这些较小的版本在推理、翻译和代码生成方面表现出色，尤其是在思维模式下。

MoE 模型（30b-a3b、235b-a22b）特别有趣，因为它们在每个推理步骤中只激活一部分专家，从而允许大量的总参数数量，同时保持高效的运行成本。

一般来说，使用硬件能够处理的最大模型，对于消费级机器上的响应式本地实验，则回退到 8B 或 4B 模型。

以下是您可以运行的所有 Qwen3 模型的简要概述：


模型	奥拉玛指挥部	最适合
Qwen3-0.6B	`ollama run qwen3:0.6b`	轻量级任务、移动应用程序和边缘设备
Qwen3-1.7B	`ollama run qwen3:1.7b`	聊天机器人、助手和低延迟应用程序
Qwen3-4B	`ollama run qwen3:4b`	性能和资源利用均衡的通用任务
Qwen3-8B	`ollama run qwen3:8b`	支持多语言，并具备一定的推理能力
Qwen3-14B	`ollama run qwen3:14b`	高级推理、内容创作和复杂问题解决能力
Qwen3-32B	`ollama run qwen3:32b`	需要强大推理能力和广泛上下文处理的高端任务
Qwen3-30B-A3B	`ollama run qwen3:30b-a3b`	采用 3B 个活动参数，性能高效，适用于编码任务。
Qwen3-235B-A22B	`ollama run qwen3:235b-a22b`	大规模应用、深度推理和企业级解决方案

步骤 3：在后台运行 Qwen3（可选）

要通过 API 提供模型服务，请在终端中运行以下命令：

ollama serve

这将使该模型能够通过 http://localhost:11434 与其他应用程序集成。

本地使用 Qwen3

在本节中，我将带您了解在本地使用 Qwen3 的几种方法，从基本的 CLI 交互到将模型与 Python 集成。

选项 1：通过 CLI 运行推理

模型下载完成后，即可在终端中直接与 Qwen3 交互。在终端中运行以下命令：

echo
"What is the capital of Brazil? /think"
|
 ollama run qwen3:8b

这对于无需编写任何代码的快速测试或轻量级交互非常有用。/think提示末尾的标签指示模型进行更深入、逐步的推理。您可以将其替换为 --require``/no_think以获得更快、更浅层的响应，或者完全省略它以使用模型的默认推理模式。

方案二：通过 API 访问 Qwen3

ollama serveQwen3 在后台运行时，您可以使用 HTTP API 以编程方式与 Qwen3 进行交互，这非常适合后端集成、自动化或测试 REST 客户端。

curl http://localhost:11434/api/chat -d '{

  "model": "qwen3:8b",

  "messages": [{ "role": "user", "content": "Define entropy in physics. /think" }],

  "stream": false

}'

它的运作方式如下：

curl向运行在本地的 Ollama 服务器发出POST请求（我们称之为 API）localhost:11434。
有效载荷是一个 JSON 对象，包含：

"model"：指定要使用的模型（此处为qwen3:8b：）。
"messages"``role：包含和的聊天消息列表content。
"stream": false确保一次性返回所有响应，而不是逐个返回。

选项 3：通过 Python 访问 Qwen3

如果您在 Python 环境（例如 Jupyter、VSCode 或脚本）中工作，与 Qwen3 交互的最简单方法是通过Ollama Python SDK。首先安装 Ollama：

pip install ollama

然后，使用以下脚本运行您的 Qwen3 模型（我们qwen3:8b下面使用的是这个脚本）：

import
 ollama

response 
=
 ollama
.
chat
(

    model
=
"qwen3:8b"
,

    messages
=
[

{
"role"
:
"user"
,
"content"
:
"Summarize the theory of evolution. /think"
}

]

)

print
(
response
[
"message"
]
[
"content"
]
)

在上面的代码中：

ollama.chat(...)向本地 Ollama 服务器发送聊天式请求。
您可以指定模型（qwen3:8b）和消息列表，格式类似于 OpenAI 的 API。
该/think标签指示模型逐步推理。
最后，响应以字典的形式返回，您可以使用以下方式访问模型的答案["message"]["content"]。

这种方法非常适合本地实验、原型设计或构建 LLM 支持的应用程序，而无需依赖云 API。

使用 Qwen3 构建本地推理应用程序

Qwen3 支持使用/think（深度推理）和/no_think（快速响应）标签的混合推理行为。在本节中，我们将使用 Gradio 创建一个包含两个独立标签页的交互式本地 Web 应用程序：

用于切换思维模式的推理界面。
用于翻译或处理不同语言文本的多语言界面。

步骤 1：混合推理演示

/think在此步骤中，我们使用标签构建混合推理选项卡/no_think。

import
 gradio 
as
 gr

import
 subprocess

def
reasoning_qwen3
(
prompt
,
 mode
)
:

    prompt_with_mode 
=
f"{prompt} /{mode}"

    result 
=
 subprocess
.
run
(

[
"ollama"
,
"run"
,
"qwen3:8b"
]
,

input
=
prompt_with_mode
.
encode
(
)
,

        stdout
=
subprocess
.
PIPE

)

return
 result
.
stdout
.
decode
(
)

reasoning_ui 
=
 gr
.
Interface
(

    fn
=
reasoning_qwen3
,

    inputs
=
[

        gr
.
Textbox
(
label
=
"Enter your prompt"
)
,

        gr
.
Radio
(
[
"think"
,
"no_think"
]
,
 label
=
"Reasoning Mode"
,
 value
=
"think"
)

]
,

    outputs
=
"text"
,

    title
=
"Qwen3 Reasoning Mode Demo"
,

    description
=
"Switch between /think and /no_think to control response depth."

)

在上述代码中：

该函数reasoning_qwen3()接受用户提示和推理模式（"think"或"no_think"）。
它会将选定的模式作为后缀附加到提示符之后。
然后，该subprocess.run()方法运行命令ollama run qwen3:8b，并将提示符作为标准输入。
最后，将输出（来自 Qwen3 的响应）捕获并以解码字符串的形式返回。

一旦定义了输出生成函数，该函数就会通过指定输入组件（用于提示的输入框和用于选择推理模式的按钮）并将其映射到函数的输入，gr.Interface()将其封装成交互式 Web UI 。

步骤二：多语言应用程序演示

现在，让我们来设置多语言应用程序选项卡。

import
 gradio 
as
 gr

import
 subprocess

def
multilingual_qwen3
(
prompt
,
 lang
)
:

if
 lang 
!=
"English"
:

        prompt 
=
f"Translate to {lang}: {prompt}"

    result 
=
 subprocess
.
run
(

[
"ollama"
,
"run"
,
"qwen3:8b"
]
,

input
=
prompt
.
encode
(
)
,

        stdout
=
subprocess
.
PIPE

)

return
 result
.
stdout
.
decode
(
)

multilingual_ui 
=
 gr
.
Interface
(

    fn
=
multilingual_qwen3
,

    inputs
=
[

        gr
.
Textbox
(
label
=
"Enter your prompt"
)
,

        gr
.
Dropdown
(
[
"English"
,
"French"
,
"Hindi"
,
"Chinese"
]
,
 label
=
"Target Language"
,
 value
=
"English"
)

]
,

    outputs
=
"text"
,

    title
=
"Qwen3 Multilingual Translator"
,

    description
=
"Use Qwen3 locally to translate prompts to different languages."

)

与上一步类似，这段代码的工作原理如下：

该multilingual_qwen3()函数接受一个提示词和一个目标语言。
如果目标语言不是英语，则会在前面加上“翻译成{lang}:”的指令来指导模型。
同样，该模型通过 Ollama 的子进程在本地运行。
结果以纯文本形式返回。

步骤 3：在 Gradio 中同时启动这两个标签页

让我们把这两个标签页合并到一个 Gradio 应用程序中。

demo 
=
 gr
.
TabbedInterface
(

[
reasoning_ui
,
 multilingual_ui
]
,

    tab_names
=
[
"Reasoning Mode"
,
"Multilingual"
]

)

demo
.
launch
(
debug 
=
True
)

以上代码的作用如下：