手把手教你在 Windows 上轻松部署本地大语言模型：Ollama 与 Open-WebUI 的完整指南！

手把手教你在 Windows 上轻松部署本地大语言模型：Ollama与Open-WebUI 的完整指南！

前言

欢迎来到本教程！本文将详细介绍如何在 Windows 系统 上安装和使用 Ollama 和 Open-WebUI，这两个强大的工具将帮助您轻松管理和运行大型语言模型。Ollama 简化了模型的下载与部署，而 Open-WebUI 则提供了一个直观的图形用户界面，使用户能够更方便地与模型进行交互。

本教程将涵盖以下内容：

1. 安装环境与步骤：提供准备和安装 Ollama 及 Docker Desktop 的详细指导。
2. 验证安装：教您如何确认 Ollama 和 Docker 是否成功安装。
3. 模型搜索与下载：展示如何使用阿里开源的 通义千问大模型 Qwen 进行操作。
4. Open-WebUI 的安装与使用：介绍如何部署 Open-WebUI 以及如何在浏览器中与模型交互。

无论您是机器学习的初学者，还是希望在本地部署强大语言模型的开发者，本文将为您提供清晰且实用的指导，帮助您顺利踏上机器学习之旅，并最终在本地成功部署属于自己的大型模型，诸如下图。

安装 Ollama

安装环境

• 在开始之前，请确保你的计算机已安装显卡驱动和 CUDA 程序，具体的验证步骤将在本文结尾提供。

访问官网：https://ollama.com/

下载 Ollama

点击页面上的“Download”按钮。

在弹出的选项中选择适合 Windows 的安装程序，下载完成后，双击安装文件。

安装过程

安装开始后直接点击 Install，稍等片刻后安装成功。

验证安装

按下快捷键：同时按 Windows 键和 R 键 (Win + R)，打开“运行”窗口。

输入命令：在窗口中输入 cmd，然后敲击 Enter。

在命令提示符窗口中，输入：

ollama --version

如果显示版本号，说明安装成功。

模型部署

在 Ollama 上，我们可以方便地搜索并下载所需的模型。此次我们选择阿里开源的通义千问大模型 Qwen。具体步骤如下：

搜索模型：访问 ollama.com，在搜索框中输入“Qwen”后，敲击Enter进行查找。

选择版本：

• 在搜索结果中，你会看到 Qwen 的不同版本，如 Qwen 2.5 和 Qwen 2 等，这里我们选择安装 Qwen 2.5 版本。
• 目前可用的参数大小有：0.5B、1.5B、3B、7B、14B 、32B 和 72B。每个数值代表不同的参数规模。为了适应自己的电脑配置，建议谨慎选择。这里我们选择 7B（70亿参数），该模型的大小不到 5GB，适合第一次使用。

下载模型

打开命令提示符或终端，直接运行以下命令来下载所选模型：

ollama run qwen2.5:7b

• ollama 是命令行工具的名称，用于管理和运行机器学习模型。
• run 是 Ollama 命令，用于启动和执行指定的模型。
• qwen2.5:7b 是模型的名称和版本，表示你要下载或运行的特定模型。

下载速度通常由快到慢（请耐心等待），完成后会看到 success 的提示，表示模型已成功安装。

使用模型

一旦安装完成，你就可以在终端中运行下面指令直接使用 Qwen 模型进行提问。

ollama run qwen2.5:7b

注意，Qwen2.5-7B 的回答可能并不是很理想。这并不是重点，因为后续我们可以下载更先进、更准确的模型，从而更深入地体验模型的训练和提升过程。

更改模型保存路径（可选+推荐）：

在 Ollama 中，模型的保存路径可通过环境变量 OLLAMA_MODELS 进行配置和查询。若未显式设置该变量，Ollama 将默认使用系统盘路径，这可能导致系统盘存储空间耗尽。

你可以通过以下方式查看当前 Ollama 模型的保存路径：

PowerShell 终端直接打印当前的 Ollama 配置，检查 OLLAMA_MODELS：

echo $env:OLLAMA_MODELS

如果 OLLAMA_MODELS 已设置，会显示路径（如 D:\OllamaModels）。

如果没有设置，输出为空，Ollama 会使用默认路径C:\Users\username\ .ollama。

如果你想修改模型的保存路径，可以设置 OLLAMA_MODELS 环境变量。

在 PowerShell 中执行以下命令（方法一）：

$env:OLLAMA_MODELS = "D:\NewModelPath"  # NewModelPath为你想要的Ollama模型保存路径

或者通过新建 系统环境变量 设置 OLLAMA_MODELS，这样 Ollama 就会将模型保存到新的路径（方法二）：

更改模型保存路径后，需要重启 Ollama 服务才能使更改生效。

如果 Ollama 服务正在运行，你需要先停止它。可以在 PowerShell 中按 Ctrl + C 来终止服务。

重新启动 Ollama 服务，确保新的配置生效：

ollama serve

Ollama 会加载新的模型保存路径，并在该路径下下载和存储模型。

安装 Docker Desktop

Docker 提供了一致的运行环境，适用于不同操作系统，特别适合跨平台的机器学习工具运行。安装 Docker Desktop 将为后续的 Open-WebUI 提供必要的运行环境，使用户能够轻松地在 Docker 容器 中管理和使用各种语言模型。

安装 Docker Desktop

下载 Docker Desktop：访问 Docker 官网：https://www.docker.com/

点击页面上的“Download for Windows - AMD64”按钮，以下载适用于 Windows 系统的 Docker Desktop 安装文件。

安装 Docker Desktop

双击下载的安装文件，开始安装 Docker Desktop。

按照安装向导的指示完成安装。在安装过程中，将提示安装 WSL 2，建议勾选此选项以获得更好的性能。

配置 Docker Desktop

安装完成后，启动 Docker Desktop。

首次打开时，将出现 Docker 订阅协议，点击 Accept（接受）以继续。

随后，系统将提示用户登录。您可以选择使用 GitHub 账户或 Google 账户登录，若无上述账户，可选择跳过登录步骤。

接下来，将出现调查问卷，您可以根据个人喜好选择填写，或直接跳过此步骤。

最后，Docker Desktop 将正常启动。

汉化 Docker Desktop（可选）

若想使 Docker Desktop 显示中文界面，按照以下步骤进行汉化：

下载对应版本的中文语言包：

访问 GitHub，下载适用于 Docker Desktop 的中文语言包，链接地址为：https://github.com/asxez/DockerDesktop-CN。

将下载的文件解压至 C:\Program Files\Docker 目录下（即 Docker 的安装根目录）。

检查 Docker Desktop 版本：启动 Docker Desktop，版本号将在右下角显示。

备份并替换 app.asar 文件：打开 Docker Desktop 中文语言包，选择与您 Docker 版本相符的 app.asar 文件并复制。

导航至 Docker 的安装目录，路径默认为：

C:\Program Files\Docker\Docker\frontend\resources

在该目录下找到 app.asar 文件，建议先备份原文件，然后将复制的中文语言包中的 app.asar 文件粘贴并替换原有文件。

重新启动 Docker Desktop：完成替换后，请关闭 Docker Desktop，然后重新启动该程序。此时，Docker Desktop 应该以中文界面显示。

安装 Open-WebUI

Open-WebUI 是一个基于 Docker 部署的 Web 用户界面，使用户能够在本地环境中轻松运行和管理语言模型。与直接使用命令行工具相比，Open-WebUI 提供了更直观、便捷的交互体验，尤其适合希望进行图形化操作的用户。

安装 Open-WebUI

获取 Open-WebUI 镜像：打开命令提示符或 PowerShell，输入以下命令以下载 Open-WebUI 镜像：

docker pull ghcr.io/open-webui/open-webui:main

下载过程可能需要几分钟，请耐心等待。

启动 Open-WebUI 容器

下载完成后，运行以下命令以启动 Open-WebUI：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

该命令中的 -d 参数表示容器在后台运行，-p 3000:8080 用于将容器内的 8080 端口映射到本地计算机的 3000 端口。启动后，您可以在浏览器中访问 http://localhost:3000 以进入 Open-WebUI 界面。

docker run #这是用于创建并运行一个新的容器的命令。
    
-d #让容器在后台运行（“detached” 模式）。
    
-p 3000:8080 #将主机的 3000 端口映射到容器的 8080 端口。这意味着你可以通过访问主机的 3000 端口来访问容器内的服务。
    
--add-host=host.docker.internal:host-gateway  #这条选项允许容器内的应用访问主机（宿主机）上的服务。它会将 host.docker.internal 指向 Docker 宿主机的 IP 地址。
    
-v open-webui:/app/backend/data #创建一个名为 open-webui的数据卷，将其挂载到容器的 /app/backend/data路径。这允许你在容器重启或删除后仍能保留数据。
    
--name open-webui #为容器指定一个名称（open-webui），方便后续管理。
    
--restart always #设置容器的重启策略为“始终”。这意味着如果容器崩溃或宿主机重启，Docker 会自动重新启动该容器。
    
ghcr.io/open-webui/open-webui:main #指定要运行的镜像及其标签（这里是 main）。

输出解释

6fb5192dc3e4912b5fdfe6a183c798351fc76e15a7c60bccc25a3573c39b0136: 这是新创建容器的唯一 ID。你可以用这个 ID 来执行后续的操作，如停止或删除容器。

配置与使用 Open-WebUI

在浏览器中打开 http://localhost:3000后，您将看到 Open-WebUI 的主界面。

首次访问可能需要注册一个账号，注册过程简单易行。

登录以后，左上角可以选择我们安装的Qwen2.5模型，如果我们安装多个模型的话，可以切换不同模型使用。

Open-WebUI 提供直观的模型搜索和下载界面，您可以从中选择诸如 Qwen（通义千问）等模型。

使用 Open-WebUI，您可以更便捷地进行交互，相较于传统终端操作，体验更加流畅与美观。

验证显卡驱动和 CUDA 程序

可以按照以下步验骤证计算机是否已安装显卡驱动和 CUDA 程序：

验证显卡驱动

检查显卡信息：

• 右键点击桌面，选择“显示设置”。
• 在“显示”设置中，向下滚动并点击“高级显示设置”。

在这里，你可以看到使用的显卡型号。

验证驱动版本：

按 Win + X 键，选择“设备管理器”。

在设备管理器中，展开“显示适配器”选项，找到你的显卡。

右键点击显卡，选择“属性”，然后切换到“驱动程序”选项卡，可以查看驱动程序版本。

验证 CUDA 安装

检查 CUDA 是否安装：

打开命令提示符（按 Win + R，输入 cmd，然后按 Enter）。输入以下命令并按 Enter：

nvcc --version

如果 CUDA 已安装，会显示 CUDA 的版本信息。如果提示“未找到命令”，说明 CUDA 可能未安装或未正确配置。

确认 CUDA 目录

你也可以检查 CUDA 是否在系统环境变量中。打开“控制面板”，选择“系统和安全” > “系统” > “高级系统设置”。

在“系统属性”窗口中，点击“环境变量”按钮，查看“系统变量”中的 Path 变量，确认其中是否包含 CUDA 的安装路径（通常是 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.X\bin）。

来源：https://blog.youkuaiyun.com/Natsuago/article/details/143457235

如何零基础入门 / 学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。