windows环境(非docker)中利用Ollama和open webui部署运行大模型

已于 2025-02-08 10:04:44 修改
阅读量1.3w 收藏 37
点赞数 18
CC 4.0 BY-SA版权
文章标签： docker 容器 运维 llama anaconda 语言模型 windows
于 2024-04-22 00:10:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012783669/article/details/138049053
本文详细描述了如何在Windows上安装和配置Ollama和OpenWebUI，包括使用Node.js和npm，处理版本依赖，创建虚拟环境，以及设置和下载大语言模型的过程。特别提到了在国内环境下处理transformers库安装的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 1. ollama 下载安装：

GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.

 

安装完成后可以在cmd命令提示符窗口中输入ollama -v查看是否安装好。

输入ollama run llama3可以直接下载llama3大模型并运行进行对话，默认是llama3:latest版本，8b的一个版本。该模型只能进行文本对话。

2. open webui下载安装

🚀 Getting Started | Open WebUI

官方文档推荐使用docker安装，这里我使用非docker的方式安装

 2.1 安

最低0.47元/天 解锁文章
幻紫辰
关注
【AI】如何用非Docker方法安装类GPT WebUI
每日出拳老爷子的博客
05-24 1394
本地LLM通信的能力需要做成局域网SAAS服务才能方便所有人使用。所以需要安装WebUI，这样既有了用户界面，又做成了SAAS服务，很理想。
Windows搭建Docker+Ollama+Open-WebUI部署DeepSeek本地模型
CPUOS2010的博客
01-29 6814
本文将详细介绍如何在Windows系统上安装和使用Docker+Ollama+Open-WebUI，这三个强大的工具将帮助您轻松管理和运行大型语言模型DeepSeek。Ollama简化了模型的下载与部署，而Open-WebUI则提供了一个直观的图形用户界面，使用户能够更方便地与模型进行交互。
AI大模型零基础入门学习路线(非常详细)从入门到精通，看这篇就 够了
2401_85379281的博客
08-15 2135
学习AI大模型从零基础入门到精通是一个循序渐进的过程，涉及到理论知识、编程技能和实践经验。下面是一份详细的指南，帮助你从头开始学习并逐步掌握AI大模型的构建与应用。
【CUDA】如何在 windows 上安装 Ollama 3 + open webui （docker + WSL 2 + ubuntu + nvidia-container）
Smileyan's blog
07-13 1万+
windows 上安装部署 Ollama3 + open webui
Win电脑使用Ollama与Open Web UI搭建本地大模型运行工具（附教程）
最新发布
瓦罗兰特顶级C位的博客
05-27 955
本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具，并安装Open WebUI结合cpolar内网穿透软件，实现在公网环境也能访问你在本地内网搭建的llama2、千文qwen等大语言模型运行环境。
openWebUI+ollama&windows+不用docker+webLite本地安装
m0_46499080的博客
04-26 1万+
两个web框架都可以，先说简单的 ollama-webui-lite() 轻量级，只使用nodejs先装 https://ollama.com/download新建文件夹 E:\Proj\olloamaModsSav ，cmd进入该目录 ollama run llama3，那么就会直接下载该模型到该目录下，在blobs目录里面会出现这种文件完了之后就会在cmd里可以进行问答，使用。
【原创】手动安装open-webui，非官方docker安装方法，可汉化ui
jxyk2007的专栏
03-19 1万+
open-webui是一个为LLMs（大型语言模型）设计的友好型Web用户界面，支持Ollama和OpenAI兼容的API。它提供了直观的聊天界面、响应式设计、快速响应性能、简易安装、代码语法高亮、Markdown和LaTeX支持、本地RAG集成、Web浏览能力、提示预设支持、RLHF注释、会话标记、模型下载/删除、GGUF文件模型创建、多模型支持、多模态支持、模型文件构建器、协作聊天、OpenAI API集成等功能。
非docker方式部署openwebui过程记录
程序员记事本
01-02 2300
手动部署openwebui的方式记录
Linux平台利用Ollama和Open WebUI部署大模型
Clang’s Blog
03-23 1万+
在当今的人工智能领域，部署大型深度学习模型是一个挑战，尤其是对于那些不熟悉复杂技术栈的用户而言。然而，随着开源技术的不断发展，出现了一些强大的工具，如 Ollama 和 Open-webui，使得部署大型模型变得更加简单和高效。Ollama 是一个功能强大的开源平台，专门用于部署深度学习模型。与此同时，Open WebUI 是一个开源的 Web 用户界面工具，为用户提供了友好的界面来与 Ollama 平台进行交互。
Windows 10 安装 DockerDesktop+Ollama 3 + open webui
cashcat的技术专栏
08-18 4211
本文记录了自己安装部署 Ollama3 + open webui 并基于GPU推断的整个过程，由于篇幅问题，没有办法将所有我遇到的问题都记录下来，但可以基本确定的是，按照如上步骤完成部署安装，一般情况下是可以正常运行的。请务必耐心处理一个一个问题。重启一下我们的个人电脑，重新启动我们前面创建的 container ，可以看到模型依然存在，之前完成的内容并不会因此而失效。这里我们不分别安装两次了，我们使用官方提供了的方法，一个镜像包括了 open webui 与 ollama3，更加方便。
本地用ollama部署开源大模型最简单教程(不需要安装docker) Windows, Linux, Mac
leon1996的博客
07-17 2722
本地用ollama部署开源大模型最简单教程(不需要安装docker) Windows, Linux, Mac。
本地安装Open Web UI（非docker）
weixin_44385380的博客
02-24 1076
我本地版本为: Python 3.11.9 , node v22.10.01. 安装Python：下载并安装Python 3.11.9，建议安装路径中不要包含中文字符，并勾选“Add python 3.11 to Path”选项。安装完成后，在命令提示符中输入python，若显示Python版本信息则表示安装成功。2. 安装Node.js和npm：访问Node.js中文网，下载并安装较新版本的Node.js（如22.10.0），安装过程中会自动安装npm。
1.WLS下非docker安装ollama+open webui及qwen2-7b模型应用
gf0068的博客
08-29 2068
WLS下非docker安装ollama+open webui及qwen2-7b模型应用
Win环境下Ollama+OpenWebUI本地部署llama教程
qq_42629547的博客
07-18 2959
本文将简单介绍如何在Windows环境下通过Ollama本地部署大语言模型（LLM），并通过OpenWebUI实现访问。
在Windows上轻松部署本地大语言模型：Ollama与Open-WebUI的完整指南
小白一枚～
11-03 1万+
本教程告诉读者如何使用Ollama和Open-WebUI在本地部署大型语言模型，以Qwen2.5为例，超级详细完整，从下载Ollama到下载Doctor Desktop（包含汉化）以及下载模型（包含更改模型保存路径）与模型本地部署。
Win电脑使用Ollama与Open Web UI搭建本地大语言模型运行工具
Y525698136的博客
01-16 3633
本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具，并安装Open WebUI结合cpolar内网穿透软件，实现在公网环境也能访问你在本地内网搭建的llama2、千文qwen等大语言模型运行环境。
Ollama教程——入门：开启本地大型语言模型开发之旅
热门推荐
walkskyer的博客
04-02 5万+
ollama不仅支持运行预构建的模型，还提供了灵活的工具来导入和自定义您自己的模型。无论是从GGUF格式导入还是进行模型的个性化设置，ollama都能满足您的需求。您还可以通过自定义提示来调整模型的行为。接着，创建一个ModelfileFROM llama2 # 设置创造性更高的温度参数 PARAMETER temperature 1 # 设置系统消息 SYSTEM "" "你是超级马里奥，以马里奥的身份回答问题。"" "这样，您就能按照自己的需求定制模型了。
ImportError: cannot import name 'Protocol' from 'typing'
05-30
这个错误通常是由于使用了过期的 Python 版本引起的，'Protocol' 是 Python 3.8 中引入的新类型，如果你的 Python 版本低于 3.8，那么就会出现该错误。如果你的 Python 版本不低于 3.8，那么可能是你的代码中存在其他问题。 为了解决这个问题，可以尝试以下几个方法： 1. 更新你的 Python 版本至 3.8 或更高版本。 2. 检查你的代码中是否存在拼写错误或其他语法错误。 3. 确认你的代码中是否有导入 'typing' 模块的其他部分，在这些部分中导入 'Protocol' 可能会导致此错误。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值