win10环境配置ollama-ui运行llama3模型

置顶

阆遤

已于 2024-06-22 12:04:06 修改

阅读量3.4k

点赞数 10

文章标签：人工智能 ollama llama3 win10 python ollama-ui

于 2024-06-22 11:52:17 首次发布

本文链接：https://blog.youkuaiyun.com/liangma/article/details/139878040

版权

先说我的笔记本电脑配置intel-i7-11390h,4核8处理器，内存16G。显卡NVIDA GeFroce MX450，2G显存，这是一台5000元左右的电脑。我用它跑roop、sd1.5、ffusion2、ChatTTs还有python+pytorch的自定义模型，现在用来跑llama3。当然，sd1.5和ffusion2这点显存，只能是基本体验。至于最近的Stable Diffusion 3 Medium，我ComfyUI安装完毕后，跑了24分钟在第二个工作流就提示显存不足了，所以...就洗洗睡了。

言归正传：

一、安装ollama并下载llama3中文模型

1、ollama从官网下载并正确安装，地址：https://ollama.com/download。注意，ollama下载的模型地址默认在C:盘，所以建议修windows环境变量OLLAMA_MODELS到另外的分区上。我的设置是OLLAMA_MODELS=E:\AiModel\ollama\models

2、去下载Llama3-8B-Chinese-Chat，我用的是shenzhi-wang/Llama3-8B-Chinese-Chat 下载地址：shenzhi-wang/Llama3-8B-Chinese-Chat · HF Mirror ，在这个网站上有好几个版本的模型可以选择，可以按照说明，复制ollama的下载模型指令。比如我下载的是wangshenzhi/llama3-8b-chinese-chat-ollama-q8，其指令是：

ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8.

ollama下载模型根据你的网络情况需要一点时间，但值得开心的是，这个下载很顺畅。感谢ollama和Shenzhi Wang (王慎执) and Yaowei Zheng (郑耀威)

在windows命令

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

阆遤

关注关注

10
点赞
踩
18

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

ollama 运行第三方模型

05-06

6万+

本质上是通过GGUF 来创建ollama可执行的模型文件。

Ollama+Open WebUI本地部署Llama3 8b（附踩坑细节）

最新发布

2303_81096390的博客

04-22

491

注意：1:不要用虚拟机搭建，大部分虚拟机会遇到不支持虚拟化的问题，就在windows本机搭建，保证内存运存充足2：在遇到无法打开dify的网站，出现internal server error错误时，要注意看两个位于dify-1.2.0\docker目录下的文件，一个是.env，一个是docker-compose.yaml，运气好的不用修改这两个文件都可以成功打开dify网站，运气不好的两个都要修改才能成功访问搭建过程前提，已经在官网上找到ollama，并且成功安装。

win10安装ollama部署本地模型

weixin_42220704的博客

05-19

2051

支持在 Modelfile 中导入 GGUF 模型创建一个名为 Modelfile 的文件，使用 FROM 指令指定要导入的模型的本地文件路径创建模型运行模型创建Modelfile文件# 设置温度为 1 [值越高越有创造性，值越低越连贯]# 设置系统消息SYSTEM """"""运行模型>>> hiHello!更多示例，请参考examples目录。有关使用Modelfile的更多信息，请参考Modelfile文档。

Win10环境下使用Ollama搭建本地AI

一名业余前端的博客

03-29

5063

win10环境安装Ollama，并通过webui访问。以及如何在vscode中使用Ollama实现github copilot功能

windows环境Ollama部署Llama3中文并调优

u012864987的专栏

05-20

6232

地址：https://ollama.com/downloadgithub地址： https://github.com/ollama/ollama直接运行exe程序安装。安装完成后，可以在右下角看到ollama图标环境变量控制：OLLAMA_MODELS 配置模型下载部署的目录, 示例： D:\modelsOLLAMA_HOST 服务地址端口，示例： 0.0.0.0:11434ollama运行命令见 ollama --help 查看帮助。

本地搭建llama大模型及对话UI

qq_31851107的博客

04-29

1770

通过命令 ollama run llama3:8b 下载ollama:8b模型（注意，是ollama量化后的模型，模型大小实际只有4.9G左右）完成后，docker图形化工具可以免登录使用，终端也可通过docker --version 命令查看docker版本。open-webui容器拉取过程如上图，可以通过docker ps -a已经可以看到open-webui。到ollama官网地址下载对应操作系统版本的ollama平台，按照安装指引一步步操作即可。选择对应的版本即可（我的环境为M芯片的MBP）

Win环境下Ollama+OpenWebUI本地部署llama教程

qq_42629547的博客

07-18

2915

本文将简单介绍如何在Windows环境下通过Ollama本地部署大语言模型（LLM），并通过OpenWebUI实现访问。

Ollama 本地部署大模型 | Windows本地部署 Llama3.1 大模型

静愚AGI

07-23

2724

Ollama是一个开源的大型语言模型部署工具，它可以帮助用户快速在本地部署运行大模型。类似于Docker一样，仅仅用几行命令就可以运行一个大模型。”，之后重启ollama，我把下载模型的目录设置在了"D:\ollama"目录下。由于Ollama在下载模型时，会自动下载到C盘，因此需要设置下载目录。Ollama有一套用于运行和管理模型的 REST API。这样就基本完成了Ollama在本地部署大模型。在安装模型之前需要到模型仓库中获取模型信息。剩下的就是通过三方工具开发自己的大模型应用。

Ollama+Llama+Docker+WebUI Windows10部署指南

weixin_50482233的博客

05-13

6146

如果打开后，出现WSL 2 installation is incomplete的问题，可以直接点击下方链接。安装好后，可以在docker中找到相应的容器，点击这个组件，就可以打开webui界面。直接在网页中输入http://ip+已经在环境变量中设置好的端口，证明可以连接。先打开控制面板，找到程序打开后，点击“启动或关闭Windows功能”直接搜索，可以找到ollama，点击打开，服务后台启动着。之后打开Docker desktop，点击accept。点击后可以在任务管理器看到，服务已经打开了。

Win10本地部署Ollama + AnythingLLM+nomic-embed-text 读取本地文档构建私有知识库

weixin_37847603的博客

05-10

1万+

5、安装AnythingLLM工具后打开初始化界面，会进入到配置页面，在【LLM Preference】选项卡中，选择Ollama，然后配置【http://127.0.0.1:11434】、选择运行的大模型【qwen:4b】，token填【8192】6、下一步是配置【Embedding Preference】选项卡中，一样选择 Ollama，然后配置【http://127.0.0.1:11434】、选择运行的大模型【nomic-embed-text】，length填【512】

使用ollama在本地部署llama3-8b大模型

weixin_39945822的博客

06-15

1万+

使用ollama在本地部署llama3-8b大模型

obsidian中使用ollama部署llama3,实现本地对话

King_key的博客

05-09

3114

在obsidian中使用llama3

Win10 ollama经常出现Error: could not connect to ollama app, is it running?

本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。

12-26

2万+

Win10专业版。

ollama教程（window系统）

老王的博客

01-12

1万+

介绍在window操作系统下安装和使用ollama。

在Windows电脑上快速运行AI大语言模型-Llama3

east4ming的博客

04-20

1967

ollama下载、安装与简单使用（windows10虚拟机）

悠逸的博客

02-08

1046

Ollama下载、安装与简单使用（windows10虚拟机）围绕Ollama这一“大模型部署推理”利器，简单介绍了Ollama生态，然后说明了Ollama下载与安装，以及模型的安装方式（直接安装、GGUF导入、其他）与命令行简单使用，最后说明了Ollama的API简单使用、常用命令与应用集成问题。

Windows10/11部署llama及webUi使用

05-20

1482

我简单看了一下，目前各类教程有几种路子来实现本文目的。

ollama win10 openwebui找不到大模型

03-12

<think>好的，我现在需要解决用户在Windows 10上使用Ollama和OpenWebUI时遇到的大模型加载失败的问题。根据用户提供的引用内容，我需要先分析可能的原因，然后逐步给出解决方案。首先，用户提到在OpenWebUI的模型列表中找不到Ollama已经下载的模型[^1]。这可能涉及到Ollama的模型路径配置是否正确。引用[3]中提到，安装Ollama时需要配置模型路径，特别是2.3节详细说明了配置模型路径的重要性，如果路径不正确，OpenWebUI可能无法检测到模型[^3]。因此，我应该检查用户是否正确配置了Ollama的模型存储路径，并确认模型是否下载到了正确的目录下。其次，引用[2]指出模型下载可能因网络问题中断，导致模型文件不完整[^2]。所以需要确认用户是否成功下载了模型，比如llama3 8B模型，是否在下载过程中出现中断，或者模型文件是否损坏。用户可能需要重新下载模型，并确保网络稳定。接下来，引用[4]提到了Windows环境下的一键启动方案，可能涉及到Docker和OpenWebUI的正确安装与配置[^4]。用户可能在安装Docker或配置OpenWebUI时存在问题，例如Docker的镜像源没有切换到国内源，导致依赖下载失败，或者OpenWebUI的服务未能正确连接到Ollama的API端口。需要检查Docker是否正常运行，OpenWebUI的容器是否正确启动，以及网络端口（如11434）是否开放，避免防火墙或安全软件拦截。另外，用户的问题可能还涉及到环境变量或权限问题。例如，Ollama默认的模型路径可能需要管理员权限才能写入，或者用户自定义的路径没有正确设置权限，导致OpenWebUI无法读取。此时需要指导用户以管理员权限运行Ollama，并检查文件夹权限设置。此外，版本兼容性也是一个潜在因素。Ollama和OpenWebUI的版本是否兼容当前的Windows 10系统，或者是否有已知的bug需要更新到最新版本。建议用户检查软件版本，必要时进行更新。最后，综合以上可能的原因，我需要分步骤给出解决方案，包括验证模型路径、重新下载模型、检查Docker配置、端口设置、权限管理和版本更新等。同时，需要引用相关的引用内容来支持每一步的建议，确保用户能够按照步骤操作解决问题。</think>### Windows 10下Ollama OpenWebUI大模型加载失败的解决方案 #### 1. 检查Ollama模型路径配置 Ollama默认模型路径为`C:\Users\<用户名>\.ollama\models`，若自定义路径需修改配置： - 找到Ollama配置文件（默认位于安装目录下的`config.json`） - 确认`OLLAMA_MODELS`环境变量指向正确的模型存储路径[^3] - **操作示例**： ```powershell # 以管理员身份运行PowerShell [Environment]::SetEnvironmentVariable("OLLAMA_MODELS", "D:\ai_models", "Machine") ``` #### 2. 验证模型下载完整性 - 重新下载模型时添加`--insecure`参数跳过证书验证： ```cmd ollama pull llama3:8b --insecure ``` - 检查模型文件完整性： ```powershell Get-Item C:\Users\用户\.ollama\models\blobs\sha256-* ``` 正常情况应有多个GB级文件 #### 3. Docker与OpenWebUI联调配置 - 检查Docker服务状态： ```powershell docker ps -a | findstr "open-webui" ``` - 重置OpenWebUI容器连接： ```powershell docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main ``` 重点注意`--add-host`参数解决Windows容器网络隔离问题 #### 4. 端口与防火墙配置 - 开放Ollama API端口： ```powershell New-NetFirewallRule -DisplayName "Ollama" -Direction Inbound -Protocol TCP -LocalPort 11434 -Action Allow ``` - 验证端口通信： ```powershell Test-NetConnection -ComputerName 127.0.0.1 -Port 11434 ``` #### 5. 权限提升操作 - 以管理员身份运行Ollama服务： ```powershell Start-Process ollama -Verb RunAs ``` - 修改模型目录权限： ```powershell icacls "D:\ai_models" /grant "Users:(OI)(CI)F" ``` #### 6. 版本兼容性验证 | 组件 | 最低要求版本 | 推荐版本 | |------------|--------------|------------| | Ollama | 0.1.23 | 0.1.25 | | Docker | 20.10.8 | 24.0.6 | | Windows 10 | 19042 | 22H2 | 可通过以下命令检查版本： ```powershell ollama --version docker --version [System.Environment]::OSVersion.Version ```