windows环境(非docker)中利用Ollama和open webui部署运行大模型

本文详细描述了如何在Windows上安装和配置Ollama和OpenWebUI,包括使用Node.js和npm,处理版本依赖,创建虚拟环境,以及设置和下载大语言模型的过程。特别提到了在国内环境下处理transformers库安装的问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 1. ollama 下载安装:

GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.

 

安装完成后可以在cmd命令提示符窗口中输入ollama -v查看是否安装好。

输入ollama run llama3可以直接下载llama3大模型并运行进行对话,默认是llama3:latest版本,8b的一个版本。该模型只能进行文本对话。

2. open webui下载安装

🚀 Getting Started | Open WebUI

官方文档推荐使用docker安装,这里我使用非docker的方式安装

 2.1 安

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值