本地快速部署DeepSeek-R1

使用Ollama协助部署

Ollama 是一个开源的本地化大模型部署工具,旨在简化大型语言模型(LLM)的安装、运行和管理。它支持多种

模型架构,并提供与 OpenAI 兼容的 API 接口,适合开发者和企业快速搭建私有化 AI 服务。

下载安装Ollama

Ollama

通过官网,下载Ollama,本次以在windows11上部署使用。当然也支持其他服务器。

点击Download下载OllamaSetup.exe

下载后点击一步步的安装

验证安装

安装完成后,打开命令行工具,输入 ollama --version ,如果显示版本号,说明安装成功了

windows安装是一个应用,双击之类的都可以启动。也可以使用ollama serve 命令启动

下载DeepSeek-R1模型

当然你也可以下载其他的模型,点击链接:https://ollama.com/search ,可以看到有不同的模型。

选择不同的模型,点击进入。

可以看到有不同的模型大小可以选择,根据自己电脑的实际情况选择,如果是2G的显卡,建议使用1.5b那个,模型大小是1.1GB。

下载模型

复制ollama run deepseek-r1 ,在命令行窗口输入,等待下载完。

下载的快慢取决于你自己的网速和模型大小。

到后面可能会下载越来越慢,可以Ctrl+C停止掉,再重新执行,让其重新链接就好,可以接着下载。

运行模型

如果上一步执行完,其实就运行了。执行ollama run deepseek-r1就是启动命令。

这是命令行的方式,还可以结合web页面去使用。可以不用run命令。

WebUI使用模型

使用Open WebUI

只要能支持ollama的都可以。

https://github.com/open-webui/open-webui

安装

需要python环境,我使用的是python3.12.4

使用命令:pip install open-webui

当前看其文档,还可以有其他安装方式。

安装过程中遇到了这个错误:

我的解决方式是下载 https://visualstudio.microsoft.com/visual-cpp-build-tools/ 这个工具,安装了个VisualStudio ,貌似这个方式有点愚蠢。

启动服务

open-webui serve

启动后,在浏览器中访问 http://localhost:8080/ 既可以进入 Open WebUI 界面。

选择自己的模型,就可以使用了

自己部署的,没有官网好用!!!!!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值