DeepSeek本地部署

前言

蛇年过年前,国产大模型 DeepSeek以更高的效率、更低的计算成本火爆国内外,成为现象级AI,但由于访问人数过多经常频繁出现反应迟缓甚至是宕机的情况。

但万幸的是,DeepSeek 是一个开源模型,我们可以通过本地部署在自己的终端上随时使用,而且部署到本地后无需联网即可直接使用。

硬件要求

CPU:至少需要一个支持虚拟化的多核处理器(推荐 Intel i5 或更高)。

内存:至少 8GB RAM(推荐 16GB 或更高,尤其是运行大模型时)。

显卡(可选):如果你希望利用 GPU 加速模型运行,建议使用支持 CUDA 的 NVIDIA 显卡(如 GTX 1060 或更高)。不过,DeepSeek 也可以在 CPU 上运行,只是速度会稍慢。

安装 Ollama

如果想要在本地运行 DeepSeek 需要用到 Ollama 这个工具,这是一个开源的本地大模型运行工具。

我们可以访问 https://ollama.com/ 进入 Ollama 官网下载 Ollama ,下载时有三个系统的安装包可选择,这里只需要选择下载我们电脑对应的操作系统版本即可,这里我选择的是 Windows 版本。

在这里插入图片描述
下载完成后,双击安装即可。大约占用C盘4.5G的空间。
打开cmd,输入ollama help 验证是否安装成功。
在这里插入图片描述

设置ollama环境变量,重启后生效。

OLLAMA_PROXY_URL:127.0.0.1:11434
OLLAMA_MODELS:指定ollama模型的存放路径(E:\deep-seek\ollama_models)

二:下载部署 Deepseek 模型

回到 https://ollama.com/ 网址中,在网页上方搜索框中输入 Deepseek-r1,这个 Deepseek-r1 就是我们需要本地部署的一个模型。
在这里插入图片描述
根据自己的电脑配置选择合适的模型。

模型显存显卡内存硬盘
1.5b4-6 GBNVIDIA GTX 1060 / RTX 20608-16 GB10-20 GB
7b12-16 GBNVIDIA RTX 3060 / RTX 308016-32 GB20-40 GB
8b16-20 GBNVIDIA RTX 3080 / RTX 408032-64 GB40-80 GB
14b24-32 GBNVIDIA RTX 3090 / A10064-128 GB80-160 GB
32b48-64 GBNVIDIA A100 / RTX 4090128-256 GB160-320 GB
70b80-128 GBNVIDIA A100 (多卡) / H100256-512 GB320-640 GB
671b320+ GB多张 NVIDIA A100 / H1001 TB+2 TB+

查看自己电脑的配置
方法一:
按下 Win + R 键,打开运行窗口。
输入 dxdiag,然后按回车。

在打开的 DirectX 诊断工具 窗口中,切换到 显示 选项卡。
这里会显示显卡的型号、制造商以及显存大小(标注为“显示内存”)

方法二:
通过 NVIDIA 控制面板查看(仅限 NVIDIA 显卡)
右键点击桌面空白处,选择 NVIDIA 控制面板。

在左下角点击 系统信息。
在弹出的窗口中,可以看到显卡的详细信息,包括显存大小。
在这里插入图片描述
我这里选择7b,复制右方命令
在这里插入图片描述

切换到CMD窗口,运行此命令

ollama run deepseek-r1:7b

安装完成后,再次输入以上命令,进入交互命令。
在这里插入图片描述
可以直接进行对话了。

可视化交互工具安装

虽然我们可以在本地正常使用 Deepseek 这个模型了,为了更方便的使用,这时我们就可以通过 Cherry Studio这个可视化图文交互界面来使用它。
https://cherry-ai.com/download
如果下载失败,可尝试用手机开启热点。或者在下载博主上传到百度云的文件。提取码:c6on
下载完成,双击安装即可。

配置Ollama地址

在这里插入图片描述
点击管理,选择对应版本,点击+号
在这里插入图片描述
点击检查,进行连接测试
在这里插入图片描述

显示连接成功
在这里插入图片描述

对话

接下来切换到deepseek-r1即可。
在这里插入图片描述

然后可以进行对话了,在未联网的环境下,也可以正常问答。
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值