DeepSeek-R1巨简单本地部署教程

本教程是依赖于ollama来部署DeepSeek模型,该方法比原生安装方法更加方便快捷。该教程是在Ubuntu24.04系统上安装,Windows与MacOS方法几乎相同,只是在下载ollama时按照自己的实际电脑系统下载并安装即可。

最近看了后台,大家建议做一个视频,所以我又录了一个视频,是Windows端的安装方式,Linux其实也同理至是安装ollama上有一点区别,传送带:看视频啦

一、下载ollama

使用该网站打开ollama下载页面:https://ollama.com/download/linux,如果您是使用的Windows或MacOS系统,在页面中选择对应的系统下载并安装即可,如果是Linux用户将提供的命令在命令框中运行即可。

在这里插入图片描述

如我获取到的命令为:

curl -fsSL https://ollama.com/install.sh | sh

所以我将该命令输入在命令框中,若有了以下的安装信息即可完成ollama的安装,为确保是否安装成功可以在命令框中输入如下命令(Windows或MacOS系统也可以在命令框中输入)。

ollama -v

如果得到版本号也可以证明已经成功安装该软件。安装及其验证结果如下图:

在这里插入图片描述

二、下载模型(用DeepSeeK-R1模型举例)

在该网站中https://ollama.com/search查询所需的模型,我这里需要下载DeepSeeK-R1模型,所以在搜索框中输入“deepseek-r1”。

在这里插入图片描述

打开第一个连接,及为需要的模型,在右侧标有7b的选项为模型的版本,数字越大模型越大效果更好,但对应所需要的计算机的性能更强,具体参数可以对应下方表格。因为我的显存较低,所以我会使用1.5b,大家可以更具自己的电脑配置选择。

在这里插入图片描述

以下是DeepSeek R1系列不同参数规模模型的对比及硬件需求概览表:

模型版本参数量内存需求(RAM)显存需求(训练)显存需求(推理)推荐GPU配置典型应用场景注意事项
1.5B1.5B4-8GB6-8GB3-4GB单卡RTX 3090/4090移动端应用、嵌入式设备、简单对话支持低精度量化(4bit/8bit)
7B7B16-32GB24-32GB12-16GB单卡A100 40GB通用对话、文本生成需启用激活检查点节省显存
8B8B20-40GB28-36GB14-18GB单卡A100 40GB多语言处理、中等复杂度推理推荐使用FlashAttention优化
14B14B32-64GB48-64GB24-32GB2*A100 40GB(张量并行)复杂对话、知识问答需张量并行策略
32B32B64-128GB80-120GB40-60GB4*A100 80GB(流水线并行)专业领域分析、长文本生成推荐使用ZeRO-3优化
70B70B128-256GB160-240GB80-120GB8*A100 80GB(混合并行)复杂代码生成、学术研究需组合张量+流水线+数据并行
671B671B1TB+1.5-2TB800GB-1.2TB64*A100/H100(多节点分布式)超大规模预训练、战略级AI系统需定制化分布式框架支持

在左侧选好版本后,右侧即会显示一条命令,将该命令输入在命令框中即可,因为我选择下载1.5b,则我们命令为:

ollama run deepseek-r1:1.5b

命令完成后即可使用该模型了。

在这里插入图片描述

如果需要关闭模型即可使用Ctrl + d 或键盘输入 /bye to exit即可,如果需要再次启动,那么在命令行中输入"ollama run deepseek-r1:1.5b"即可。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大白xy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值