本教程是依赖于ollama来部署DeepSeek模型,该方法比原生安装方法更加方便快捷。该教程是在Ubuntu24.04系统上安装,Windows与MacOS方法几乎相同,只是在下载ollama时按照自己的实际电脑系统下载并安装即可。
最近看了后台,大家建议做一个视频,所以我又录了一个视频,是Windows端的安装方式,Linux其实也同理至是安装ollama上有一点区别,传送带:看视频啦。
一、下载ollama
使用该网站打开ollama下载页面:https://ollama.com/download/linux,如果您是使用的Windows或MacOS系统,在页面中选择对应的系统下载并安装即可,如果是Linux用户将提供的命令在命令框中运行即可。
如我获取到的命令为:
curl -fsSL https://ollama.com/install.sh | sh
所以我将该命令输入在命令框中,若有了以下的安装信息即可完成ollama的安装,为确保是否安装成功可以在命令框中输入如下命令(Windows或MacOS系统也可以在命令框中输入)。
ollama -v
如果得到版本号也可以证明已经成功安装该软件。安装及其验证结果如下图:
二、下载模型(用DeepSeeK-R1模型举例)
在该网站中https://ollama.com/search查询所需的模型,我这里需要下载DeepSeeK-R1模型,所以在搜索框中输入“deepseek-r1”。
打开第一个连接,及为需要的模型,在右侧标有7b的选项为模型的版本,数字越大模型越大效果更好,但对应所需要的计算机的性能更强,具体参数可以对应下方表格。因为我的显存较低,所以我会使用1.5b,大家可以更具自己的电脑配置选择。
以下是DeepSeek R1系列不同参数规模模型的对比及硬件需求概览表:
模型版本 | 参数量 | 内存需求(RAM) | 显存需求(训练) | 显存需求(推理) | 推荐GPU配置 | 典型应用场景 | 注意事项 |
---|---|---|---|---|---|---|---|
1.5B | 1.5B | 4-8GB | 6-8GB | 3-4GB | 单卡RTX 3090/4090 | 移动端应用、嵌入式设备、简单对话 | 支持低精度量化(4bit/8bit) |
7B | 7B | 16-32GB | 24-32GB | 12-16GB | 单卡A100 40GB | 通用对话、文本生成 | 需启用激活检查点节省显存 |
8B | 8B | 20-40GB | 28-36GB | 14-18GB | 单卡A100 40GB | 多语言处理、中等复杂度推理 | 推荐使用FlashAttention优化 |
14B | 14B | 32-64GB | 48-64GB | 24-32GB | 2*A100 40GB(张量并行) | 复杂对话、知识问答 | 需张量并行策略 |
32B | 32B | 64-128GB | 80-120GB | 40-60GB | 4*A100 80GB(流水线并行) | 专业领域分析、长文本生成 | 推荐使用ZeRO-3优化 |
70B | 70B | 128-256GB | 160-240GB | 80-120GB | 8*A100 80GB(混合并行) | 复杂代码生成、学术研究 | 需组合张量+流水线+数据并行 |
671B | 671B | 1TB+ | 1.5-2TB | 800GB-1.2TB | 64*A100/H100(多节点分布式) | 超大规模预训练、战略级AI系统 | 需定制化分布式框架支持 |
在左侧选好版本后,右侧即会显示一条命令,将该命令输入在命令框中即可,因为我选择下载1.5b,则我们命令为:
ollama run deepseek-r1:1.5b
命令完成后即可使用该模型了。
如果需要关闭模型即可使用Ctrl + d 或键盘输入 /bye to exit即可,如果需要再次启动,那么在命令行中输入"ollama run deepseek-r1:1.5b"即可。