手把手教你 DeepSeek本地部署

部署运行你感兴趣的模型镜像

在这里插入图片描述

一、安装ollama

网址:https://ollama.com/
在这里插入图片描述
我这里是Linux系统,使用链接方式下载。
在这里插入图片描述
这是windos方法
在这里插入图片描述
在这里插入图片描述
安装完成后,桌面右下角会显示ollama图标
在这里插入图片描述
官网地址:https://ollama.com 安裝包可以回复:6020 进行下载

二、下载DeepSeek-R1 模型

2.1 找模型

在这里插入图片描述

可以看到模型有根据参数分为1.5b,7b,8b,14b,32b,70b,671b等,我们需要根据自己电脑选择下载对应参数的模型。
我们可以问题下deepseek

2.2 询问配置适合哪个模型

2.2.1 查询本机配置

内存大小和显卡大小
在这里插入图片描述
提示词如下:

我现在正在使用ollama部署deepseek-r1模型,但是模型分为1.5b,7b,8b,14b,32b,70b,671b等,我不知道该怎么选择适合我电脑配置模型了,我现在把我电脑的配置信息告诉你,你帮我选择一下吧

个人电脑信息如下:
系统:centos 
运行内存:54G
英伟达显卡:
|=========================================+========================+======================|
|   0  NVIDIA RTX A5000               Off |   00000000:21:00.0 Off |                  Off |
| 30%   22C    P8             19W /  230W |       4MiB /  24564MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA RTX A5000               Off |   00000000:41:00.0 Off |                  Off |
| 30%   21C    P8             15W /  230W |       4MiB /  24564MiB |      0%      Default |
|                                         |                        |                  N/A

在这里插入图片描述
根据建议,我选择使用8B的。

2.2.3 安装模型

在这里插入图片描述
这个时间会比较长,需要耐心等待
在这里插入图片描述

2.2.4 测试

安装完成后 需要测试一下。
项目体验展示:

直接用ollama run deepseek-r1:1.5b命令启动。运行起来很流畅,回答得又快又好,简直就像有个智能助手在身边。
在这里插入图片描述
总结
Ollama真的是一个非常实用且易用的开源项目。它让我们这些“小白”也能轻松地在本地部署和管理大语言模型。无论你是开发者、研究人员还是爱好者,只要你对AI感兴趣,Ollama都是一个值得尝试的工具。

项目已经打包好了,关注“晓明兄”公众号,回复:6020 。里面有模型内容,拷贝到.ollama 文件夹中(例如 C:\Users<YourUsername>.ollama\models)

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值