【DeepSeek】个人PC本地部署和运行DeepSeek-R1:70b

部署运行你感兴趣的模型镜像

本机配置

1、硬盘:512GB(固态);

2、处理器:i9-10900X(10核、20线程)

3、内存:128GB

4、显卡:RTX2060-EV0 6GB

5、系统:Windows 11 企业版 Ltsc x64

首先,我们需要下载一个大模型部署工具,这里使用的是开源的 Ollama ,其最新版本为0.5.11。由于我的模拟环境是 Windows PC,所以 Ollama 下载的是 Windows 版本。

下载地址如下:

https://github.com/ollama/ollama/releases/download/v0.5.11/OllamaSetup.exe

这个程序下载速度非常慢,无论是从 Github 下载,还是从官网下载。所以,需要一个加速网站,比如下面的这个网站:

https://github.akams.cn/

我们将 Ollama 的 Github 下载地址黏贴在后面的URL地址框里面,然后点击后边的开始下载按钮即可开始下载,速度还是可以的。

下载后,双击安装 Ollama ,这里就不展示安装过程了。安装结束后,在任务栏的隐藏图标区域里面就可以看见 Ollama 的图标了(白的的那个)。

安装完成后,我们再下载一个可以本地与DeepSeek进行界面交互的聊天软件 - Chatbox,下载地址如下:

https://download.chatboxai.app/releases/Chatbox-1.9.8-Setup.exe

下载后一路安装即可,后面会在启动界面配置相关 DeepSeek 的版本信息。

接下来,就要进行最重要的一步了,使用 Ollama 下载 DeepSeek 了。我先后下载了 DeepSeek 的8b和70b版本,8b版本的使用,感觉很流畅,但是AI给出的答案,很多都是驴头不对马嘴,给我的感觉非常不好。所以下面我给大家演示的是 70b 版本的下载和使用。

打开一个CMD窗口,输入并执行下面的命令即可(有点像 docker 镜像的下载),这个模型体积非常大,达到了42GB,8b的体积好像是4.7GB(记不太清了)。

ollama run deepseek-r1:70b

等完全下载结束后,解压成功了,就可以打开 Chatbox,并做如下设置:

在模型这个标签页下面,执行下面的配置,然后保存即可。

  • 选择模型提供方:OLLAMA API
  • API域名默认即可
  • 选择模型为deepseek-r1:70b

下面我们就可以在 Just chat这个专栏里面与 DeepSeek-R1:70b的模型进行交流了,不过我的电脑配置,运行70b这个版本的模型,DeepSeek的思考(Thinking)和回复的输出,非常、非常、非常卡!不过相比于 8b 的模型,这个模型给出的答案,相对来说,准确度会高很多,但是由于这个模型无法联网,因此回复里面的部分结果,还是有问题的,比如给的JDK的下载地址感觉就有问题,一个是无法访问,另外下载的JDK是Oracle的商业JDK,但是JAVA环境变量配置又是OpenJDK。

实在是太卡了,无法进行更多的测试,下面是我问的这个问题后,CPU和内存消耗的情况,看起来CPU 被消耗了接近一半,内存消耗了 39GB。

 看来我的PC跑 70b 确实压力山大,有机会换 32b 版本试试。不过有DeepSeek无法联网,感觉聊天很无趣。

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cnskylee

技术分享我是认真的,期待您打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值