如何在DigitalOcean的H100 GPU服务器上运行DeepSeek R1 模型

在 DigitalOcean,我们一直在关注开源大语言模型(LLMs)和商业封闭模型之间差距的不断缩小。其中一个最关键的能力就是“推理”,也就是用合乎逻辑、讲得通的方式思考问题。

以前,大语言模型的表现比较单一。只要给它们一个提示,它们就会直接给出答案,根本没有什么“二次思考”的过程,也没有什么机制能让模型在出错时自己纠正。这就让它们在遇到那些指令本身就可能有问题的情况时,很难进行深入推理、提出疑问或做出调整。比如说,对于推理能力较弱的模型来说,如果遇到复杂的语言数学题,没有用户提供明确的指示和操作,它们可能根本解决不了。

现在,全新一代的推理型大语言模型来了。以 OpenAI 的 O1 模型系列为开端,这些推理模型一经问世,就在社区内引起了轰动,因为它们在多种逻辑任务上(比如编程、数学,甚至科学推理)基本上缩小了人类与机器学习之间的差距。

跟之前每一次技术进步一样,开源社区也在努力追赶封闭模型的步伐。最近,第一个达到这种抽象推理水平的开源模型——Deepseek R1 系列大语言模型,已经向大家发布了。

在这篇两部分系列文章的第一部分中,我们将展示如何在 DigitalOcean 的 GPU Droplets 上,通过 Ollama 来运行这些模型。你会学到如何设置 GPU Droplet、安装 Ollama,以及如何开始用 Deepseek R1 进行推理。

先决条件

  • DigitalOcean 账号:本教程将使用 DigitalOcean 的 GPU Droplets,提供包括NVIDIA H100(2.5美元/小时)和NVIDIA H200 等型号的GPU服务器。​注册,可访问digitalocean.com,目前DigitalOcean也支持通过支付宝付费。​
  • Bash 命令行基础:我们会用终端来访问、下载和使用 Ollama,相关命令都会提供。

设置 GPU Droplet

第一步就是配置好你的机器。按照官方 DigitalOcean 文档的指引,新建一个 GPU Droplet。(其实非常简单,你只需要登录账号,进入后台,在左侧标签栏里就能找到“GPU Droplet”的选项。

我们建议在这个项目中选择“AI/ML Ready”操作系统,并使用一块 NVIDIA H100 GPU,除非你打算运行最大的 671B 参数的DeepSeek模型。

当你的机器启动完毕后,就可以进入下一步了。

安装 Ollama 和 DeepSeek R1

在本次演示中,我们会利用 Ollama 开发者的出色工作,快速将我们的模型上线。点击 GPU Droplet 详情页面右上角的按钮,打开一个 web 控制台窗口,然后切换到你想要工作的目录。

接着,在终端里粘贴下面这条命令:

curl -fsSL https://ollama.com/install.sh | sh

这条命令会在你的机器上安装 Ollama。安装过程可能需要几分钟,一旦完成,就一切就绪了!是不是很简单?

接下来,我们只需要执行一条命令,让 DeepSeek R1 模型在你的机器上运行。Ollama 提供了多种模型尺寸(阅读博客文章了解1.5b、7b、8b、14b、32b、70b 和 671b 不同版本的部署配置要求),这里我们推荐在单个H100 GPU 服务器上运行最大的可用版本是70b 的模型:

ollama run deepseek-r1:70b

第一次运行时,系统会花几分钟时间下载大约 40GB 的模型并加载它,然后你就能看到一个交互窗口了,可以和这个目前最强的开源推理模型“聊天”了。

使用 DeepSeek R1 进行推理

正如文章开头提到的,DeepSeek R1 能够处理数学、编程,甚至科学推理等复杂任务。那么,什么是推理模型呢?简单来说,它是一整套指导 AI 系统如何推理、做决策和解决问题的框架,或者说核心。它提供了让 AI 能够从现有信息中推断出结论、生成解决方案所需的算法、技术和启发式方法。它通过利用模型的迭代特性和元逻辑推理,更好地理解并推断出问题的答案。

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值