Ollama本地部署DeepSeek详细操作步骤

DeepSeek是最近很火的一款AI大模型,可以用多种工具进行部署。本次我们用Ollama软件进行在线离线两种部署方式部署,图文详细教程如下。

Ollama软件安装

下载软件

首先我们需要下载ollama软件,可以访问官网Download Ollama on Windows

我这里选择windows版本进行下载

如果这里下载较慢,也可以从这里下载:windows版本Ollama0.5.7资源-优快云文库

图下就是已经下载好的Ollama软件安装程序,是个羊驼的图标

安装软件

由于Ollama默认安装到C盘且无法选择安装路径,这里教大家一种可以将Ollama安装在D盘的方法

首先在D盘新建一个文件夹,我这里命名为Ollama,然后把Ollama软件安装包也放在D盘

在导航栏输入cmd回车,打开命令行工具

然后在命令行输入 OllamaSetup.exe /DIR=要安装的路径 然后回车

就可以看到图下所示界面,点击Install

可以看到Ollama软件正在 D:\Ollama 路径下安装,稍等一会

待命令行执行完毕,且右下角任务栏出现Ollama羊驼图标,说明Ollama已经安装完成,正在运行中

验证

在命令行输入命令ollama list,出现图下所示界面,说明Ollama可以正常使用

更改大模型下载位置

由于Ollama默认是把模型下载在C盘,这样对于系统的使用非常不便。所以这里提供了一个将模型更改下载位置的办法

首先在D盘新建一个文件夹用来存放模型

然后搜索环境变量,点击编辑系统环境变量

点击环境变量

如图下所示,点击新建

然后按照图下所示填写。变量名OLLAMA_MODELS变量值是刚才新建的文件夹路径,点击确定

然后再依次点击对话框的确定

更改完环境变量,为确保生效,建议重启计算机

在线部署方式

进入Ollama官网Ollama,点击DeepSeek-R1

按照图下所示,我这里选择最小的蒸馏版本1.5b模型进行安装,复制安装命令 ollama run deepseek-r1:1.5b

然后粘贴在cmd命令行回车运行即可,等待其下载完成

离线部署方式

如果觉得在线安装deepseek-r1模型太慢,或者无法联网的话,可以采用离线部署的方式

可以拷贝其他人部署好的模型到自己的电脑中,模型文件包含 blobs 和 manifests 两个文件夹

我这里上传了一份链接: https://pan.baidu.com/s/1tIgTJXyCtlQd1TX1wP3tJA 提取码: cv64

 其中 blobs 文件夹包含的文件如下

其中 manifests 文件夹下包含了多层子文件夹,如下所示

将 blobs 和 manifests 文件夹放到你创建的模型文件夹 OllamaModels 

此时在命令行输入命令 ollama list,可以看到deepseek-r1:1.5b直接就在里面了

然后执行命令 ollama run deepseek-r1:1.5b 即可成功调出deepseek的对话框

### 使用 Ollama 调用 GPU 执行 DeepSeek详细操作指南 #### 安装与配置环境 为了确保能够顺利利用 GPU 来加速 DeepSeek 模型的操作,需先确认已安装好适用于当前系统的 Ollama 工具,并且该环境中已经正确设置了 NVIDIA CUDA 及驱动程序[^3]。 #### 下载并准备模型 获取所需的 DeepSeek 模型版本,执行如下命令来拉取特定大小的预训练模型至本地: ```bash ollama pull deepseek-r1:1.5b ``` #### 启动带有 GPU 支持的服务实例 当一切就绪之后,在启动服务之前可以通过设置环境变量 `OLLAMA_NUM_GPU` 来指明希望分配给任务处理过程中的 GPU 数量。例如,如果打算让整个计算负载尽可能多地转移到 20 层 GPU 上,则可以这样启动会话: ```bash export OLLAMA_NUM_GPU=20 ollama run deepseek-r1 ``` 这一步骤使得应用程序能够在运行期间充分利用硬件资源,从而提高性能表现和响应效率[^4]。 #### 验证部署情况 完成上述配置后,可通过一系列简单的测试来检验系统是否按预期工作正常。比如查询正在运行的服务状态、查看加载好的模型列表以及尝试发起一次完整的对话请求等。 - **检查 Ollama 服务的状态** ```bash systemctl status ollama ``` - **列出所有可用模型** ```bash ollama list ``` 最后,对于实际应用场景下的功能验证,可向 API 发送具体问题以评估回复的质量和准确性,如询问有关农作物管理方面的建议: ```bash curl -X POST "http://localhost:8080/api/ai/chat" \ -H "Content-Type: application/json" \ -d '{"message":"如何防治玉米病害"}' ``` 通过这些措施,不仅可以让用户更好地理解怎样高效地运用 Ollama 结合 GPU 功能来进行复杂任务的处理,同时也展示了 DeepSeek 在不同领域内所能带来的价值所在。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

欲买桂花同载酒、

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值