如何在本地部署自己的DeepSeek模型?

最近,DeepSeek 凭借其先进的算法和卓越的性能,迅速走红,成为现象级 AI 产品。它不仅推动了国内 AI 大模型的跨越式发展,还吸引了大量用户。然而,随着用户量的激增,服务器频繁遭遇攻击,导致用户在使用时经常遇到服务器繁忙的问题。为了解决这一困扰,将 DeepSeek 部署到本地电脑上,或许是一个更为便捷的选择。

将DeepSeek部署在本地电脑,只需三步即可完成。

一、下载安装 Ollama

部署DeepSeek要用到 Ollama,它支持多种大模型。

Ollama官网:ollama.com

下载安装Ollama,macOS、Linux 和 Windows都可以下载安装,老宅这里选用Windows系统。

二、下载 DeepSeek-R1

1、进入Ollama官网,找到Models。

2、进入就可以看到deepseek-r1模型,如果没有,在搜索栏搜索即可。

3、选择对应的模型来下载,1.5b、7b、8b、14b、32b、70b或671b,这里有很多版本可选,模型越大,要求电脑内存、显卡等的配置越高。老宅这台机子是4060的显卡,选择8b的模型。 

 

4、找到Windows【开始菜单】,鼠标右键点击【终端管理员】。

5、复制下边8b的代码。

6、粘贴到PowerShell(管理员)运行框,然后回车。(这里会默认安装在C盘,注意C盘空间)

出现下载等待窗口,等待下载完成。

7、下载完成后稍微等待,看到success,即部署完成。

8、部署完成,send a message,输入内容即可开始对话。

三、Chatbox前端搭建

通过第二步的操作,已经部署好DeepSeek,但每次使用都要在终端管理员里操作,相当繁琐。这里可以借助Chatbox,实现网页或客户端操作。

1、下载安装Chatbox

Chatbox官网:chatboxai.app/zh

进入官网下载安装Chatbox客户端。

2、点击设置,选择Ollama API

3、选择安装好的deepseek r1模型,保存即可

4、部署完成,就可以正常使用了。

通过以上三步,DeepSeek就部署在本地电脑上了,有些不方便公开的数据,比如实验数据,可以通过部署大模型到本地的方式进行处理,不用担心数据泄露。

DeepSeek 登顶苹果中国地区和美国地区应用商店下载排行榜,在美区下载榜上超越了 ChatGPT。其推理能力的强大就不多说了,留给大家自行探索。

相关资料点击下载

链接:https://pan.quark.cn/s/d77c52127f1d
提取码:Frj6

### 如何从聊天框应用调用本地安装的 DeepSeek 模型 API 为了实现从聊天框应用程序调用本地部署DeepSeek 模型,可以遵循如下方法构建请求并发送给 Ollama 的 `/api/generate` 端点。此端点不同于 OpenAI 的兼容 API。 #### 构建 HTTP 请求 当准备向 `http://localhost:11434/api/generate` 发起 POST 请求时,需设置合适的头部信息以及 JSON 格式的主体内容。具体来说: - **URL**: 使用默认情况下 Ollama 监听于本机地址 11434 端口上的路径 `/api/generate`。 - **Headers (头)**: 设置 `"Content-Type"` 为 `"application/json"` 来指明所传入的数据格式。 - **Body (体)**: 提供必要的参数作为 JSON 对象的一部分,比如模型名称 (`model`) 和输入提示 (`prompt`)。 ```python import requests import json url = "http://localhost:11434/api/generate" headers = {"Content-Type": "application/json"} data = { "model": "deepseek-chat:latest", "prompt": "你好,世界!" } response = requests.post(url, headers=headers, data=json.dumps(data)) print(response.json()) ``` 这段代码展示了如何通过 Python 向本地运行的服务发起一次简单的对话请求[^1]。 对于集成到实际的应用程序中,特别是前端部分如聊天框界面,则可能涉及到更多细节处理,例如错误管理、异步通信机制等。通常会采用 JavaScript 或其他适合 Web 开发的语言和技术栈来进行这部分开发工作,在服务器端则继续沿用上述方式与模型交互。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱编程的小白L

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值