10分钟完成DeepSeek的本地化部署

DeepSeek大火,但天下苦服务器繁忙,请稍后再试久矣。好在,DeepSeek开源了自己的大模型, 性能比肩 OpenAI o1 正式版,我们可以将DeepSeek部署到本地进行使用,这样的话就可以不再担心服务器繁忙,可以尽情的蹂躏DeepSeek了!

说明:

配置越高,运行效果越好,可自行根据电脑配置选择DeepSeek版本。

B是billion的缩写,也就是10亿。也就是最小的参数是15亿,最大的官网满血版是6710亿参数。

本地化部署详细教程(三步完成):

一、安装 Ollama软件(开源的大模型服务工具)

1、打开浏览器,登录https://ollama.com/ ,按照页面提示顺序下载 Ollama。

点击Download跳转一下页面,提示需要Windows10及以后的版本,点击下载。

2.下载完成后,直接双击安装程序进行安装。

3.安装好后,按下快捷键 win+R,在弹出的命令框中,输入 cmd,然后点击确定,打开命令提示符窗口。

4.在光标后面输入 ollama -v(注意中间有空格),回车查看软件版本号。如我下载的版本号为 0.5.7。

二、下载 DeepSeek 模型

1、打开网址https://ollama.com/library/deepseek-r1 ,进入 ollama 里的 deepseek - R1 模型页面。

2、根据自己电脑的配置选择合适的参数规模(7b 代表 70 亿参数,14b 代表 140 亿参数,参数越多,模型越大,效果理论上也会更好,但对电脑配置要求也更高),然后复制对应的下载命令,图中为:ollama run deepseek-r1:1.5b。

3.打开cmd终端,把复制的ollama run deepseek-r1:1.5b命令粘贴到光标后,接着按回车,等待模型下载完成。下载完成后,就可以在命令窗口直接向 DeepSeek 提问了。不过这个命令窗口界面不太美观,复制内容也不方便,我们接着进行下一步设置,到更常见的界面进行对话。

三、配置 ChatboxAI

1.为了方便对话,我们可以下载一个chatboxai (官网:https://chatboxai.app/zh)。

2.在设置中选择ollama,选择deepseekr1模型: 

点击保存就可以跟Deepserk进行对话啦~

### DeepSeek 模型本地化部署方法 #### 一、环境准备 为了成功完成 DeepSeek本地化部署,需先准备好运行所需的依赖环境。这通常包括安装 Python 和必要的库文件。推荐使用虚拟环境来管理项目中的包版本,以减少冲突的可能性[^1]。 ```bash # 创建并激活虚拟环境 python3 -m venv deepseek-env source deepseek-env/bin/activate ``` #### 二、下载 DeepSeek 模型 DeepSeek 提供了一系列预训练模型,这些模型可以从其官方仓库或其他支持平台获取。具体操作如下: - 前往 Hugging Face 或其他托管站点找到目标 DeepSeek 模型。 - 使用 `transformers` 库加载模型权重到本地存储位置[^2]。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "deepseek/large" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # 存储至指定路径 save_path = "./models/deepseek-large/" tokenizer.save_pretrained(save_path) model.save_pretrained(save_path) ``` #### 三、配置 API 接口 一旦模型被保存下来,则可以通过 RESTful API 来提供对外的服务接口。此过程涉及启动一个 HTTP Server 并注册处理函数用于接收请求和返回预测结果。 对于基于 Ollama 部署的情况,需要特别注意设置正确的参数以及连接方式。 ```json { "api": { "type": "ollama", "url": "http://localhost:11434", "model": "deepseek" } } ``` 上述 JSON 片段展示了当利用 Ollama 工具链作为中介层时所需调整的部分字段说明文档链接。 #### 四、测试与验证 最后一步是对整个流程做全面检验,确认各个组件之间能够无缝协作。发送样本输入给新搭建起来的服务端点,并观察输出是否符合预期标准。 ```bash curl -X POST http://127.0.0.1:8000/generate \ -H 'Content-Type: application/json' \ -d '{"text":"Once upon a time"}' ``` 以上命令演示了一个基本的例子,它向 localhost 上监听于特定端口号 (此处假设为8000) 的生成器提交了一条短语开头的故事创作任务。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值