本地化部署DeepSeek R1详细攻略

最近AI火出了圈,特别是国产AI DeepSeek,它好用,但是官网经常出现“服务器繁忙,请稍后再试”,但是它是开源的,可以本地部署,有条件的可以自行安装部署。笔者也来尝试一下本地部署,以deepseek-r1:8b的小模型来尝一下鲜。

一、下载安装Ollama

下载Ollama安装文件:
在这里插入图片描述

运行下面的命令安装到指定目录:

OllamaSetup.exe /DIR="I:\Ollama"

它默认是安装在系统盘的,系统盘磁盘空间压力大的,可以使用上面的方法安装到指定目录。

二、拉取模型

模型文件默认也是在系统盘,要想存在指定目录,需要设置环境变量:OLLAMA_MODELS,笔者设置为I:\Ollama\Models

在这里插入图片描述

先退出Ollama,再重新运行ollama app.exe,让设置的环境变量生效:
在这里插入图片描述

拉取模型:

ollama run deepseek-r1:8b

在这里插入图片描述

在这里插入图片描述

三、运行

在DeepSeek控制台>>>提示符后面输入问题,DeepSeek便开始思考并作答,作答格式是采用的Markdown的文本格式,如果要退出DeepSeek控制台,只需要在提示符后面输入指令:/byte即可,如下图所示:

在这里插入图片描述

四、使用网页会话进入交互

在控制台进入交互始终还是不方便,还是得使用网页才能更好地展示输出的Markdown文本。有一个比较好用的免费工具,可以下载Windows、MacOS、Linux、手机版本的应用程序,也可以直接使用网页版本,非常方便。这里说一下网页版本的使用:

一、在使用网页版本之前,需要先做一点环境设置:

在Windows中设置一下环境变量:OLLAMA_ORIGINS,设置为*

在这里插入图片描述
这样设置后,chatboxai才能连接到Ollama服务,找到模型。

如果只是本地使用,只设置OLLAMA_ORIGINS环境变量即可如果是想提供给远程使用,则需要设置环境变量OLLAMA_HOST0.0.0.0

设置好环境变量后,重启Ollama

二、直接在chatboxai的官网,启动网页版本:

在这里插入图片描述

也可以直接输入URL:https://web.chatboxai.app/启动网页版。

启动后,如果没设置过模型,就会要求设置模型,选择Use My Own API Key/Local Model

在这里插入图片描述

然后选择Ollama API

在这里插入图片描述

进入下面的对话框选择模型,只要是前面设置了OLLAMA_ORIGINS环境变量,就会出现已有的模型:

在这里插入图片描述

选择好模型后,记得SAVE保存。

如果觉得英文不习惯,也可以设置为中文界面:

在这里插入图片描述

三、使用

试用一下:

在这里插入图片描述

如果对你有帮助,欢迎点赞收藏!

参考:
https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide

### 部署 DeepSeek R1 35B 模型的本地环境设置 对于希望在本地环境中部署 DeepSeek R1 35B 大规模语言模型的情况,准备阶段涉及硬件配置的选择以及软件依赖项的安装。考虑到该模型参数量庞大,建议采用具备高性能计算能力的工作站或服务器来支持其运行。 #### 硬件需求评估 为了确保流畅执行推理任务并维持较低延迟响应时间,推荐至少配备有 NVIDIA A100 或 V100 类似的 GPU 设备,内存容量不少于80GB RAM,并预留充足磁盘空间用于存储权重文件和其他必要资源[^1]。 #### 软件环境搭建 - 安装 Python 解释器版本应不低于3.8- 使用 Anaconda 创建独立虚拟环境以隔离项目依赖关系; - 利用 pip 工具安装 PyTorch 及 transformers 库最新稳定版; ```bash conda create --name deepseek_env python=3.8 conda activate deepseek_env pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117/ pip install transformers==4.26.0 ``` #### 下载预训练模型 通过 Hugging Face Model Hub 获取官方发布的 DeepSeek R1 35B 权重文件,注意下载过程中可能因网络状况而耗时较长,请耐心等待直至完成全部数据传输工作。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name_or_path = "deepseek/r1_35b" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path).cuda() ``` #### 推理服务启动 编写简单的 Flask Web API 实现基本接口功能,允许外部程序调用已加载好的模型实例进行文本生成操作。此部分代码片段展示了如何构建这样一个简易的服务端应用框架: ```python from flask import Flask, request, jsonify import torch app = Flask(__name__) @app.route('/generate', methods=['POST']) def generate(): input_text = request.json.get('input') inputs = tokenizer(input_text, return_tensors="pt").to("cuda") with torch.no_grad(): outputs = model.generate(**inputs) generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) return jsonify({"output": generated_text}) if __name__ == "__main__": app.run(host='0.0.0.0', port=5000) ``` 上述过程概述了从零开始建立适合于 DeepSeek R1 35B 的本地开发测试平台所需经历的主要环节。实际应用场景下还需考虑更多因素如性能优化、安全性加固等方面措施。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值