手把手一起部署本地DeepSeek

部署运行你感兴趣的模型镜像

DeepSeek 作为国产开源大模型,一直因在线服务压力过大,导致很多时候问答交互麻烦服务器繁忙。本教程将手把手教你完成从环境配置到交互界面搭建的全流程,即使是零基础用户也能轻松掌握。

在本地部署的优势:

  1. 隐私性高:数据都在本地运行,无需上传到云端,避免数据泄露风险。
  2. 稳定性强:不受网络波动影响,模型运行更加稳定。
  3. 可定制性强:可以根据需求调整模型参数,满足个性化需求。

第一步 安装Ollama框架

去 Ollama官网

选择你对应的版本下载。下载完成后双击运行安装包,下一步下一步即可。

第二步 验证安装是否成功

在终端里面输入:

ollama -v

输出类似于这样的(版本号可能不一样),就代表你安装成功了!

第三步 拉取LLM大模型

我们回到官网,去到模型这里。

你能看到很多LLM大模型,这里我们选择 deepseek - r1。

DeepSeek-R1 模型对比表

模型名称参数量(估算)文件大小上下文长度推荐硬件配置适合场景是否适合本地运行
deepseek-r1:1.5b1.5B1.1GB128KCPU / 轻量设备聊天机器人、轻任务、边缘应用✅ 非常适合(轻量)
deepseek-r1:7b7B4.7GB128KM1/M2/M3 / GPU ≥8GB通用问答、摘要、低负载编程任务✅ 适合多数现代笔记本
deepseek-r1:8b≈8B5.2GB128KGPU 推荐类似 7B,用于精度稍优版本✅ 可替代 7B
deepseek-r1:14b14B9.0GB128KGPU ≥12GB 显存中大型问答、分析、初级代码生成⚠️ 需中高端显卡
deepseek-r1:32b32B20GB128KGPU ≥24GB 显存高性能生成任务、复杂指令跟随⚠️ 仅推荐高端本地或远程部署
deepseek-r1:70b70B43GB128K多GPU / A100/H100接近 GPT-4 级别能力,科研、精细生成❌ 不适合个人本地
deepseek-r1:671b671B404GB160K超级计算集群LLM-as-agent、长文写作、规划与策略任务❌ 只能云端部署,演示用

本地运行建议

设备类型推荐版本
无 GPU,普通笔记本✅ deepseek-r1:1.5b
MacBook M1/M2/M3✅ deepseek-r1:7b or 8b
中端显卡(如 3060/4060)✅ deepseek-r1:7b or 14b
高端显卡(3090/4090)✅ deepseek-r1:32b
没有限制,服务器/云平台✅ deepseek-r1:70b 或 671b

 

根据你本地电脑的配置选择合适的参数,例如我们选择 7b这个参数,运行代码如下:

ollama run deepseek-r1:7b

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

### DeepSeek R1 本地部署教程 DeepSeek R1 是一种先进的大语言模型,其本地部署涉及多个步骤和技术要点。以下是关于如何在本地环境中设置和运行 DeepSeek R1 的详细介绍: #### 准备工作 为了成功完成 DeepSeek R1 的本地部署,需要满足以下硬件和软件环境的要求: - **GPU 支持**: 推荐使用 NVIDIA GPU 并支持 CUDA 和 cuDNN 技术,以便加速模型推理过程[^1]。 - **Python 版本**: 需要 Python 3.8 或更高版本作为基础编程环境。 - **依赖库安装**: 使用 `pip` 安装必要的深度学习框架和其他工具包。 #### 环境配置 创建一个新的虚拟环境来隔离项目所需的依赖项是一个良好的实践方法。可以按照如下方式操作: ```bash python -m venv deepseek_env source deepseek_env/bin/activate ``` 接着,在激活的虚拟环境下安装所需的核心库文件,例如 PyTorch 或 TensorFlow 及其他辅助模块: ```bash pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers datasets accelerate ``` #### 下载预训练模型 通过 Hugging Face 提供的服务获取已经经过充分训练好的 DeepSeek-R1 模型权重数据集是非常便捷的方式之一。执行下面命令即可实现自动下载功能: ```python from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("deepseek/large") model = AutoModelForCausalLM.from_pretrained("deepseek/large", trust_remote_code=True) ``` #### 运行测试实例 当所有前期准备工作都完成后,可以通过编写简单的脚本来验证整个流程是否正常运作起来。这里给出一段用于生成文本的小例子代码片段: ```python input_text = "Once upon a time" inputs = tokenizer(input_text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=50) result = tokenizer.decode(outputs[0], skip_special_tokens=True) print(result) ``` 以上就是有关于 DeepSeek R1 在个人计算机或者服务器上的完整部署指南说明文档内容总结。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值