【DeepSeek本地化部署保姆级教程】20分钟带你轻松配置与高效运行

东荷新绿

已于 2025-02-19 21:38:08 修改

阅读量1.4k

点赞数 32

分类专栏：代码复现代码实战文章标签： deepseek 本地化部署经验

于 2025-02-19 14:37:58 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_44853527/article/details/145726506

版权

代码复现同时被 2 个专栏收录

13 篇文章

订阅专栏

代码实战

4 篇文章

订阅专栏

写在前面：本博客仅作记录学习之用，部分图片来自网络，如需引用请注明出处，同时如有侵犯您的权益，请联系删除！

前言

DeepSeek 本地化部署的必要性可以从多个角度进行阐述，尤其是在数据安全、性能优化、合规性以及定制化需求等方面。

数据安全与隐私保护

敏感数据处理：涉及高度敏感的数据不适合通过云端传输或存储在第三方服务器上，如未发表的论文，润色。本地化部署可以确保数据始终保存在用户控制的内部环境中，减少数据泄露的风险。

性能优化与低延迟

实时性需求：对于需要实时响应的应用场景，本地化部署可以显著降低网络延迟，确保系统的高效运行。
计算资源优化：本地化部署允许用户根据实际需求配置硬件资源，避免云端资源分配不足或过度浪费的问题。

定制化与灵活性

个性化需求：不同行业和企业的业务需求差异较大，本地化部署可以根据具体需求进行深度定制，包括模型优化、功能扩展等。
技术可控性：本地化部署使用户能够完全掌握系统的运行状态，便于进行故障排查、性能调优和功能升级。

网络与环境的适应性

网络条件限制：在一些网络基础设施较差的地区，本地化部署可以避免因网络不稳定导致的系统不可用问题。
离线运行能力：本地化部署支持完全离线的运行模式，适用于无法连接互联网的场景。

DeepSeek痛点: 服务器繁忙

DeepSeek官网

不管是否深度思考、联网搜索、重新生产均无法解决上述问题，本地化部署成为了一种解决办法。

本地化部署教程

LM Studio安装与配置

LM Studio安装

在官网下载符合所使用操作系统的LM Studio：官网： LM Studio

在这里插入图片描述

选择为我安装和自定义安装位置

LM Studio配置

进入LM Studio，点击右上角跳过
点击右下角设置，设置中文语言

在这里插入图片描述

点击左侧搜索，可在线检索模型

在这里插入图片描述

大模型下载

在线检索方式可能会因为网络原因下载失败，因此提供提供两个下载模型的方式，此处以1.5B的DeepSeek为例。

魔搭社区

在魔搭社区搜索想要的模型即可，并下载GGUF格式的模型：魔搭社区

GGUF格式是二进制格式，针对模型的快速加载和保存进行了优化，使其在推理方面非常高效。GGUF 被设计用于与 GGML 和其他执行器一起使用。GGUF 由 @ggerganov(llama.cpp 的开发者) 开发，是一个流行的 C/C++ LLM 推理框架。最初在 PyTorch 等框架中开发的模型可以转换为 GGUF 格式以用于这些引擎。Hugging Face 解释GGUF格式

在这里插入图片描述

HF-Mirror

在HF-Mirror搜索想要的模型即可，并下载GGUF格式的模型： HF-Mirror
在这里插入图片描述

在这里插入图片描述

模型保存位置

在空间富余的盘创建保存模型的文件夹，也是后续LM Studio配置模型的位置
其中是两级目录，命名格式随意，下图仅作示例。
在对应的文件夹下存放下载的GGUF的模型文件

LM Studio配置模型位置

在LM Studio选择上一步创建的文件夹，即最外层的文件夹
在LM Studio选择可识别到的模型，即可进行加载和退出

在这里插入图片描述

DeepSeek推理

在对话框中输入问题即可进行对话，到此基本上大功告成

在这里插入图片描述

在任务管理器中可查看内存和显存占用，约3G

总结

总结： 为了方便本地化部署并高效进行大模型推理任务，可以按照以下步骤操作：

下载和安装：在LM Studio官网下载对应的版本，并选择安装位置或自定义安装点。
配置与设置：点击右上角跳过菜单，进入右下角的“设置”，设置语言为中文。并在线搜索目标模型。
模型加载与管理：通过搜索结果点击模型即可加载到当前工作目录中，确保模型文件已正确下载并保存。
项目配置：
- 在空间富余盘创建存储模型的文件夹，如 deepseek_model。
- 将训练好的模型文件复制到该文件夹下，并设置为当前工作目录。
推理与验证：在对话框中输入问题并立即进行对话。输出结果后检查对话历史和内存/显存占用，确保模型加载顺利。