搭建DeepSeek-V2-Lite-Chat

原创

已于 2024-08-19 17:51:48 修改 · 994 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#语言模型

于 2024-08-19 13:46:56 首次发布

纯简单记录

下载模型

vim download.py

from modelscope.hub.snapshot_download import snapshot_download

model_dir1 = snapshot_download('deepseek-ai/DeepSeek-V2-Lite-Chat', cache_dir='/zzzz/xxx/yyyy')  # cache_dir填下你想下载到的目标目录

python download.py执行下载，下载流程如下，

源文件地址：https://huggingface.co/deepseek-ai/DeepSeek-V

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

3333333_

关注关注

9
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

攻略丨搭建属于自己的 DeepSeek，本地部署「手搓教程」在此！

Kyligence

02-07

1万+

本文详细讲解基于 Ollama+Docker+OpenWebUI 的本地化部署流程，并通过实例代码演示。

DeepSeek爆火快来搭建私有ChatGPT

你好呀

01-08

2万+

在人工智能技术飞速发展的今天，搭建私有 ChatGPT 已成为许多企业和组织的优先选择。私有 ChatGPT 不仅能够提供与 OpenAI 的 ChatGPT 相媲美的强大文本生成和对话能力，还具备数据隐私保护、定制化开发、高性能运行等独特优势。通过私有化部署，企业可以完全掌控自己的数据和模型，避免敏感信息泄露，同时根据自身需求定制专属的 AI 助手，提升业务效率和用户体验无论是通过微调现有模型，还是基于开源框架（如 FastGPT、LLaMA）进行二次开发，都可以快速构建属于自己的智能对话系统。

参与评论您还未登录，请先登录后发表或查看评论

自己如何在本地电脑从零搭建DeepSeek！手把手教学，快来看看！ (建议收藏)

weixin_40819282的博客

02-13

273

在人工智能飞速发展的今天，大语言模型的应用越来越广泛。DeepSeek 作为近期爆火的一款大语言模型，受到了众多开发者的青睐。今天这篇内容，就来聊聊，如何在本地自己的电脑上部署DeepSeek。 1、哪些场景适合将大模型部署在自己电脑上？先说结论：虽说将大模型部署在自己的电脑上，有很多好处，但万不得已，并不推荐个人搞本地部署（钱多或企业除外）。对于普通用户来讲，只是日常简单的使用AI，直接...

手把手deepseek本地部署教程（满血联网版deepseek部署本地详细步骤)

最新发布

desklx的博客

04-25

3453

GPU显存溢出|执行`nvidia-smi-l 1`监控显存波动|启用8bit量化或使用`--max-batch 16`限制批次||模型输出乱码|检查`tokenizer_config.json`版本|重新下载模型并校验SHA256|•GPU（可选）：NVIDIA RTX 3060（8GB显存）及以上，支持CUDA 12.0。|API响应延迟>5s|使用`py-spy`进行性能剖析|优化预处理流水线，启用缓存机制||启动时间|5-10分钟|2分钟（镜像预载）|1分钟（云端配置）|

DeepSeek安装部署指南

SAFE20242034的博客

01-28

2万+

DeepSeek 是一个用于高效文档检索的工具包。：检查 DeepSeek 提供的预训练模型链接（通常在官方文档或 GitHub 页面上会有）。如需更具体的安装文档或遇到特定问题，可以参考。或提供更多详细信息以帮助解决问题。

超详细！DeepSeek本地搭建部署、搭建知识库及智能体教程

Ljugg的博客

02-28

5816

通过以上详细的步骤，我们完成了DeepSeek的本地搭建部署、知识库的搭建以及智能体的创建。这一过程不仅让我们深入了解了大模型的应用，还为我们开发个性化的智能应用奠定了基础。在实际应用中，可以根据具体需求进一步优化模型、知识库和智能体的性能和功能。希望本文能帮助大家快速上手DeepSeek相关技术，开启属于自己的人工智能创新之旅。

deepseek-v2-lite-chat部署.txt

02-26

这个过程比较简单，但是需要注意的是，你需要确保你的服务器环境已经搭建好，否则可能会出现安装失败的情况。安装完成后，你需要配置环境，涉及到一些基本的参数设置，比如API的端口号、数据源路径等。你可以根据你...

KTransformers：告别天价显卡！国产框架让单卡24G显存跑DeepSeek-R1 671B大模型：推理速度飙升28倍

士多啤梨先生の博客

02-16

2801

KTransformers 是由清华大学和趋境科技联合推出的开源项目，能够优化大语言模型的推理性能，降低硬件门槛。支持在仅24GB显存的单张显卡上运行671B参数的满血版大模型。

DeepSeek-R1模型5分钟下载本地对话——忘掉CUDA、GPU和烦人的代码：OLLAMA本地部署DeepSeek R1全攻略

a1966565的博客

02-15

3710

Ollama 支持在 Modelfile 中导入 GGUF 模型：创建一个名为Modelfile的文件，并在其中包含一个FROM指令，该指令指向你想要导入的模型的本地文件路径。在 Ollama 中创建模型运行模型。

DeepSeek V2：详解MoE、Math版提出的GRPO、V2版提出的MLA(改造Transformer注意力)

qq_32907491的博客

01-29

2041

而每个行为是由背后的策略所决定的，故优化行为的同时就是策略的不断迭代与优化。

【DeepSeek】本地快速搭建DeepSeek

从善若水的博客

02-01

2223

首先，我们安装ollama程序，里面已经集成了适用于本地推理的deepseek-r1模型，之后我们根据本地显卡的显存大小选择一个合适的模型进行本地部署，最后我们使用chatbox搭建一个界面化的问答窗口。

DeepSeek本地环境搭建全攻略：深入详解

weixin_50552218的博客

02-10

5852

DeepSeek 是一个强大的深度学习框架，广泛应用于图像识别、自然语言处理等领域。为了充分利用 DeepSeek 的功能，首先需要在本地环境中进行搭建。本文将详细介绍如何在本地环境中搭建 DeepSeek，并确保所有依赖项正确配置。通过以上步骤，你应该已经成功在本地环境中搭建了 DeepSeek，并配置了 GPU 加速（如果适用）。现在你可以开始使用 DeepSeek 进行深度学习模型的开发和训练。如果在搭建过程中遇到任何问题，可以参考官方文档或社区论坛获取帮助。

大模型笔记之- 基于vllm分支编译部署 DeepSeek-V2-Lite-Chat

JunHowie的个人Blog

05-28

2284

vllm分支部署DeepSeek-V2-Lite-Chat

【DeepSeek探索篇（一）】一步一步搞定！DeepSeek本地环境搭建全攻略

热门推荐

皮皮不调皮的博客

02-06

3万+

家人们，咱先聊聊这个 DeepSeek 哈，用户说它是个超厉害的智能搜索引擎，专门对付那些复杂得让人头大的数据和信息查询。它把大数据、机器学习还有自然语言处理这些高科技一股脑儿全用上了，就为了帮大家咻地一下找到最准确的信息。这听起来可比那些传统搜索引擎牛多了，就像是超级英雄和普通路人的区别。它可不只是在信息的表面随便翻翻，还能像个贴心小助手一样理解上下文，甚至还会自己推理呢！

DeepSeek-VL2部署指南

haibo2144的博客

12-24

3万+

DeepSeek-VL2是一款力图学习和实现深度学习和视觉语言结合的工具包。本文将介绍如何在本地环境中安装和部署DeepSeek-VL2。

在你的电脑上部署DeepSeek，并搭建私人知识库，验证效果还不错（不是程序员也能轻松拿捏的保姆级教程）

2401_85375151的博客

02-16

2678

今天给大家介绍一种使用DeepSeek在自己电脑上搭建私人知识库的方法，保姆级教程，一看就会，不是程序员也能轻松拿捏。首先回顾下，上次介绍的[DeepSeek-R1模型如何部署到你的个人电脑上]第一步、下载并安装ollama第二步、安装DeepSeek-R1模型（需要使用电脑中的cmd命令行工具才可完成）但是，这样部署完成的DeekSeep是不方便使用的，还需要部署一个客户端连接上它。

5分钟带你获取deepseek api并搭建简易问答应用

qq_51907069的博客

01-28

3万+

deepseek-r1和deepseek-v3是截止博文撰写之日，无论是国内还是国际上发布的大模型中表现十分亮眼的模型，这里以deepseek为例，讲解如何获取api_key、base_url、chat_model，并配置简易的client，从而可以利用大模型实现应用功能

DeepSeek-Coder-V2-Lite-Instruct：代码智能的突破者

gitblog_02975的博客

12-12

2109

DeepSeek-Coder-V2-Lite-Instruct：代码智能的突破者 DeepSeek-Coder-V2-Lite-Instruct 项目地址: https://gitcode.com/mirrors/deepsee...

centos搭建deepseek

01-29

### 安装Miniconda 为了在CentOS环境中顺利安装并配置DeepSeek，首先需要设置好Python环境。通过安装Miniconda来管理不同的Python版本和依赖库是一个不错的选择。 ```bash wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh source ~/.bashrc ``` 完成上述操作之后，可以利用`conda`命令创建一个新的Python虚拟环境[^1]： ```bash conda create --name deepseek_env python=3.9 conda activate deepseek_env ``` ### 准备工作考虑到DeepSeek-V2.5模型文件体积庞大，在开始之前建议先确认网络连接稳定，并考虑使用工具监控带宽使用情况以便了解下载进度。对于CentOS来说，可以通过下面的方式安装`bwm-ng`用于监视网速变化： ```bash yum install epel-release yum install bwm-ng ``` 这一步骤有助于实时掌握数据传输速率，从而合理安排等待时间[^2]。 ### 配置DeepSeek 接下来就是针对特定需求准备DeepSeek的工作环境。假设目标是运行对话问答服务，则需按照官方说明执行相应脚本前设定必要的环境变量： ```bash export HSA_FORCE_FINE_GRAIN_PCIE=1 export USE_MIOPEN_BATCHNORM=1 ``` 随后可以根据实际应用场景选择合适的预训练模型启动程序。例如要测试文本补全功能可采用如下方式调用`text_completion.py`; 若要实现聊天交互则应改用`chat_completion.py`: ```bash python text_completion.py # 或者 python chat_completion.py ``` 如果尚未获取到所需的预训练权重文件，系统将会依据所选参数自动在线加载对应资源。目前支持两种轻量级变体：“deepseek-ai/DeepSeek-V2-Lite” 和 “deepseek-ai/DeepSeek-V2-Lite-Chat”，分别适用于不同类型的自然语言处理任务[^4]。