deepseek大模型部署踩坑心得

已于 2025-02-22 16:17:02 修改
阅读量1.7k 收藏 31
点赞数 18
分类专栏： 工程部署 # AI大模型 文章标签： 深度学习
于 2025-02-13 19:26:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lishanlu136/article/details/145614882
版权

年初，deepseek大火，年后一到公司就被安排部署deepseek大模型，几天下来于是就有了这篇踩坑心得。

文章目录

1、deepseek系列模型介绍

deepseek公司在github账号deepseek-ai发布的模型MoE架构的deepseek-V3和deepseek-R1，它们都具有6710亿个总参数，但是每个tocken只激活370亿个参数；前者是通用的，适用于聊天，后者擅长推理。另外还发布了6个基于Qwen或llm传统transformer架构的蒸馏版本模型，蒸馏版本参数量相对较少，占用显存较少，但是这6个蒸馏版本模型是以deepseek-R1的标签进行学习的，所以也具有一定的推理能力。
MoE结构和传统transformer一样都具有多头自注意力层，不同是是，MoE将多头自注意力后的FFN层替换成了“专家选择”层，其核心思想是通过选择性激活子模型（专家模型）来提高模型的计算效率和表达能力。如下图所示，图片来自论文：OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
在这里插入图片描述

2、最简单的部署，ollama

网上大多数用ollama部署的基本上都是蒸馏版本而且是量化后的4bit版本，因为这种方式部署快且量化后版本占用显存少。
ollama模型地址：https://ollama.com/library/deepseek-r1:7b
在这里插入图片描述
可以看到，ollama上面的模型都是经过4-bit量化的，最后一个671b版本是deepseek-R1，大小是404G，也是经过4-bit量化的。但是好在这种部署方式简单快捷，不需要配置复杂的环境，所以网上大多数都是这种方式的部署方式来体验deepseek大模型的。

2.1 安装ollama

Linux下可以直接命令行安装：curl -fsSL https://ollama.com/install.sh | sh

也可以直接下载编译好的：curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
解压到/usr文件夹：tar -C /usr -xzf ollama-linux-amd64.tgz

2.2 运行

然后命令行启动ollama：ollama serve
另外开一个终端运行：ollama run deepseek-r1:7b会自动下载模型并加载，然后终端就可以聊天了，如下图所示：
在这里插入图片描述
当然，如果你服务器显卡资源够多，也可以ollama run deepseek-r1:671b运行真正的deepseek-R1，但是如果需要分布式部署或者是需要推理加速还是建议选用如vllm或SGLang部署为好，因为它们对大模型推理有加速优化。见文章大模型工具对比：SGLang, Ollama, VLLM, LLaMA.cpp如何选择？
在这里插入图片描述

3、部署动态量化版本(.gguf文件格式)

参考文章：
[1] https://zhuanlan.zhihu.com/p/21274285958
[2] https://unsloth.ai/blog/deepseekr1-dynamic

步骤:
下载动态量化版本模型：https://modelscope.cn/models/unsloth/DeepSeek-R1-GGUF

from modelscope import snapshot_download
snapshot_download(
  repo_id = "unsloth/DeepSeek-R1-GGUF",
  local_dir = "DeepSeek-R1-GGUF",
  allow_patterns = ["*Q2_K_XL*"], # Select quant type Q2_K_XL for 2.51bit
)

法一： 参考文章[1]是先编译llama.cpp，然后合并多个.gguf文件为一个.gguf文件，最后用ollama加载合并文件运行

# cpu版本编译
git clone https://github.com/ggerganov/llama.cpp.git 
cd llama.cpp 
cmake -B build
cmake --build build --config Release 
# 编译好的模型文件放在llama.cpp.git/build/bin中

然后用编译生成的llama-gguf-split工具先将多个.gguf文件合并成一个.gguf文件，

cd build/bin 
./llama-gguf-split --merge ~/dir/DeepSeek-R1-UD-Q2_K_XL/DeepSeek-R1-UD-Q2_K_XL-00001-of-00005.gguf ~/dir/DeepSeek-R1-UD-Q2_K_XL/DeepSeek-R1-2.51bit.gguf

然后将合并后的gguf文件导入ollama的模型库


                

                
                
        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    



                



	

		

			

				
					
vllm 推理qwen gguf模型使用案例；openai接口调用、requests调用

				
			

			

				

					weixin_42357472的博客
				

				

					08-29
					
					1209
					
				

			

		

		

			
				
vllm 推理qwen gguf模型使用案例；openai接口调用、requests调用


			
		

	



                

            
              



	

		

			

				
					
使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B

				
			

			

				

					xuebodx0923的博客
				

				

					02-02
					
					8290
					
				

			

		

		

			
				
是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。也正是因为如此，DeepSeek R1价格非常便宜，每100万个输出tokens 2.19美元，而 OpenAI o1 则需要60美元，DeepSeek R1便宜 96.4%，性能却不相上下，完全就是逆风翻盘。推出国产大模型DeepSeek-V3和DeepSeek-R1。由于硬件的限制，我们下面用vllm部署了一个最小的模型DeepSeek-R1-Distill-Qwen-1.5B。

			
		

	



              


  
              

                


	

		

			

				
					
【LLM大模型】一个小时内快速部署大模型

				
			

			

				

					2301_81940605的博客
				

				

					07-31
					
					1665
					
				

			

		

		

			
				
本文使用的方法配置要求低，没有gpu也可以正常使用(就是有点慢)，不管是windows 还是linux，都可以无障碍使用大模型，有脚就行，废话少说， let's rock!

			
		

	





	

		

			

				
					
DeepSeek本地部署教程：使用vLLM，轻松实现高效部署！

				
			

			

				

					u011250186的博客
				

				

					05-02
					
					157
					
				

			

		

		

			
				
DeepSeek本地部署教程：使用vLLM，轻松实现高效部署！

			
		

	



		

			
		



	

		

			

				
					
vllm 运行 gguf 模型

				
			

			

				

					ChinaLiaoTian的博客
				

				

					03-13
					
					619
					
				

			

		

		

			
				
vllm  gguf

			
		

	





	

		

			

				
					
vLLM 启动 GGUF 模型踩坑记：从报错到 100% GPU 占用的原因解析

				
			

			

				

					x66ccff
				

				

					04-01
					
					2351
					
				

			

		

		

			
				
本文记录了使用 vLLM 部署本地 GGUF 格式大模型的踩坑过程。从最初的路径格式错误，到参数解析问题，再到 NumPy 版本兼容性引发的。

			
		

	





	

		

			

				
					
ubuntu系统vllm部署deepseek-70B(DeepSeek-R1-Distill-Llama-70B)

				
			

			

				

					qq_38988216的博客
				

				

					02-14
					
					6225
					
				

			

		

		

			
				
假设下载到 ~/Downloads/cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz。--served-model-name deepseek-70b  # API中的模型名称。--gpu-memory-utilization 0.85 \  # 显存利用率。--trust-remote-code \  # 如果模型需要自定义代码。# 例如DeepSeek-R1-Distill-Llama-70B模型。# 例如deepseek-r1-awq量化模型。

			
		

	





	

		

			

				
					
用vLLM部署DeepSeek，算力减半，吞吐量剧增。

				
			

			

				

					Black_Rock_br的博客
				

				

					03-11
					
					1352
					
				

			

		

		

			
				
它支持分布式张量并行推理和服务，利用先进的技术在多个GPU上优化性能，其核心功能基于Megatron-LM的张量并行算法，允许有效模型分布。引擎参数请查询网站：https://docs.vllm.ai/en/latest/serving/engine_args.html。高效的企业生产环境应该使用的一般都采用 vllm、sglang 进行部署，本文是用 vLLM 部署 DeepSeek-R1模型。--served-model-name API 中使用的模型名称。

			
		

	





	

		

			

				
					
【DeepSeek部署】vllm部署deepseek，推理过程和答案分开。

				
			

			

				

					扶着老奶奶闯红灯
				

				

					02-28
					
					2182
					
				

			

		

		

			
				
vllm部署deepseek，推理过程和答案分开。推理模型会在输出中返回额外的 `reasoning_content` 字段，该字段包含导致最终结论的推理步骤。其他模型的输出中不存在此字段。

			
		

	





	

		

			

				
					
实战 vLLM：成功部署 DeepSeek 32B (FP8 量化 + Eager Mode)

				
			

			

				

					weixin_40941102的博客
				

				

					04-21
					
					1080
					
				

			

		

		

			
				
在大型语言模型（LLM）的部署实践中，效率和资源利用率至关重要。vLLM 是一个广受欢迎的高性能 LLM 推理和服务框架。本文将基于一次成功的启动日志，详细介绍如何使用 vLLM v0.8.1 版本，结合 FP8 权重 量化和 Eager Mode，成功部署模型。

			
		

	





	

		

			

				
					
AI实践用例---日程规划（通用日程管理文件ICS）灵感踩坑日常

					
最新发布

				
			

			

				

					qq_43276836的博客
				

				

					05-16
					
					954
					
				

			

		

		

			
				
AI赋能，日程管理，日程规划

			
		

	





	

		

			

				
					
【手撕系列】Java限流算法终篇：分布式限流实现与实战！（建议收藏）

				
			

			

				

					Pte_moon的博客
				

				

					04-16
					
					697
					
				

			

		

		

			
				
🔥 本文是限流算法系列的终篇，将带你深入了解分布式环境下的限流实现。从Redis到集群，从原理到实战，全方位掌握分布式限流技术。

			
		

	





	

		

			

				
					
大模型笔记之- 基于vllm分支编译部署 DeepSeek-V2-Lite-Chat

				
			

			

				

					JunHowie的个人Blog
				

				

					05-28
					
					2265
					
				

			

		

		

			
				
vllm分支部署DeepSeek-V2-Lite-Chat

			
		

	





	

		

			

				
					
使用vllm本地部署deepseek大模型（企业级部署大模型）

				
			

			

				

					m0_50641264的博客
				

				

					03-07
					
					1136
					
				

			

		

		

			
				
使用vllm企业级别部署deepseek大模型

			
		

	





	

		

			

				
					
基于vLLM部署企业级DeepSeek大模型

				
			

			

				

					秃了也弱了
				

				

					03-07
					
					2901
					
				

			

		

		

			
				
Ollma框架适合个人用户私有化本地部署，但在多用户并发场景下性能衰减明显。vLLM 是由加州大学伯克利分校 LMSYS 组织开源的大语言模型（LLM）高速推理框架。它旨在显著提升实时场景下语言模型服务的吞吐量和内存使用效率。vLLM 的主要特点包括：1、PagedAttention 技术：vLLM 引入了 PagedAttention 算法，通过分页管理注意力机制中的键（keys）和值（values），有效解决了传统方法中显存碎片化和过度预留的问题。

			
		

	





	

		

			

				
					
Centos7基于vllm安装deepseek: nvidia显卡驱动升级，CUDA安装，Pytorch安装，vllm安装

				
			

			

				

					诸葛小猿
				

				

					02-20
					
					2326
					
				

			

		

		

			
				
Centos7基于vllm安装deepseek: nvidia显卡驱动升级，CUDA安装，Pytorch安装，vllm安装

			
		

	





	

		

			

				
					
基于vLLM本地部署企业级DeepSeek

				
			

			

				

					面向AI前沿技术的深度解析平台，覆盖基础理论、算法优化及产业应用全链路
				

				

					03-24
					
					2063
					
				

			

		

		

			
				
本文介绍了如何利用 vLLM工具在本地部署 DeepSeek大模型，帮助企业搭建高效、安全的智能服务系统。通过 vLLM 的动态批处理和显存优化技术，充分发挥 DeepSeek 在自然语言处理上的强大能力，实现了低延迟、高吞吐的企业级私有化推理服务。这套方案不仅确保了数据隐私和系统高性能，还能灵活满足多场景应用需求，为企业的智能化转型提供了可靠支持。

			
		

	





	

		

			

				
					
生产环境vLLM 部署 DeepSeek，如何调优，看这里

				
			

			

				

					yxkong的专栏
				

				

					03-14
					
					1489
					
				

			

		

		

			
				
vLLM 是一个快速且易于使用的 LLM 推理和服务库。vLLM（VeryLargeLanguageModelServing）是由加州大学伯克利分校团队开发的高性能、低延迟的大语言模型（LLM）推理和服务框架。它专为大规模生产级部署设计，尤其擅长处理超长上下文（如8k+ tokens）和高并发请求，同时显著优化显存利用率，是当前开源社区中吞吐量最高的LLM推理引擎之一。高吞吐量：采用先进的服务器吞吐量技术。内存管理：通过PagedAttention高效管理注意力键和值内存。请求批处理。

			
		

	





	

		

			

				
					
基于 vLLM 搭建 DeepSeek-V2 Chat 服务

				
			

			

				

					木尧大兄弟
				

				

					05-23
					
					3983
					
				

			

		

		

			
				
vllm 启动 DeepSeek v2 chat 服务

			
		

	





	

		

			

				
					
debain 12.9安装sglang，如何使用sglang部署gguf量化模型

				
			

			

				

					02-21
				

			

		

		

			
				
<think>好的，用户现在的问题是询问如何在Debian 12.9上安装sglang，并使用它来部署GGUF量化模型。之前他们问过关于使用sglang.launch_server部署GGUF模型的问题，现在需要更具体的步骤，特别是针对Debian系统的安装和部署。

首先，我需要确认用户的环境是Debian 12.9，这可能影响依赖项的安装。例如，Debian可能使用apt作为包管理器，需要安装Python、pip和相关开发库。之前的回答中已经提到了安装sglang和llama-cpp-python，但可能需要更详细的步骤，比如如何安装Python 3.10或更高版本，以及构建依赖。

接下来，用户可能需要知道如何从源代码安装llama.cpp，特别是如果预编译的包不可用的话。之前的回答提到了克隆仓库和make，但可能需要更详细的说明，比如安装必要的构建工具（如gcc、make、cmake）和依赖项（如Python开发文件）。

然后是关于安装sglang的部分。需要确保使用pip安装正确的版本，可能包括额外的依赖，比如[all]扩展，以支持所有功能。此外，用户可能需要安装CUDA版本的llama-cpp-python以启用GPU加速，这里需要指导他们如何设置CMAKE_ARGS环境变量。

在部署模型部分，用户需要知道如何指定GGUF文件的路径，以及必要的参数，如--quantization gguf。可能还需要调整GPU层数，特别是如果他们使用NVIDIA显卡的话。此外，验证部署的步骤需要明确，比如使用curl测试API端点，或者运行Python测试脚本。

还需要考虑用户可能的错误和问题。例如，如果安装过程中出现依赖问题，如何解决，或者如果模型加载失败，如何检查路径和权限。此外，GPU加速可能因为缺少CUDA库或驱动而失败，需要指导用户检查安装。

可能用户的实际需求是在自己的服务器或本地机器上部署一个高效的模型服务，因此需要确保步骤尽可能详细，避免遗漏任何关键步骤。同时，用户可能对Linux系统有一定了解，但可能需要明确的命令示例，特别是针对Debian的特定包安装命令。

最后，需要整理出一个结构化的回答，分步骤指导安装依赖、安装sglang、准备GGUF模型、部署模型以及验证和故障排除。确保命令准确无误，参数解释清楚，帮助用户顺利完成部署。</think>针对 **Debian 12.9 系统**安装 `sglang` 并部署 **GGUF 量化模型**的详细步骤：

--

### **1. 安装系统依赖**
```bash
# 更新系统软件包
sudo apt update && sudo apt upgrade -y

# 安装基础编译工具和Python环境
sudo apt install -y build-essential cmake python3.10 python3-pip python3-venv

# 安装CUDA驱动（若需GPU加速，可选）
sudo apt install -y nvidia-driver nvidia-cuda-toolkit  # 根据显卡型号调整
```

---

### **2. 安装sglang与llama.cpp依赖**
```bash
# 创建Python虚拟环境（推荐）
python3 -m venv sglang-env
source sglang-env/bin/activate

# 安装sglang核心库（包含launch_server）
pip install sglang[all]

# 安装支持GGUF的llama-cpp-python（CPU/GPU二选一）
# 纯CPU版本：
pip install llama-cpp-python

# 启用GPU加速的CUDA版本：
CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install --force-reinstall llama-cpp-python
```

---

### **3. 准备GGUF量化模型**
#### **方式一：直接下载已有GGUF模型**
从社区获取预量化模型（如[Hugging Face Hub](https://huggingface.co/models?search=gguf)）：
```bash
# 示例：下载 Mistral-7B-Instruct-v0.2 的Q4量化模型
wget https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-GGUF/resolve/main/mistral-7b-instruct-v0.2.Q4_K_M.gguf
```

#### **方式二：自行量化模型**
若需自行转换模型，需编译 `llama.cpp`：
```bash
# 克隆llama.cpp仓库
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make -j4

# 转换Hugging Face模型为GGUF格式（需原始模型文件）
python3 convert.py --input-dir /path/to/model-hf --outfile ./model.gguf

# 执行Q4量化（示例为q4_k_m）
./quantize ./model.gguf ./model-q4.gguf q4_k_m
```

--

### **4. 部署GGUF模型**
```bash
# 启动服务（假设模型文件为mistral-7b-instruct-v0.2.Q4_K_M.gguf）
python -m sglang.launch_server \
  --model-path ./mistral-7b-instruct-v0.2.Q4_K_M.gguf \
  --quantization gguf \
  --host 0.0.0.0 \            # 允许外部访问
  --port 30000 \
  --gpu-layers 20             # 启用GPU加速（根据显存调整层数）
```

---

### **5. 验证服务**
#### **通过API调用测试**
```bash
curl http://localhost:30000/generate \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "法国的首都是哪里？",
    "max_tokens": 20,
    "temperature": 0.7
  }'
```

#### **通过Python脚本测试**
```python
from sglang import function

@function
def simple_qa(s, question):
    s += f"问题：{question}\n答案："
    s += sglang.gen("answer", max_tokens=50)

question = "如何用Python计算列表的平均值？"
state = simple_qa.run(question=question)
print(state["answer"])
```

--

### **常见问题解决**
1. **依赖冲突**：
   - 若安装失败，尝试在虚拟环境中操作：`python3 -m venv <环境名> && source <环境名>/bin/activate`

2. **GPU加速失效**：
   - 确认已安装CUDA版 `llama-cpp-python` 并指定 `--gpu-layers`
   - 检查GPU驱动状态：`nvidia-smi`

3. **模型加载失败**：
   - 确保GGUF文件路径正确，且用户有读取权限
   - 检查模型与 `llama-cpp-python` 版本兼容性

4. **内存不足**：
   - 减小 `--gpu-layers` 值或使用更低量化等级（如 `q2_k`）
   - 添加 `--n_ctx 2048` 减小上下文长度

---

### **参数说明**
| 参数               | 作用                                                                 |
|--|--------------------------------------------------------------------|
| `--model-path`    | **必填**，GGUF模型文件路径（绝对或相对路径）                               |
| `--quantization`  | **必填**，指定 `gguf` 表示加载GGUF量化模型                                 |
| `--gpu-layers`    | 启用GPU加速时卸载到显卡的模型层数（如RTX 4090可设20-30层）                     |
| `--host`/`--port` | 服务监听地址和端口（默认`localhost:30000`）                                |
| `--n_ctx`         | 最大上下文长度（默认4096，显存不足时需降低）                                  |

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值