2025 最新 DeepSeek-R1-Distill-Qwen-14B vLLM 部署全攻略：从环境搭建到性能测试(V100-32GB * 2)

已于 2025-02-18 16:33:35 修改
阅读量1w 收藏 54
点赞数 19
分类专栏： 模型部署 DeepSeek 文章标签： 深度学习 人工智能 centos ubuntu
于 2025-02-06 20:32:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/MnivL/article/details/145481421
版权

环境准备

本文基础环境如下：

----------------
x86_64
ubuntu 22.04 or centos 7
gpu: V100(32GB) * 2
python 3.12
cuda 12.2
pytorch 2.5.1
----------------

本文默认已配置好以上 Pytorch (cuda)​ 环境，如未配置请先自行安装。

依赖安装

  • 新建虚拟环境

    • ​-n DeepSeekR1​：指定要创建的虚拟环境的名称为 DeepSeekR1​。
    • ​python=3.12：指定虚拟环境中 Python 的版本为 3.12。
    • ​-y​：在创建环境过程中自动确认所有提示，无需手动输入 yes​。
    • ​-c​：用于指定 conda​ 源。这里指定了清华大学的主源和自由源。
    • ​--override-channels​ 临时禁用默认源，仅使用你指定的源
conda create -n DeepSeekR1 python=3.12 -y \
--override-channels \
-c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main \
-c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free

  • 激活环境

    创建完成后，你可以使用以下命令来激活并验证虚拟环境：

    # 激活虚拟环境
conda activate DeepSeekR1

# 查看 Python 版本
python --version

    如果输出的 Python 版本为 3.12，则说明虚拟环境创建成功。

  • 首先 pip​ 换源加速下载并安装依赖包

    pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
pip install --upgrade pip

  • 安装所需模块

    直接复制，快速安装

    也可以分开一个一个安

    pip install modelscope==1.22.3
pip install openai==1.61.0
pip install tqdm==4.67.1
pip install transformers==4.48.2
pip install vllm==0.7.1
  • 安装 pytorch

nvidia-smi 确认 cuda 版本需要大于等于pytorch安装的对应版本

​

pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu121

pytorch 下载太慢解决 见下文

检查安装是否成功

python -c "import torch; print(torch.cuda.is_available())"

输出True 这说明 GPU版本的pytorch​安装成功

模型下载

使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 local_dir为模型的下载路径。

新建 model_download.py​ 文件并在其中输入以下内容，粘贴代码后记得保存文件。

from modelscope import snapshot_download

model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-14B', local_dir='deepseek-ai/DeepSeek-R1-Distill-Qwen-14B', revision='master')

然后在终端中输入 python model_download.py​ 执行下载，这里需要耐心等待一段时间直到模型下载完成。

注意：记得修改 local_dir​ 为你的模型下载路径

创建兼容 OpenAI API 接口的服务器

​DeepSeek-R1-Distill-Qwen​ 兼容 OpenAI API​ 协议，所以我们可以直接使用 vLLM​ 创建 OpenAI API​ 服务器。vLLM​ 部署实现 OpenAI API​ 协议的服务器非常方便。默认会在 http://localhost:10040 启动服务器。服务器当前一次托管一个模型，并实现列表模型、completions​ 和 chat completions​ 端口。

  • ​completions​：是基本的文本生成任务，模型会在给定的提示后生成一段文本。这种类型的任务通常用于生成文章、故事、邮件等。
  • ​chat completions​：是面向对话的任务，模型需要理解和生成对话。这种类型的任务通常用于构建聊天机器人或者对话系统。

在创建服务器时，我们可以指定模型名称、模型路径、聊天模板等参数。

  • ​--host​ 和 --port​ 参数指定地址。
  • ​--model​ 参数指定模型名称。
  • ​--dtype​ 模型权重和激活的数据类型，常用的为bfloat16，不指定为auto，这里为float16
  • ​--chat-template​ 参数指定聊天模板。
  • ​--served-model-name​ 指定服务模型的名称。
  • ​--max-model-len​ 指定模型的最大长度。​
  • ​--tensor_parallel_size​ 张量并行数（用几张卡跑）
  • ​--gpu-memory-utilization​ 模型GPU利用率，未指定为0.9，长期稳定0.9，不会以为你的模型参数大或小而变化
  • ​--enable-prefix-caching​ 启用自动前缀缓存，可以避免在多次推理时重复计算相同的前缀
  • 更多相关参数：OpenAI-Compatible Server — vLLM
CUDA_VISIBLE_DEVICES=2,3 python -m vllm.entrypoints.openai.api_server \
  --model /home/chengan/apps/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B \
  --served-model-name DeepSeek-R1-Distill-Qwen-14B \
  --max-model-len=8192 \
  --host 0.0.0.0 \
  --port 10040 \
  --tensor_parallel_size 2 \
  --dtype float16

  • 后台运行（退出窗口后，程序不会停止）

    CUDA_VISIBLE_DEVICES=2,3 \
nohup python -m vllm.entrypoints.openai.api_server \
	  --model /home/chengan/apps/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B \
	  --served-model-name DeepSeek-R1-Distill-Qwen-14B \
	  --max-model-len=8192 \
	  --host 0.0.0.0 \
	  --port 10040 \
	  --tensor_parallel_size 2 \
	  --dtype float16 \
   	  > model_api_server.log \
	  2>&1 &

加载完毕后出现如下信息说明服务成功启动

​

​

nvidia-smi 查看显存占用，不过vllm会预占用显存到 90% 左右，比如这里V100（32GB）* 2 都会占用 28.5GB左右

实际占用 = 权重占用 +kv cache占用

​

​

  • 通过 curl​ 命令查看当前的模型列表
curl http://localhost:10040/v1/models

得到的返回值如下所示

{
    "object": "list",
    "data": [
        {
            "id": "DeepSeek-R1-Distill-Qwen-14B",
            "object": "model",
            "created": 1738812214,
            "owned_by": "vllm",
            "root": "/home/mnivl/apps/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B",
            "parent": null,
            "max_model_len": 2048,
            "permission": [
                {
                    "id": "modelperm-05ee4d8c73c44ca890ab982f3b43de88",
                    "object": "model_permission",
                    "created": 1738812214,
                    "allow_create_engine": false,
                    "allow_sampling": true,
                    "allow_logprobs": true,
                    "allow_search_indices": false,
                    "allow_view": true,
                    "allow_fine_tuning": false,
                    "organization": "*",
                    "group": null,
                    "is_blocking": false
                }
            ]
        }
    ]
}
  • 使用 curl​ 命令测试 OpenAI Completions API​
curl http://localhost:10040/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "DeepSeek-R1-Distill-Qwen-14B",
        "prompt": "我想问你，5的阶乘是多少？<think>\n",
        "max_tokens": 1024,
        "temperature": 0
    }'

得到的返回值如下所示

{
    "id": "cmpl-aaa8af926770477ab42c2ab865cdc5da",
    "object": "text_completion",
    "created": 1738812258,
    "model": "DeepSeek-R1-Distill-Qwen-14B",
    "choices": [
        {
            "index": 0,
            "text": "首先，5的阶乘是指从1乘到5的乘积。\n\n计算步骤如下：\n\n1. 5 × 4 = 20\n2. 20 × 3 = 60\n3. 60 × 2 = 120\n4. 120 × 1 = 120\n\n因此，5的阶乘等于120。\n</think>\n\n**解答：**\n\n5的阶乘（写作 \\(5!\\)) 表示从1乘到5的乘积。计算如下：\n\n\\[\n5! = 5 \\times 4 \\times 3 \\times 2 \\times 1 = 120\n\\]\n\n**最终答案：**\n\n\\[\n\\boxed{120}\n\\]",
            "logprobs": null,
            "finish_reason": "stop",
            "stop_reason": null,
            "prompt_logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 13,
        "total_tokens": 177,
        "completion_tokens": 164,
        "prompt_tokens_details": null
    }
}
  • 用 Python​ 脚本请求 OpenAI Completions API​
# vllm_openai_completions.py
from openai import OpenAI
client = OpenAI(
    base_url="http://localhost:10040/v1",
    api_key="sk-xxx", # 随便填写，只是为了通过接口参数校验
)

completion = client.chat.completions.create(
  model="DeepSeek-R1-Distill-Qwen-14B",
  messages=[
    {"role": "user", "content": "我想问你，5的阶乘是多少？<think>\n"}
  ]
)

print(completion.choices[0].message)

python vllm_openai_completions.py

得到的返回值如下所示

ChatCompletionMessage(content='首先，5的阶乘是指从1乘到5的乘积。\n\n计算步骤如下：\n\n1. 5 × 4 = 20\n2. 20 × 3 = 60\n3. 60 × 2 = 120\n4. 120 × 1 = 120\n\n因此，5的阶乘等于120。\n</think>\n\n**解答：**\n\n5的阶乘（写作 \\(5!\\)) 表示从1乘到5的乘积。计算如下：\n\n\\[\n5! = 5 \\times 4 \\times 3 \\times 2 \\times 1 = 120\n\\]\n\n**最终答案：**\n\n\\[\n\\boxed{120}\n\\]', refusal=None, role='assistant', function_call=None, tool_calls=[])
  • 用 curl​ 命令测试 OpenAI Chat Completions API​
curl http://localhost:10040/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "DeepSeek-R1-Distill-Qwen-14B",
        "messages": [
            {"role": "user", "content": "我想问你，5的阶乘是多少？"}
        ],
        "stream": true
    }'

得到的返回值如下所示

{
    "id": "chatcmpl-2942afba07544b5dbaad4e245671770d",
    "object": "chat.completion",
    "created": 1738592210,
    "model": "DeepSeek-R1-Distill-Qwen-14B",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "reasoning_content": null,
                "content": "\n\n5的阶乘（factorial）是计算在5的前面接数的连乘积。具体计算如下：\n\n5! = 5 × 4 × 3 × 2 × 1 = 120",
                "tool_calls": []
            },
            "logprobs": null,
            "finish_reason": "stop",
            "stop_reason": null
        }
    ],
    "usage": {
        "prompt_tokens": 15,
        "total_tokens": 64,
        "completion_tokens": 49,
        "prompt_tokens_details": null
    },
    "prompt_logprobs": null
}
  • 用 Python​ 脚本请求 OpenAI Chat Completions API​
# vllm_openai_chat_completions.py
from openai import OpenAI
openai_api_key = "sk-xxx" # 随便填写，只是为了通过接口参数校验
openai_api_base = "http://localhost:10040/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

chat_outputs = client.chat.completions.create(
    model="DeepSeek-R1-Distill-Qwen-14B",
    messages=[
        {"role": "user", "content": "什么是深度学习？"},
    ]
)
print(chat_outputs)

python vllm_openai_chat_completions.py

得到的返回值如下所示

ChatCompletion(id='chatcmpl-34386ff2bc8145d0af8f8245fa792197', choices=[Choice(finish_reason='stop', index=0, logprobs=None, message=ChatCompletionMessage(content='<think>\n深度学习是一种通过多层神经网络来解决复杂问题的技术。它不仅利用传统机器学习的方法，还引入了大量计算机科学和神经科学的知识。深度学习算法利用大量数据来进行学习，能够自动提取复杂的特征或解决非线性问题。在图像识别、语音识别、情感分析等任务中，深度学习算法的表现尤为突出。虽然深度学习算法的准确性来源于大量训练数据，但这也意味着训练数据的质量和规模是一个关键的技术挑战。在相反的情况下，过拟合和过学习可能会影响模型的表现。\n\n深度学习经历了从基层到高层的 Architectual evolution。从基本的单层感知机到复杂的高级模型，如卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）、这些结构如何帮助模型更好地理解和处理数据，是深度学习中非常重要的环节。\n\n最后，在实际应用中，需要考虑各种策略，比如数据和算法的兼容性，模型的可解释性等，以确保深度学习模型在实际应用中的有效性。此外，持续优化和改进模型即使在面临挑战的情况下，也是深度学习领域的重要工作。\n</think>\n\n深度学习是基于神经网络通过多层的递归结构来解决复杂问题的技术。它通过修改神经网络的结构和并结合多种优化算法来学习和抽取多种特征信息，使其能够在任何工业和科学研究中表现优异，尤其是在 attach图像识别、语音识别、情感分析等千年难破的难题上表现出色。\n\n深度学习能够自动学习和发现数据中的特征，不需要人工干预。通过海量的数据进行训练，深度学习模型能够自动提取复杂的特征，并利用这些特征解决难以用传统方法直接解决的问题。\n\n深度学习的核心在于算法的复杂性，这些算法能够识别和理解细节中的潜在关系，同时考虑到数据中的非线性交互作用。这种非线性性让深度学习能够处理复杂接近真实的数据分布，并在面对记忆不清晰或者复杂数据时表现出突出的表现。\n\n例如，在语音识别中，深度学习模型能够识别 nuanced的语音特征，而不仅仅是简单的转过的语音或大老景的nr frhotmail。同样，在图像识别中，深度学习能够捕捉到复杂的纹理和颜色变化，使其识别更精细的细节。\n\n总结而言，深度学习通过构建复杂的神经网络结构，结合先进的训练方法，可以自动提取数据中的有效特征，从而解决非线性问题，同时在低真实通用性能成本下展现出目前最好的水平。', refusal=None, role='assistant', audio=None, function_call=None, tool_calls=[], reasoning_content=None), stop_reason=None)], created=1738592410, model='DeepSeek-R1-Distill-Qwen-14B', object='chat.completion', service_tier=None, system_fingerprint=None, usage=CompletionUsage(completion_tokens=511, prompt_tokens=7, total_tokens=518, completion_tokens_details=None, prompt_tokens_details=None), prompt_logprobs=None)

  • 流式请求，加个参数即可

    curl http://localhost:10040/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "DeepSeek-R1-Distill-Qwen-14B",
        "messages": [
            {"role": "user", "content": "什么是神经网络？"}
        ],
        "stream": true
    }'

另外，在以上所有的在请求处理过程中， API​ 后端都会打印相对应的日志和统计信息
​

Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 0.0 tokens/s, Running: 2 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.2%, CPU KV cache usage: 0.0%.

Avg prompt throughput：平均每秒吞吐量
Avg generation throughput：系统每秒钟生成的token数量
Running：正在处理的请求数量，此处为并发的两个请求正在处理
Swapped：正在交换和挂起的请求
Pending：等待请求的请求数
GPU KV cache usage：GPU KV缓存使用率
CPU KV cache usage：CPU KV缓存使用率

并发测试

V100 * 2 双卡并行跑速度还能接受，不过并发不是很理想

设备模型上下文并发循环次数速率（tokens/s）显存(GB)请求超时个数
V100（32GB） * 2DeepSeek-R1-Distill-Qwen-14B2048162462.360.10
V100（32GB） * 2DeepSeek-R1-Distill-Qwen-14B4096162372.460.112
V100（32GB） * 2DeepSeek-R1-Distill-Qwen-14B8192162293.260.123
V100（32GB） * 2DeepSeek-R1-Distill-Qwen-14B81921137.560.10

​

​

​

pytorch 下载太慢解决

由于是国外的网站，国内服务器大概率下载非常缓慢

https://download.pytorch.org/whl/cu121/torch-2.5.1%2Bcu121-cp312-cp312-linux_x86_64.whl

直接复制对应的下载地址，浏览器下载后上传到服务器上直接安装 （浏览器下载可能也会慢，需要魔法）

也可以在资源区直接下载 ： https://download.youkuaiyun.com/download/MnivL/90344755

 pip install torch-2.5.1+cu121-cp312-cp312-linux_x86_64.whl torchvision==0.20.1 torchaudio==2.5.1  -i https://mirrors.aliyun.com/pypi/simple/

安装过程会有些慢

过程可能报错

ValueError: Bfloat16 is only supported on GPUs with compute capability of at least 8.0

ValueError: Bfloat16 is only supported on GPUs with compute capability of at least 8.0. Your Tesla V100-PCIE-32GB GPU has compute capability 7.0. You can use float16 instead by explicitly setting thedtype​ flag in CLI, for example: --dtype=half.

  • 数据类型不兼容：bfloat16​（Brain Floating Point 16）是一种 16 位的浮点数数据类型，它在一些新的 GPU 架构上（计算能力至少为 8.0）被支持，用于加速深度学习训练和推理。而 Tesla V100 GPU 计算能力为 7.0，不支持 bfloat16​。

解决办法

  • 使用 float16​ 替代 bfloat16​

错误信息中已经给出了提示，可以使用 float16​ 替代 bfloat16​。具体做法是在命令行中显式设置 dtype​ 标志。

from vllm import LLM
....
# 初始化 vLLM 推理引擎
llm = LLM(model=model, ..., dtype="float16")

python -m vllm.entrypoints.openai.api_server \
  --model /home/mnivl/apps/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B \
  .... \
  --dtype float16

vLLM特性

vLLM 是一个快速且易于使用的推理和服务库LLM。

vLLM 速度很快：

  • 最先进的服务吞吐量
  • 使用 PagedAttention 高效管理注意力键和值内存
  • 传入请求的连续批处理
  • 使用 CUDA/HIP 图快速执行模型
  • 量化：GPTQ、AWQ、INT4、INT8 和 FP8。
  • 优化 CUDA 内核，包括 FlashAttention 和 FlashInfer 的集成。
  • 推测解码
  • 分块预填充

vLLM 灵活且易于使用：

  • 与流行的 Hugging Face 型号无缝集成
  • 使用各种解码算法（包括并行采样、光束搜索等）实现高吞吐量服务
  • Tensor 并行和 Pipeline 并行支持分布式推理
  • 流式处理输出
  • OpenAI 兼容 API 服务器
  • 支持 NVIDIA GPU、AMD CPU 和 GPU、INTEL CPU 和 GPU、POWERPC CPU、TPU 和 AWS Neuron。
  • 前缀缓存支持
  • Multi-lora 支持

vLLM 无缝支持 HuggingFace 上最流行的开源模型，包括：

  • 类似 LLMs Transformer（例如 Llama）
  • Mixture-of-Expert LLMs （例如 Mixtral、Deepseek-V2 和 V3）
  • 嵌入模型（例如 E5-Mistral）
  • 多模态LLMs（例如 LLaVA）

模型指标

DeepSeek-R1 训练技术论文链接： DeepSeek-R1/DeepSeek_R1.pdf at main · deepseek-ai/DeepSeek-R1 · GitHub

  • 使用 DeepSeek-R1 生成的推理数据，微调了研究界广泛使用的几个密集模型。评估结果表明，蒸馏的较小密集模型在基准上表现非常出色。开源了基于 Qwen2.5 和 Llama3 系列的 1.5B、14B、8B、14B、32B 和 70B 。
  • 魔搭社区

​

​

DeepSeek-R1 Models

Model#Total Params#Activated ParamsContext LengthDownload
DeepSeek-R1-Zero671B314B128K🤗 HuggingFace
DeepSeek-R1671B314B128K🤗 HuggingFace

DeepSeek-R1-Distill Models

ModelBase ModelDownload
DeepSeek-R1-Distill-Qwen-1.5BQwen2.5-Math-1.5B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-7BQwen2.5-Math-7B🤗 HuggingFace
DeepSeek-R1-Distill-Llama-8BLlama-3.1-8B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-14BQwen2.5-14B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-32BQwen2.5-32B🤗 HuggingFace
DeepSeek-R1-Distill-Llama-70BLlama-3.3-70B-Instruct🤗 HuggingFace

引用借鉴

开源模型应用落地-DeepSeek-R1-Distill-Qwen-7B与vllm实现推理加速的正确姿势（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
02-02 1万+
DeepSeek-R1-Distill-Qwen-7B模型通过蒸馏技术成功提炼Qwen-7B核心知识，旨在满足小型模型需求，并在全面测试中优化性能和拓展应用边界。
DeepSeek大模型的DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本，2025.2.6最新版的安装包OllamaSetup.exe
02-07
由于DeepSeek大模型的DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本可能涉及复杂的计算和数据处理工作，其安装和部署可能需要在具备一定计算资源的环境下进行，例如配备高性能GPU的工作站或服务器。在安装过程中，用户...
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
engchina的专栏
02-02 8711
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
DeepSeek R1模型 本地部署教程
一位热爱网安的年轻人的博客
02-08 3138
DeepSeek本地部署流程。
手把手教学，DeepSeek-R1微调全流程拆解
强化学习曾小健
02-10 1万+
DeepSeek-R1 是由深度求索（DeepSeek）公司开发的突破性推理模型。DeepSeek-R1 基于 DeepSeek-V3-Base（总共 671B 个参数，每次推理 37B 处于活动状态）构建，使用强化学习 （RL） 在提供最终答案之前生成思路链 （CoT）。为了使这些功能更易于访问，DeepSeek 将其 R1 输出提炼成几个较小的模型：基于 Qwen 的蒸馏模型：1.5B、7B、14B 和 32B基于 Llama 的蒸馏模型：8B 和 70B。
DeepSeek-R1个人和企业本地快速部署手册（可商用）
zhishi0000的博客
02-11 1594
关于基于DeepSeek-R1蒸馏的六款子模型是否适合个人部署，我特别关注了其中一些模型文件非常庞大的版本，比如DeepSeek-R1-Distill-Qwen-32B和DeepSeek-R1-Distill-Llama-70B。在左侧的下拉列表中，可以选择不同参数的模型，并查看每个模型的大小，这些大小都是经过优化后的。如果你有阿里云、百度云等提供GPU的云服务器，也可以选择在云端部署大型模型，并在个人电脑上安装Open WebUI配置云端模型，这样的使用体验将是最佳的，同时还能确保个人信息安全。
0代码！2种方式，一键部署DeepSeek
Serverless 社区
02-10 1021
云应用开发平台 CAP（Cloud Application Platform）是阿里云推出的一站式应用开发和生命周期管理平台。应用开发者可以通过 Serverless 架构来构建容器化、高弹性、免运维的云上应用，也可以通过 AI 大语言模型推动云上应用逐步升级为智能化应用，而 CAP 的应用开发范式正是结合了 Serverless 和 AI 的两者优势，帮助开发者更高效地响应市场变化，快速构建高可用、低延迟的云上应用。
在m4芯片的macbook pro上部署并推理deepseek-r1到底能有多快呢
全世界的博客
01-29 1万+
最近deepseek的战绩席卷全球，成为开源第一大模型。我正好有一台m4pro芯片的macbook pro，让我们看看如何在mbp上跑deepseek-r1,并测试一下速度。首先查看一下电脑配置，我的电脑是24G+512G的m4 pro芯片的macbook。然后看一下deepseek-r1有哪些模型因为内存只有24G，所以32B以上模型是跑不了的,我这次就测试蒸馏后的14B模型。因为看模型报告对qwen2.5蒸馏后的模型性能比qwen2.5本身要好的多，所以也会加入qwen2.5的测试。
在游戏本(6G显存)上本地部署Deepseek，运行一个14B大语言模型，并使用API访问
冀辉的博客
02-05 7973
deepseek在大语言模型上的进步确实不错，相比最初的百川在CPU上运行14B模型输出一次对话要20分钟，deepseek使用1.5B时，完全可以在CPU上快速输出内容，性能提升非常显著，完全满足个人在笔记本上开发大模型应用的基本要求。虽然deepseek每次对话都要思考一下，使用了较多时间，但在实际输出内容时，还是比较快速的，在游戏本上至少可以每秒输出5个token以上。下面内容是我在自己的游戏本上测试结果，没有进行任何优化，供大家参考。
使用BitaHub部署DeepSeek-R1
是我的博客
01-23 1万+
2025 年 1 月 20 日，DeepSeek 发布并开源了最新的推理模型–，性能比肩OpenAI-o1，同时还开源了 6 个R1小模型，使用从 DeepSeek-R1 蒸馏出来的知识去微调 Qwen、Llama，参数包含了1.5B、7B、 8B、14B、32B、70B，能够满足各种场景。本次将使用BitaHub部署DeepSeek-R1-Distill，BitaHub是一个开放的Al和深度学习社区，GPU算力资源有4090、A100 等高性能显卡，提供了全流程的 AI 开发、训练、部署的专业环境。
什么是DeepSeek-R1蒸馏模型？
热门推荐
asd8705的专栏
01-22 2万+
所以昨晚，DeepSeek在DeepSeek-V3之后发布了另一个革命性的模型，即DeepSeek-R1和我的孩子，这看起来是一个重大的发布，因为这个模型在几个基准测试中已经超越了OpenAI-o1，即SOTA推理模型。例如，在推理基准测试中，DeepSeek-R1-Distill-Qwen-32B的表现优于DeepSeek-R2-Zero-Qwen-34B，这表明对于较小的模型来说，蒸馏是一种更经济、更有效的方法。蒸馏的目标是使DeepSeek-R1等大型模型的推理能力能够被更小、更高效的模型所利用。
DeepSeek-R1工具V1.0-36.5G网盘链接下载.txt
02-11
DeepSeek-R1工具V1.0是一款无需复杂搭建环境即可使用的深度学习工具，它具备显著的性能特点和便捷的使用方式。该工具专门针对拥有2G显存的计算设备进行了优化，能够在这样的硬件条件下流畅运行。DeepSeek-R1工具V1.0...
DeepSeek-R1-Distill-Qwen-1.5B-Q8-0.gguf（第一部分）
02-14
在本例中提到的“DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf”文件是一个GGUF格式的文件，它代表了一个经过精简和优化的模型版本。这个文件特别标注为Q8_0量化版本，意味着它在保证模型性能的同时，还通过量化技术...
DeepSeek-R1-Distill-Qwen-1.5B-Q8-0.gguf（第二部分）
02-14
标题中提到的“DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf”暗示了这是一个经过知识蒸馏（distillation）技术处理过的模型。知识蒸馏是一种模型压缩技术，它通过训练一个小型的网络（学生模型）来模仿一个大型网络...
DeepSeek-R1 源码 + 文档
02-08
DeepSeek-R1是面向深度学习领域的研究项目，它集合了源码和相关文档，为研究者和开发者提供了一个开放的平台以探索和实验新的算法。该项目可能涉及一系列深度学习模型的构建、训练和优化，旨在解决计算机视觉、自然...
基于unsloth训练与部署实践DeepSeek-R1 法律推理模型
最新发布
hello.reader
02-26 1334
随着大语言模型在法律领域的应用日益深入，如何高效地微调和部署这些模型成为关键课题。本文将介绍如何使用 unsloth 框架和 LoRA 技术对 DeepSeek-R1 模型进行微调，使其具备中文法律推理能力，并展示如何在本地加载训练后的模型进行交互式推理。所有代码均经过优化，确保内存效率和易用性。
LLM - 基于LM Studio本地部署DeepSeek-R1的蒸馏量化模型
crasowas的博客
02-03 4570
本文章基于macOS以及LM Studio本地部署，全程无需代理，力求让你快速学会部署自己的大语言模型。
LLM大模型： DeepSeek-R1概况
2401_84204413的博客
02-09 1597
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。
DeepSeek-R1-Distill-Qwen-14B下载
02-06
### 下载 DeepSeek R1 Distill Qwen 14B 模型 为了获取并安装 DeepSeek R1 Distill Qwen 14B 模型，通常需要遵循特定平台或社区发布的指南。此模型可能托管于多个在线资源库中，如 Hugging Face 或其他专用存储库。 #### 使用 Hugging Face 平台下载 如果该模型已发布到 Hugging Face Model Hub，则可以通过以下 Python 脚本轻松下载： ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "DeepSeek-R1-Distill-Qwen-14B" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # 将模型保存至本地目录 save_directory = "./deepseek_r1_distilled_qwen_14b/" tokenizer.save_pretrained(save_directory) model.save_pretrained(save_directory) ``` 上述脚本利用 `transformers` 库中的 `AutoModelForCausalLM` 和 `AutoTokenizer` 类来加载指定名称的预训练模型及其对应的分词器，并将其保存到本地文件夹中[^1]。 对于那些未公开提供直接链接的情况，建议访问官方文档或 GitHub 页面寻找详细的部署说明以及任何必要的许可协议信息。此外，也可以参考社区成员分享的经验和技术细节，这些资料往往能提供更多实用的帮助和指导[^2]。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

歌刎

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值