压测报告：DeepSeek-R1-Distill-Qwen-32B模型性能评估

已于 2025-02-26 20:00:03 修改
阅读量1k 收藏 1
点赞数 6
分类专栏： 搭建本地gpt 从0到1打造企业AI知识库：实用指南与生产落地 文章标签： java 服务器 运维
于 2025-02-26 19:59:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012743772/article/details/145887128
版权

1. 实验背景

本实验旨在评估DeepSeek-R1-Distill-Qwen-32B模型在特定硬件配置下的性能表现。测试硬件为GPU服务器。实验主要关注模型在不同并发请求数下的峰值生成速度。

  • 吞吐量（Throughput）： 测试模型在单位时间内可以处理多少请求，通常以“每秒生成的令牌数（tokens/s）”来衡量。
  • 首次响应时间（First Token Latency）： 测试从用户发送请求到模型生成第一个令牌的时间。
  • 全响应时间（Total Latency）： 测试从请求发送到模型返回完整响应所需的时间。
  • 并发处理能力： 测试模型在多用户高并发情况下的稳定性和性能，了解模型的最大并发数。

2. 测试设置

  • 模型部署：DeepSeek-R1-Distill-Qwen-32B
  • 测试指标：
    • 并发请求数（每秒）
    • 每秒峰值平均生成tokens数

3. 测试结果

了解本专栏 订阅专栏 解锁全文 超级会员免费看
本地部署的DeepSeek-R1-32B与DeepSeek-R1-7B模型效果对比
maxcode
02-08 5988
DeepSeek-R1-32B和DeepSeek-R1-7B作为DeepSeek系列中的两个重要版本，分别代表了不同规模和性能的模型。总体而言，DeepSeek-R1-32B和DeepSeek-R1-7B在本地部署中各有千秋。DeepSeek-R1-32B凭借其更大的规模和更强的生成能力，适合对模型性能有较高要求的场景；而DeepSeek-R1-7B则以较低的硬件要求和更高的运行效率，成为中小型企业和个人开发者的首选。最终选择哪种模型，需要根据具体的使用场景、资源预算以及对模型性能的需求来决定。
开源模型应用落地-DeepSeek-R1-Distill-Qwen-7B与vllm实现推理加速的正确姿势（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
02-02 1万+
DeepSeek-R1-Distill-Qwen-7B模型通过蒸馏技术成功提炼Qwen-7B核心知识，旨在满足小型模型需求，并在全面测试中优化性能和拓展应用边界。
SGLang部署deepseek-ai/DeepSeek-R1-Distill-Qwen-32B实测比VLLM快30%，LMDeploy比VLLM快50%
懒惰是科技进步的原始动力
02-12 2169
我是4卡3090，运行DeepSeek-R1-Distill-Qwen-32B，使用了3种框架进行部署，分别为lmdeploy、sglang、vllm
开发效率提升 40%！DeepSeek 两大低成本部署方案，哪种更适合你？
agu的博客
03-12 2192
自从 ChatGPT 发布以来，开发人员的工作方式发生了革命性变化。代码生成、自动化调试、技术文档解析等环节的效率大幅提升，整体工作效率提高超过 40%。然而，ChatGPT 在国内应用面临高延迟、高昂的 API 调用成本和数据隐私合规等难题，限制了其在生产环境中的广泛应用。为此提供了突破性解决方案。通过本地化部署和灵活的定制功能（如代码合规性过滤、敏感信息隔离），企业可在本地完成从代码生成到自动化测试的全流程，降低成本的同时，确保数据安全和合规，真正实现高效、安全、可控的 AI 编程实践。
比较 DeepSeek-R1 模型：32B、70B 和 R1
最新发布
2301_79455190的博客
03-13 1044
DeepSeek 是一家由梁文锋于 2023 年创立的中国 AI 公司，该公司在发布 DeepSeek-R1 模型后，在人工智能领域取得了重大进展。这种开源语言模型因其在推理任务中的表现而备受关注，可与 OpenAI 的 o1 等模型相媲美。值得注意的是，DeepSeek 仅用通常所需资源的一小部分就实现了这一目标，凸显了中国在 AI 技术领域的快速进步。
华为显卡部署DeepSeek-R1-Distill-Qwen-32B记录
weixin_43959376的博客
02-10 4364
DeepSeek 蒸馏模型 Qwen32B 在华为昇腾 Atlas 300I DUO上的部署记录（踩坑过程）
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
engchina的专栏
02-02 9115
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
全网唯一！手把手教你 DeepSeek-R1-Distill-Qwen-32B 云端部署 + Dify 配置全攻略
star_nwe的博客
02-21 3279
Deepseek最近太火了，关于 Deepseek 的文章虽多，但大多局限于 Ollama 部署 Deepseek 这类“玩具”场景，难以满足企业级应用的复杂需求。这些低质量内容往往缺乏深度与实用性，对于追求高效、稳定解决方案的企业而言，犹如隔靴搔痒。而我们的专业团队，始终关注行业前沿动态，凭借对技术趋势的精准把握和深厚的技术积累，迅速捕捉到企业在 Deepseek 应用中的痛点与需求。在极短的时间内，精心打造出这篇文章。
DeepSeek-R1-Distill-Qwen-32B 部署教程
2201_75283933的博客
02-27 2802
DeepSeek-R1-Zero 是一款通过大规模强化学习（RL）训练而成的模型，未经过监督微调（SFT）作为前置步骤，却展现出了卓越的推理能力。在强化学习的训练过程中，该模型自然地发展出许多强大且有趣的推理行为。然而，DeepSeek-R1-Zero 也存在一些问题，例如无休止的重复、可读性差以及语言混合等。为了解决这些问题并进一步提升模型的推理性能，我们推出了 DeepSeek-R1，该模型在强化学习之前引入了冷启动数据。
vLLM + Open-WebUI 本地私有化部署 DeepSeek-R1-Distill-Qwen-32B 方案
小毕超博客
03-07 2717
vLLM是一个快速且易于使用的大模型库，专为大模型的推理和部署而设计。可以无缝集成 HuggingFace、Modelscope 上的模型。Open WebUI是一个开源的、可扩展的、功能丰富的自托管AI平台，旨在完全离线运行。它主要设计用于与大型语言模型（LLMs）进行交互，支持多种模型和API，提供了直观的图形用户界面，使得用户可以更方便地管理和运行模型。通过 vLLM+Open WebUI快速部署DeepSeek-R1-Distill-Qwen-14B模型。
DeepSeek-R1工具V1.0-36.5G网盘链接下载.txt
02-11
DeepSeek-R1工具V1.0的主要优势在于它已经预置了从1.5b到32b的多种模型，这些模型覆盖了不同复杂度和应用需求，为用户提供了丰富的选择，以满足各种深度学习任务。 对于想要尝试深度学习模型而不想从零开始搭建环境...
大模型迎来2025开年大作：deepseek-R1与deepseek-R1-Zero
热门推荐
sexy19910923的博客
01-21 3万+
DeepSeek版o1，有消息了。还未正式发布，已在代码基准测试LiveCodeBench霸榜前三，表现与OpenAI o1的中档推理设置相当。 注意了，这不是在DeepSeek官方App已经能试玩的DeepSeek-R1-Lite-Preview（轻量预览版）。
AI智算-DeepSeek-r1:671b性能压测&H100
Kason_iWiki
02-23 1602
继上次结合K8s、SGLang、LWS 等技术栈，完成分布式 DeepSeek-r1 推理集群的部署后，经过几天的实际使用，发现当并发数达到一定阈值时，性能出现下降。为进一步评估和优化集群性能，现对已部署的 DeepSeek-r1 推理集群进行深入的性能压测。选型LLM 性能压测工具经过调研，选择 推理引擎 SGLang 自带的基准测试工具，以及Locust和EvalScope两款成熟的性能测试工具，进行全面的性能评估。官网地址：https://locust.io。
DeepSeek R1 蒸馏系列模型测评，生产落地部署极致性价比评估
MnivL的博客
02-09 8491
本文深度评测了 DeepSeek R1 近期开源的蒸馏系列模型。从模型指标、成本、性能、能力多个维度进行对比测试，通过对模型版权、资源需求、实际部署后显存占用和并发性能测试，以及逻辑推理、语言理解等多方面能力测评，全面分析各模型的优劣。最终揭晓性价比最高的模型，同时探讨模型在实际应用中的优化思路，为你在模型选择与应用上提供极具价值的参考。
什么是DeepSeek-R1蒸馏模型？
asd8705的专栏
01-22 2万+
所以昨晚，DeepSeek在DeepSeek-V3之后发布了另一个革命性的模型，即DeepSeek-R1和我的孩子，这看起来是一个重大的发布，因为这个模型在几个基准测试中已经超越了OpenAI-o1，即SOTA推理模型。例如，在推理基准测试中，DeepSeek-R1-Distill-Qwen-32B的表现优于DeepSeek-R2-Zero-Qwen-34B，这表明对于较小的模型来说，蒸馏是一种更经济、更有效的方法。蒸馏的目标是使DeepSeek-R1等大型模型的推理能力能够被更小、更高效的模型所利用。
DeepSeek-R1技术报告速读
AIBigModel的博客
01-27 1809
采用拒绝采样的方式从前一阶段得到的模型生成推理过程，同时额外引入一些无法用规则进行奖励的数据（这部分数据使用DeepSeek-V3通过LLM-as-judge的方式进行奖励，比较GroudTruth与实际输出）。显然也不是，DeepSeek的兄弟们也发现了一些问题，比如，DeepSeek-R1-Zero 生成的答案可读性相对差、存在混合语言输出情况（这个似乎QwQ也比较明显）。直接用DeepSeek-R1阶段三：“拒绝采样和SFT” 时的数据对小模型进行SFT，不包含RL阶段，就能取得比较好的效果。
压测篇 | Ollama+Nginx+4090打造DeepSeek-R1-32B高可用大模型集群，助力企业拥抱AI时代
m0_59235245的博客
02-15 1187
今年是系列模型深入千行百业，助力企业全面拥抱的关键一年！在下，采用方案至关重要，大模型推理是计算密集型任务，所以每个用户任务采用单线程处理，这就使推理性能和并发能力受到了限制。
DeepSeek R1+Ollama 企业级应用 多用户同时对话并发测试
02-17 926
测试方法：在五台客户端主机安装三个Cherry-Studio和两个Chatbox客户端同时向服务器发起对话查询请求。测试结论：多用户并发查询，Ollama服务器CPU及内存使用率增长量可以忽略不计。测试结果：CPU使用率维持在40%-50%之间，内存使用量增长了20MB。测试版本: DeepSeek R1 7b+Ollama 0.5.11。更多测试内容请关注公众号：AI应用帮小忙。客户端接收服务器响应速度会明显变慢。测试日期：2025.2.17。多用户同时对话并发测试。
deepseek 并发测试
02-19
### DeepSeek 并发性能测试方法 对于评估 DeepSeek 在多用户或高负载情况下的表现，可以采用专门设计的压力测试工具来模拟不同级别的并发请求。这种方法不仅能够检验系统的响应速度和稳定性，还能帮助识别潜在瓶颈。 #### 使用 Go 编写的并发压力测试脚本 通过编写一个基于 Go 的程序来进行并发性能测试是一个不错的选择。Go 语言内置了 goroutine 和 channel 特性，非常适合用来实现高效的并发操作。下面是一份简化版本的代码示例： ```go package main import ( "fmt" "net/http" "sync" "time" ) func makeRequest(wg *sync.WaitGroup, url string) { defer wg.Done() start := time.Now() resp, err := http.Get(url) if err != nil { fmt.Printf("Error making request to %s\n", url) return } defer resp.Body.Close() duration := time.Since(start).Seconds() fmt.Printf("Response from %s took %.2f seconds\n", url, duration) } func benchmark(concurrency int, totalRequests int, targetURL string) { var wg sync.WaitGroup for i := 0; i < totalRequests; i++ { wg.Add(1) go makeRequest(&wg, targetURL) time.Sleep(time.Millisecond * time.Duration(1000/concurrency)) } wg.Wait() } func main() { concurrentLevels := []int{1, 2, 3, 4, 5, 6} // 不同级别并发数 modelSizes := []string{"1.5b", "7b", "14b", "32b"} // 模型大小选项 targetBaseURL := "http://localhost:8080/deepseek" // 假设的服务地址 for _, size := range modelSizes { for _, level := range concurrentLevels { fmt.Printf("\nTesting with concurrency=%d on model size=%s...\n", level, size) benchmark(level, level*10, fmt.Sprintf("%s?model_size=%s", targetBaseURL, size)) // 发送带有参数的GET请求给服务端 } } } ``` 这段代码会针对不同的模型尺寸（`1.5b`, `7b`, `14b`, `32b`），分别以六个不同的并发等级执行一系列 HTTP GET 请求到指定的目标 URL 上，并记录每次调用所需的时间。此过程可以帮助收集有关 CPU、GPU 资源消耗以及平均响应时间的数据[^2]。 #### 数据分析与可视化 完成上述测试之后，建议整理所获得的结果数据至表格形式以便于直观理解。表头应至少包含以下字段：并发数量、模型规模、CPU 占用率、GPU 利用率、内存占用量、单次查询耗时等指标。这些信息可以直接反映 DeepSeek 在各种条件组合下运行状态的好坏程度。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大势下的牛马

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值