性能直逼 DeepSeek R1 671B，QwQ-32B＋4*RTX 5000 Ada 并发测试

上周，通义千问发布了推理模型 QwQ-32B，据说性能比肩 DeepSeek-R1 671B 满血版。

所以我们这两天立刻用4卡 NVIDIA RTX 5000 Ada工作站来测试这款“当红炸子鸡”：

（前端调用界面）

阿里官方测试数据：

测试框架：vllm

测试环境：

GPU：RTX 5000 Ada*4（单卡32GB，共128GB）

CPU：Intel(R)Xeon(R) w5-3433

内存：256GB DDR5 硬盘：1TB

测试数据仅供参考：

我们在压力并发测试中分别测试了 2 种常见的使用场景：

1、问答对话场景

特点：直接回答用户提出的问题，通常基于预定义的规则、知识库或简单检索。

测试结果：

并发数在100以内，吞吐率可以达到＞14 tokens/s，在简单对话场景的表现优秀。

2、模拟RAG场景

特点：结合检索外部知识库与生成模型，动态生成精准、上下文相关的答案。

测试结果：

基本可以满足100个并发，吞吐率＞6 tokens/s。可以流畅地对海量文档和数据库进行检索并输出内容。

测试小结

对话问答场景：基本可以满足100个并发。当并发数＜100 时，Tokens/s＞14。

模拟RAG场景：基本可以满足100个并发。当并发数＜100 时，Tokens/s＞6。

后端服务稳定运行，配合前端实际使用体验效果优秀，延迟很低。

从回答问题的质量来看，QwQ-32B 回答问题的逻辑性明显要强于R1 32B 蒸馏版，跟671B满血版对比基本接近，期待 DeepSeek 官方下一个版本的更新。

联系后台可申请体验，或加入赞奇 DeepSeek 应用交流群。