A100 vllm运行Qwen3-4B-instruct-2507生成速度有多快？

原创已于 2025-10-15 20:03:37 修改 · 272 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#A100 #vllm #Qwen3-4B

于 2025-10-15 16:53:48 首次发布

大模型专栏收录该内容

71 篇文章

订阅专栏

部署运行你感兴趣的模型镜像

分别以Qwen/Qwen3-4B-Instruct-2507和Qwen/Qwen3-4B-Instruct-2507-FP8进行测试，发现Qwen/Qwen3-4B-Instruct-2507的生成速度反而更快一些。

运行Qwen/Qwen3-4B-Instruct-2507：

docker run -it --rm \
  --name vllm \
  --gpus all \
  -p 8000:8000 \
  -v ./local_qwen_model:/root/.cache/huggingface/hub \
  vllm/vllm-openai:latest \
  --model Qwen/Qwen3-4B-Instruct-2507 \
  --port 8000 \
  --gpu_memory_utilization 0.7 \
  --max_num_seqs 1024 \
  --host 0.0.0.0

测试：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Qwen/Qwen3-4B-Instruct-2507", "messages": [{"role": "user", "content": "你好，请介绍一下自己。"}], "max_tokens": 1000, "temperature": 0.7}'

结果：18.1 tokens/s

运行Qwen/Qwen3-4B-Instruct-2507-FP8的结果：10-14.1 tokens/s，竟然更慢。

M2 Max上生成速度是：68.66 tokens/s，是A100的3倍生成速度。量化与非量化的差异吗？

您可能感兴趣的与本文相关的镜像

Vllm-v0.11.0

Vllm

vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值