KOS(KeyarchOS操作系统)+VLLM测试deepseek基准性能

最新推荐文章于 2025-10-11 01:04:29 发布
原创 最新推荐文章于 2025-10-11 01:04:29 发布 · 1k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux

目录

1 概述

2 环境准备

3 性能测试

3.1 下载vllm源码

3.2 启动vllm容器

3.3 手动测试

3.4 编写脚本测试

1 概述

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位，具备成熟的 CentOS 迁移和替换能力，可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接https://www.ieisystem.com/kos/product-kos-xq.thtml?id=12126

vLLM是一种用于大规模语言模型（LLM）推理的框架，旨在提高模型的吞吐量和降低延迟。vLLM通过优化内存管理和调度策略，显著提升了模型在高并发场景下的性能。vLLM利用了一种名为PagedAttention的注意力机制，该机制借鉴了虚拟内存和分页技术，以减少缓存内存（KV Cache）的浪费，并允许在请求之间灵活共享KV缓存。这种设计使得vLLM在保持与现有系统相同延迟水平的情况下，能够将吞吐量提高2到4倍。官方网址：https://www.vllm.ai

本篇文章主要介绍如何在KOS操作系统上进行vLLM基准性能测试，及benchmark测试，vLLM benchmark 测试是针对 vLLM 推理服务框架的性能评估过程，旨在量化其处理大规模语言模型推理任务时的效率、吞吐量和延迟表现，覆盖典型测试场景，包括单GPU/多GPU、不同模型规模、批处理效果等。

2 环境准备

操作系统版本：KOS 5.8 sp2u1(5.10.134-17.2.2.kos5.x86_64)

测试架构：x86_64，96核1TB物理机

显卡：NVIDIA Tesla V100s * 2

Docker镜像: vllm/vllm-openai:latest

模型：DeepSeek-R1-Distill-Llama-8B

3 性能测试

3.1 下载vllm源码

1、创建挂载容器目录：

mkdir –p /data

2、下载vllm源码到指定目录

cd /data

git clone

最低0.47元/天 解锁文章
VLLM专题（三十）—基准测试套件（Benchmark Suites）
03-18 779
这些测试用于在 vLLM 有重大更新时（例如升级到新版本），将 vLLM 的性能与其他替代方案（如 tgi、trt-llm 和 lmdeploy）进行比较。性能基准测试用于开发过程中，以确认新更改是否在各种工作负载下提升了性能。标签的代码时，以及当 PR 合并到 vLLM 时，都会触发这些测试。最新的夜间基准测试结果会在主要版本发布的博客文章中分享，例如。有关性能基准测试及其参数的更多信息，请参阅。有关夜间基准测试及其参数的更多信息，请参阅。标签的代码时，都会触发这些测试。最新的性能测试结果可以在。
vLLM 推理引擎性能分析基准测试
热门推荐
技术分享，读书笔记，面试宝典，算法积累，应有尽有～
10-16 1万+
本文为 vLLM 推理引擎根据官方提供的数据集进行的性能基准测试，主要测试分析 --enable-chunked-prefill 的启用/禁用以及 --max-num-batched-tokens 参数的调整对性能的影响情况...
vLLM性能基准测试：benchmarks套件使用详解
gitblog_00301的博客
09-18 1967
在大语言模型（LLM）部署过程中，开发者常面临以下挑战： - **性能瓶颈定位难**：无法准确识别推理延迟（Latency）与吞吐量（Throughput）瓶颈 - **参数调优效率低**：缺乏标准化测试流程验证优化效果 - **场景覆盖不全面**：未能模拟生产环境中的动态请求模式 vLLM的benchmarks套件通过模块化设计提供一站式性能评估解决方案，支持从基础算子到端到端服务的全链路测试...
vLLM 单元测试
最新发布
10-11 362
本文介绍了vLLM库中模型实现的单元测试要求。必须测试包括模型加载测试，需在registry.py中添加HuggingFace仓库示例。可选测试包括模型正确性测试（生成式模型需检查输出一致性和logprobs相似性，池化模型检查余弦相似度）和多模态处理测试（通用测试和模型专属测试）。测试通过是PR合并的前提条件，未通过测试会导致CI失败。
本地LLM & VLM性能评测
新缸中之脑
07-09 2360
作为一名数据工程师，我对测试一些生成式 AI 模型并在本地安装/运行模型很感兴趣。大型语言模型 (LLM) 和视觉语言模型 (VLM) 是最有趣的。OpenAI 提供了 ChatGPT 网站和移动应用程序。微软创建了 Windows 11 Copilot 供我们使用。但是，我们无法控制哪些数据被发送到互联网并存储在他们的数据库中。他们的系统不是开源的，就像神秘的黑匣子一样。
vLLM-benchmarks本地离线测试
zxt_95的博客
08-31 888
本文详细记录了在NVIDIA H200 Tensor Core GPU服务器上离线部署DeepSeek-R1-0528（671B）大语言模型的完整流程。采用vLLM推理框架，通过8张H200显卡（140G显存/张）实现多卡并行，配置了FP8量化和前缀缓存优化。部署过程包括Docker环境搭建、vLLM容器启动、离线缓存配置以及Conda基准测试环境准备。测试使用vLLM官方工具，模拟高并发场景（200请求/秒），设置2048输入/512输出长度，完成10000次请求的性能评估。文档涵盖了硬件配置（Dell
KeyarchOS(KOS)+VLLM部署deepseek推理服务
sinat_34953318的博客
05-16 814
vLLM是一种用于大规模语言模型（LLM）推理的框架，旨在提高模型的吞吐量和降低延迟。vLLM通过优化内存管理和调度策略，显著提升了模型在高并发场景下的性能。vLLM利用了一种名为PagedAttention的注意力机制，该机制借鉴了虚拟内存和分页技术，以减少缓存内存（KV Cache）的浪费，并允许在请求之间灵活共享KV缓存。这种设计使得vLLM在保持与现有系统相同延迟水平的情况下，能够将吞吐量提高2到4倍。
KOS+VLLM测试deepseek基准性能
SGY_GF的博客
07-25 930
浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位，具备成熟的 CentOS 迁移和替换能力，可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接id=12126vLLM是一种用于大规模语言模型（LLM）推理的框架，旨在提高模型的吞吐量和降低延迟。vLLM通过优化内存管理和调度策略，显著提升了模型在高并发场景下的性能。
vLLM 基准测试与性能测试框架：全面解析LLM推理性能评估体系
qianggezhishen的专栏
07-21 2070
vLLM 的基准测试与性能测试框架通过系统化的架构设计、多样化的测试工具、精细化的指标体系，为大语言模型推理性能评估提供了“科研级”的解决方案。该框架不仅满足了学术研究中不同优化策略的对比需求，还为工程落地中的硬件选型、容量规划、服务质量保障提供了数据支撑。随着 LLM 应用场景的不断拓展，此类兼具灵活性与严谨性的基准测试体系，将成为推动模型效率优化与产业落地的重要基础设施。
vllm基准测试——benchmark_serving实践步骤
weixin_43579058的博客
07-25 3169
vLLM服务性能基准测试说明记录。
【vLLM】【基准测试】：vLLM部署大模型的基准测试
qq_53690996的博客
02-25 5429
从以上基准测试来看，在使用Qwen2___5-Coder-32B-Instruct-GPTQ-Int8和QwQ-32B-Preview模型进行vllm推理时，模型本身就比较大，外加生成的文本质量高就会带来更多的负担，更改为7B级别的chat模型之后，会有比较高的一个正确率，但是相应的文本质量就会降低，综上vllm启动的OpenAI的APi端口，有不错的稳定性，并不会因为大量的请求出现宕机的情况，但是由于本身算力的限制和迫切生成高质量文本的本能，会导致请求的成功率比较低，换言之，即API的并发性不高。模型。
大模型vllm推理速度性能
努力给自己想要的
09-30 3243
使用vllm进行部署推理，部署参数如下：并发性能测试构建数据的特点：测试性能结果：
vLLM框架在不同主流GPU卡推理性能测评
2401_85375186的博客
11-21 6770
选择恰当的GPU卡来部署大语言模型至关重要。它不仅可以确保用户通过更快的生成速度获得最佳体验，还可以通过更高的 Token 生成率和资源利用率来降本增效。本文将讲述如何评估LLM的推理性能以及vLLM框架在不同主流GPU卡（4090/A800/H800/H20等）上进行推理性能测评。LLM推理过程LLM推理服务的目标常见LLM推理服务性能评估指标LLM推理优化技术LLM基准测试说明LLM基准测试输入的选择LLM基准测试并发请求的选择LLM张量并行的选择基于丹摩智算云进行推理环境构建。
vLLM 并发性能测试指南
m0_37455071的博客
09-10 688
本指南详细介绍了vLLM模型并发性能测试的全流程。主要内容包括：1) 准备工作，包括硬件配置、软件依赖和vLLM服务启动；2) 并发测试脚本编写与执行，提供完整脚本示例；3) 结果分析与可视化指导，包含QPS、延迟等关键指标；4) 高级测试建议和常见问题解决方案。通过系统测试可获得模型最佳吞吐点、稳定工作区间和性能极限等关键数据。指南适用于70B大模型测试，配有详细命令和代码片段，帮助用户全面评估vLLM服务的并发处理能力。
LLM推理引擎性能评测对比：vllm、lmdeploy、tensorrt-llm
stephen147的博客
06-28 1万+
但从使用体验上看，vllm，lmdeploy使用方便，直接从model hub下载模型即可，而tensorrt-llm需要转换和编译模型，并且创建合适的引擎环境也有一定的成本，需要tensorrt-llm，triton server以及tensorrt-llm backend，格步骤参数有一定关联性，极易出错，总体使用成本对比会高不少。在prefill阶段后返回的第一个token的时间，在stream输出模式下，对体验影响大，越小用户等待返回第一个token时间越小，体验越好。每秒处理完成的请求数。
vLLM 多机多卡推理测试与验证（Kubernetes）vLLM 多机多卡推理 Kubernetes 验证
流水_鱼鱼的博客
02-14 2967
本文记录在两台 L20 机器，每台机器 4 块 L20 显卡（46G）的环境下，使用 vLLM 部署 Qwen2.5-32B-Instruct-GPTQ-Int4 模型并提供多节点多卡推理服务的过程。服务（Serving）模型服务是指将模型部署到生产环境中，通过 API 或其他接口提供预测服务的过程。【分布式推理与服务】（Distributed Inference and Serving）是指在多个机器或设备之间部署和管理机器学习模型，以高效地处理推理请求并满足大规模服务需求。3、启动 vLLM 服务。
极致推理性能解锁：基于 vLLM 的全流程基准测试实战
.
04-20 951
在大型语言模型（LLM）投入生产前，一套可复现、标准化的基准测试流程能够精准揭示推理延迟、吞吐能力与资源利用率等核心指标。本文将从环境准备、仓库拉取，到测试脚本执行与结果解读，为性能优化与容量规划提供全面实战指南。输入长度输出长度构建稳定、高效的语言模型服务，离不开标准化的性能测试流程。从模型加载到推理响应，从单机并发到集群扩展，基准测试不仅提供了关键指标的量化依据，也揭示了潜在的性能瓶颈。持续评估与对比不同配置下的表现，是模型部署进入生产环境前不可或缺的一步。
浅谈语言模型推理框架 vLLM 0.6.0性能优化
Ucloud_TShare的博客
11-07 3629
上优刻得AI推理平台，享极速推理体验！ 优刻得AI推理平台上线高性能推理服务框架vLLM，新版vLLM升级「服务推理进程分离」、「多步调度」、「异步输出处理」等机制，以降低CPU争抢开销、减少GPU空闲等待，并使得模型推理和输出处理异步进行。通过不断优化硬件资源利用率，让模型推理更高效。
探索kOS：软盘引导的测试操作系统
kOS是一个操作系统项目，尽管它被描述为“有趣的测试操作系统”，但它代表了操作系统开发的一个重要方面：从底层硬件到引导加载程序的实现。在本节中，我们将详细探讨操作系统、引导程序以及汇编语言编程的相关知识...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值