memory bandwidth benchmark部署

最新推荐文章于 2024-07-28 17:46:11 发布
原创 最新推荐文章于 2024-07-28 17:46:11 发布 · 1.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#测试工具

本文介绍了一款用于测试内存带宽的工具，并提供了实际操作案例。通过该工具可以测试不同方法下的内存复制速度，如MEMCPY、DUMB及MCBLOCK等，帮助用户了解系统的内存性能。

到这个网站下去下载内存带宽测试工具 http://ahorvath.home.cern.ch/ahorvath/mbw/

 

建议下载rpm的包，这样安装完成后使用比较方便。

 

[root@master soft]# mbw -q -n 1 256
0       Method: MEMCPY  Elapsed: 0.10434        MiB: 256.00000  Copy: 2453.447 MiB/s
AVG     Method: MEMCPY  Elapsed: 0.10434        MiB: 256.00000  Copy: 2453.447 MiB/s
0       Method: DUMB    Elapsed: 0.06053        MiB: 256.00000  Copy: 4229.517 MiB/s
AVG     Method: DUMB    Elapsed: 0.06053        MiB: 256.00000  Copy: 4229.517 MiB/s
0       Method: MCBLOCK Elapsed: 0.03288        MiB: 256.00000  Copy: 7786.835 MiB/s
AVG     Method: MCBLOCK Elapsed: 0.03288        MiB: 256.00000  Copy: 7786.835 MiB/s
改造Benchmark SQL适配OceanBase开源版数据库跑TPC-C查看执行计划
shunwahma的博客
05-21 1824
适配 Benchmark SQL5，由于 Benchmark SQL5 不支持 OceanBase 数据库的 TPC-C 测试，网络上大部分都是使用mysql数据库和oracle数据库测试Benchmark 。本节将详细介绍如何通过修改 BenchMarkSQL5 部分源码支持 OceanBase 数据库。
Linux部署redis保姆级教程
·
10-19 1387
（Least Recently Used，最近最少使用）策略会从Redis中的所有键中选择那些最近最少使用的键进行淘汰，以释放内存空间。：如果系统启用了SELinux，还会安装相应的SELinux模块，以确保Redis服务能够正确访问其所需的资源。指令定义了在指定的时间间隔内，如果发生了指定数量的写操作，Redis 就会自动将数据保存到磁盘上。8G内存服务器推荐配置2G。Redis版本号（本文的版本号是6.2.12）的第二位如果是偶数，代表。安装Redis时，系统会自动处理依赖关系并安装必要的组件。
TheBandwidthBenchmark:终极内存带宽基准
05-26
带宽基准 这是简单的流内核的集合。 除了微基准功能之外，这也是其他微基准应用程序的蓝图。 它包含用于以下方面的C模块： 对齐的数据分配 查询和控制相似性设置 准确的时间 此外，基准测试还展示了可以在其他项目中使用的简单通用Makefile。 您可能需要查看 ，以获得使用TheBandwidthBenchmark创建的结果集合。 概述 该基准受到John McCalpin的基准的极大启发。 它包含以下具有相应数据访问模式的流式内核（符号：S-存储，L-加载，WA-写分配）。 所有变量都是向量，s是一个标量： init（S1，WA）：初始化一个数组： a = s 。 仅存储。 sum（L1）：向量归约： s += a 。 仅加载。 复制（L1，S1，WA）：经典记忆复制： a = b 。 update（L1，S1）：更新向量： a = a * scalar 。 还加载+存储，
21.2. Bandwidth: a memory bandwidth benchmark
weixin_34148340的博客
12-20 220
原文出处：Netkiller 系列 手札 本文作者：陈景峯 转载请与作者联系，同时请务必标明文章原始出处和作者信息及本声明。 ...
Bandwidth内存带宽測试工具
weixin_33755649的博客
08-08 299
本博文为原创，遵循CC3.0协议，转载请注明出处：http://blog.youkuaiyun.com/lux_veritas/article/details/24766015 ----------------------------------------------------------------------------------------------------------...
benchmark-memory:内存分析基准测试样式，适用于Ruby 2.1+
05-07
基准内存 Benchmark-memory是一个工具，可以帮助您基准测试不同代码段的内存使用情况。 它利用为您提供一个块分配和保留的内存总量，以及分配和保留的对象和字符串数的指标。 安装 将此行添加到您的应用程序的Gemfile中： gem "benchmark-memory" 然后执行： $ bundle 或将其自己安装为： $ gem install benchmark-memory 用法 在内置Benchmark和Evan Phoenix的的示例之后，使用Benchmark.memory的最常见方法是通过Benchmark.memory包装器。 一个例子可能看起来像这样： require "benchmark/memory" # First method under test def allocate_string "this string was dynamical
处理器内存带宽测试工具
04-01
内存带宽测试工具mbw
使用 FIO 对 Kubernetes 持久卷进行 Benchmark：读/写(IOPS)、带宽(MB/s)和延迟
o__cc的博客
09-26 723
工具 Dbench https://github.com/leeliu/dbench 用法 编辑 dbench.yaml 文件中的 storageClassName 以匹配你自己的 Storage Class。 kubectl get storageclasses 部署 kubectl apply -f dbench.yaml 部署后，Dbench Job 将： 使用 sto...
Redis 集群部署
weixin_42023748的博客
07-28 929
Redis 3.0版本后正式推出Redis集群模式，该模式是Redis的分布式的解决方案，是一个提供在多个Redis节点间共享数据的程序集，且Redis集群是去中心化的，它的每个Master节点都可以进行读写数据，每个节点都拥有平等的关系，每个节点都保持各自的数据和整个集群的状态。
docker从安装到部署vue+springboot前后端分离项目（一站式）
m0_72618563的博客
07-28 1493
docker怎么部署vue3+springboot前后端分离项目？从docker安装到项目部署，本文一站式解决！
lmbench－一个benchmark for linux
09-14
* Suite of simple, portable benchmarks * Compares different systems performance * Results available for most major vendors (SUN, HP, IBM, DEC, SGI, PCs including 200 Mhz P6's) * Free software, covered by the GNU General Public License. * Bandwidth benchmarks o Cached file read o Memory copy (bcopy) o Memory read o Memory write o Pipe o TCP * Latency benchmarks o Context switching. o Networking: connection establishment, pipe, TCP, UDP, and RPC hot potato o File system creates and deletes. o Process creation. o Signal handling o System call overhead o Memory read latency * Miscellanious o Processor clock rate calculation
Benchmark——基准测试
m0_73686459的博客
03-02 7834
在大数据领域中，“benchmark”（基准测试）是一个关键概念。 本文将以对进行数据仓库的测试为例阐述Benchmark的基本概念
docker 的基本命令
Antg的博客
01-16 629
学习笔记 - docker基本命令
如何确定内存 存储器 带宽
sqqwm的专栏
11-30 2007
计算所需要的带宽
Linux性能测试工具
热门推荐
恍恍惚惚的大穷猫的博客
01-07 1万+
在Linux Benchmark Suite Homepage网站上列举了诸多Linux性能测试工具，包括CPU/RAM/ROM/Cache/net等性能测试。 lmbench 测试工具 这个工具集中包含以下几种测试工具，我们主要使用到bw_mem工具进行Memory read和write测试。 Bandwidth benchmarks(带宽测试) Cached file read Memory copy (bcopy) Memory read Memory write Pipe TCP Late
CPU与GPU的内存带宽对比（CPU vs CUDA GPU memory bandwidth）
jubincn的专栏
07-22 1616
原文链接：http://blog.cudachess.org/2009/07/cpu-vs-cuda-gpu-memory-bandwidth/ 导读： 最近打算学习CUDA，但在与一个同学聊天时她提到GPU并不适用于某些类型的计算，瓶颈在于I/O上。可我看了下GPU的参数，内存带宽（Memory Bandwidth）很高，怎么会这样呢？下面这篇文章可以回答这个问题。 如何对比和解读现代CPU与...
Linux内存带宽的一些测试笔记
李迟的专栏
10-21 9355
最近要测一下设备的内存性能，于是找了些资料，用了些工具，写了些笔记。那个设备是intel的CPU，而intel有个很强大的工具，叫PTU，但我死活找不到下载链接，找到的文章是几年前写的，从那篇文章看是可以使用的，但我却无缘使用。 在测试前，理应了解本机所具备的特点，比如CPU频率、内存频率、内存大小，等等信息。 查看CPU用如下命令（多少个核，频率，特性等）： cat /
【转载】linux、memory、memcmp 几种实现和性能对比
勤学如春起之苗，不见其增，日有所长！ 辍学如磨刀之石，不见其损，日有所亏！
08-27 1078
linux、memory、memcmp 几种实现和性能对比 皮振伟发表于皮振伟的专栏订阅 1.6K 在这篇文章中： 前言 分析 1.kernel memcmp 2.x64 memcmp 3.glibc memcmp 4.unsigned long memcmp 5.benchmark 后记 前言 memcmp是最基本的库函数了。下文选择几版代码，来对比分析性能。...
linux /proc目录下的文件
u010936265的博客
04-20 2607
1/proc/sys/vm/目录下的文件 1.1dirty_background_bytes:脏页限值 Contains the amount of dirty memory at which the pdflush background writeback daemon will start writeback. Note: dirty_background_bytes is the counterpart of dirty_background_ratio. Only ...
公司内部私有化部署大模型 配置及环境 显卡80G A800 系统ubuntu2204 1T内存 cpu64 128线程 根据这个配置来设计大模型性能测试策略
最新发布
09-06
<think> 我们正在为私有化部署的大模型设计性能测试策略。给定的硬件配置包括： - 显卡：NVIDIA A800（80GB显存） - 系统：Ubuntu 22.04 - 内存：1TB - CPU：64核128线程 性能测试策略需要覆盖以下几个方面： 1. **模型推理性能**：测试模型在给定硬件上的推理速度（如每秒处理的token数）、延迟（响应时间）和吞吐量（同时处理多个请求的能力）。 2. **资源利用率**：监控测试过程中GPU、CPU、内存和显存的使用情况，确保资源被有效利用且没有瓶颈。 3. **稳定性测试**：长时间运行模型，观察是否存在内存泄漏、性能下降或崩溃等问题。 4. **并发能力**：测试在不同并发用户数下的性能表现，确定最大并发支持能力。 5. **模型加载时间**：记录从启动服务到模型完全加载至GPU显存所需的时间。 ### 测试环境准备 - 确保系统环境稳定，安装必要的驱动（如NVIDIA驱动、CUDA、cuDNN）和深度学习框架（如PyTorch、TensorRT等）。 - 配置模型服务框架，例如使用vLLM、Triton Inference Server或Hugging Face的Text Generation Inference (TGI)。 ### 性能测试指标 1. **延迟**（Latency）：单个请求从发送到收到完整响应的时间。 - 包括首token延迟（生成第一个token的时间）和尾token延迟（生成完整响应的时间）。 2. **吞吐量**（Throughput）：单位时间内处理的token数量（tokens per second, TPS）。 3. **并发数**（Concurrency）：同时处理的请求数量。 4. **资源监控**： - GPU利用率（通过`nvidia-smi`或`nvtop`监控） - CPU利用率（使用`top`或`htop`） - 内存和显存使用情况 ### 测试场景设计 1. **基准测试**（Benchmark）： - 使用标准数据集（如WikiText、PTB）或生成固定长度的文本，测试不同输入输出长度下的性能。 - 测试不同精度（FP32、FP16、BF16、INT8）对性能的影响。 - 测试不同批处理大小（batch size）下的吞吐量和延迟。 2. **负载测试**（Load Testing）： - 模拟不同并发用户数（例如10、50、100、200并发）发送请求，观察系统性能变化。 - 使用工具如`locust`、`wrk`或自定义脚本来模拟请求。 3. **压力测试**（Stress Testing）： - 逐步增加并发请求数直到系统崩溃，确定系统的极限容量。 - 观察系统在过载后的恢复能力。 4. **长时间稳定性测试**（Soak Testing）： - 持续运行模型服务（如24小时、72小时），定期发送请求，监控资源使用情况和性能波动。 ### 测试工具 - 模型服务框架：vLLM（针对大模型优化，支持连续批处理和PagedAttention）、TGI（Hugging Face）或Triton。 - 压力测试工具：使用`locust`（Python编写的负载测试工具）或`k6`（高性能负载测试工具）模拟用户请求。 - 监控工具： - GPU：`nvidia-smi`、`dcgmi`（用于监控GPU健康状态） - CPU和内存：`htop`、`vmstat`、`sar`（系统活动报告） - 网络：`iftop`、`nicstat` - 综合监控：Prometheus + Grafana（可选，用于长期监控和可视化） ### 测试步骤 1. **单请求性能**： - 发送单个请求，记录延迟（首token延迟和总延迟）和资源使用情况。 2. **不同批处理大小测试**： - 固定输入输出长度，改变批处理大小（1, 4, 8, 16, 32...），记录吞吐量和延迟。 - 注意：批处理大小受限于显存容量（A800 80GB显存可支持较大batch size）。 3. **不同输入输出长度测试**： - 固定批处理大小，测试不同输入长度（如64, 128, 256, 512 tokens）和输出长度（如32, 64, 128, 256 tokens）对性能的影响。 4. **并发测试**： - 在固定输入输出长度下，逐步增加并发数（1, 10, 20, 50, 100...），记录吞吐量和延迟变化，并观察资源利用情况。 5. **长时间运行测试**： - 以中等负载（例如50%的最大并发数）持续运行24小时以上，每5分钟记录一次性能指标和资源使用情况。 ### 结果分析 - 绘制图表展示不同测试条件下的吞吐量、延迟和资源利用率。 - 分析瓶颈：如果GPU利用率未达到90%以上，则可能受限于CPU、内存带宽或软件框架。 - 给出优化建议：例如调整批处理策略、使用量化、优化模型服务配置等。 ### 注意事项 - **显存管理**：A800显存为80GB，需确保测试的模型大小和批处理大小不超过显存容量。 - **温度监控**：长时间运行需监控GPU温度，防止过热降频。 - **日志记录**：详细记录每次测试的配置（模型、框架版本、测试参数）和结果，便于复现和比较。 ### 示例测试配置 假设部署7B参数模型（如Llama2-7B），使用vLLM框架，量化方式为BF16。 - 输入长度：256 tokens - 输出长度：128 tokens - 批处理大小：1, 4, 8, 16 - 并发数：1, 10, 20, 50, 100 通过以上测试策略，我们将全面评估大模型在给定硬件上的性能表现，为生产部署提供依据。 §§相关问题§§ 1. 如何针对大模型选择合适的批处理大小? 2. 在Ubuntu系统上如何监控GPU和CPU的性能指标? 3. 如何对大模型进行量化以提升推理性能? </think> ### 大模型性能测试策略设计（基于80G A800/1T内存/128线程CPU） #### 一、硬件资源分配策略 ```mermaid graph LR A[GPU集群] --> B[2×80G A800] C[内存] --> D[800GB 模型缓存] C --> E[200GB 系统缓冲] F[CPU] --> G[96线程计算/32线程系统] ``` 1. **GPU显存优化** - 支持最大模型尺寸：$ \text{模型参数} \times 4\text{Bytes} \times 1.5 < 160\text{GB} $ - 启用显存共享：`NVIDIA MPS`服务实现多进程共享GPU [^1] 2. **内存分级使用** ```python # 内存分配算法示例 def allocate_memory(total_mem=1024): model_cache = total_mem * 0.8 # 800GB模型缓存 kv_cache = model_cache * 0.6 # 480GB KV缓存 return {"model": model_cache, "kv": kv_cache} ``` #### 二、核心测试维度 | 测试类型 | 关键指标 | 测试工具 | 合格阈值 | |----------------|--------------------------|----------------------|------------------------| | **推理延迟** | P50/P99延迟 | Triton客户端 | <200ms (首token) | | **吞吐量** | Token/s | locust + Prometheus | >1500 tokens/s/GPU | | **并发能力** | 最大QPS | k6 + Grafana | >500 请求/秒 | | **资源利用** | GPU利用率 | DCGM + NVIDIA-SMI | >90% 持续负载 | | **长稳测试** | 72小时内存泄露率 | Valgrind + cProfile | <0.1% /24h | #### 三、测试场景设计 1. **极限压力测试** - 使用`FasterTransformer`进行混合精度推理： $$ \text{Throughput} = \frac{\text{Batch Size} \times \text{SeqLen}}{\text{Latency}} $$ - 逐步增加batch size直至OOM（预计单卡batch_size=256） 2. **真实业务场景模拟** ```bash # 生成测试负载脚本 hey -z 1h -c 100 -m POST -d @prompts.json http://localhost:8000/infer ``` 3. **故障恢复测试** - GPU热插拔：`echo 1 > /sys/bus/pci/rescan` - 内存故障注入：`stress-ng --vm-bytes 900G --vm-keep` #### 四、监控体系搭建 ```mermaid graph TB A[DCGM] --> B[GPU温度/功耗] C[Prometheus] --> D[吞吐量指标] E[Grafana] --> F[实时仪表盘] G[Fluentd] --> H[日志分析] B --> F D --> F ``` 1. **关键监控项** - GPU显存波动：`dcgmi dmon -e 1009,1010` - CPU调度延迟：`perf sched record` #### 五、测试流程 1. **预热阶段** - 加载150B参数模型，预热30分钟 - 设置CUDA环境：`export CUDA_VISIBLE_DEVICES=0,1` 2. **执行矩阵** | 精度模式 | 批处理大小 | 上下文长度 | |-------------|------------|------------| | FP16 | 64/128/256 | 2K/4K/8K | | BF16 | 128/256 | 4K/8K | | INT8量化 | 256 | 8K | 3. **结果分析公式** $$ \text{性价比} = \frac{\text{吞吐量}}{\text{GPU功耗} \times \text{时间}} $$ #### 六、优化建议 1. 启用FlashAttention-2提升20%吞吐量 [^2] 2. 使用vLLM的PagedAttention管理KV缓存 3. CPU绑定优化：`numactl --cpunodebind=0 --membind=0` > **注意事项**：当测试70B+模型时，需监控PCIe带宽瓶颈：`nvidia-smi nvlink --bandwidth`
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值