Locust分布式压测指南：从单机到多机集群部署
项目地址: https://gitcode.com/gh_mirrors/lo/locust 分布式压测的必要性
Locust作为一款现代化的负载测试工具，其单进程模式已经能够处理相当高的吞吐量。对于简单的测试场景和小数据包，单个Locust进程每秒可以轻松处理上千次请求，如果使用FastHttpUser甚至能达到每秒上万次请求。
然而，当面对以下场景时，我们需要考虑分布式部署：
- 测试计划复杂度高
- 需要模拟更高并发量
- 需要跨多台机器生成负载
- 测试场景需要更真实的分布式用户行为
核心概念解析
Locust的分布式架构采用主从模式(Master-Worker)：
-
Master节点：
- 运行Locust的Web界面
- 协调测试的启动/停止
- 收集并汇总所有Worker的统计数据
- 本身不运行任何模拟用户
-
Worker节点：
- 实际执行测试脚本
- 运行模拟用户(User)
- 将统计数据发送回Master
- 可以部署在多台机器上
单机多进程部署
对于单台性能较强的机器，我们可以利用多核CPU资源：
# 启动1个master和4个worker进程
locust --processes 4
# 自动检测CPU核心数并启动对应数量的worker
locust --processes -1
重要提示：
- 由于Python的GIL限制，每个进程只能充分利用一个CPU核心
- 建议worker数量不超过机器CPU逻辑核心数
- 单个worker可以运行数千甚至数万个User，只要总RPS(每秒请求数)不是太高
多机集群部署
当单机性能不足时，可以将Worker部署到多台机器：
- 首先启动Master节点：
locust -f my_locustfile.py --master
- 然后在每台Worker机器上执行：
locust -f my_locustfile.py --worker --master-host <master_ip>
高级特性：
- 从2.23.0版本开始，Worker可以直接从Master获取测试脚本(
-f -) - 可以自定义Master绑定的IP和端口
- 在无头模式(headless)下，Master可以等待指定数量的Worker连接后再启动测试
节点间通信机制
分布式环境下，Master和Worker之间可能需要自定义通信：
from locust import events
from locust.runners import MasterRunner, WorkerRunner
# Worker端消息处理
def worker_message_handler(environment, msg, **kwargs):
# 处理来自Master的消息
pass
# Master端消息处理
def master_message_handler(msg, **kwargs):
# 处理来自Worker的响应
pass
@events.init.add_listener
def setup_communication(environment, **_kwargs):
if isinstance(environment.runner, WorkerRunner):
environment.runner.register_message('custom_msg', worker_message_handler)
else:
environment.runner.register_message('response_msg', master_message_handler)
性能考虑：
- 默认情况下消息处理是阻塞的
- 对于耗时操作(>1秒)，应设置
concurrent=True启用异步处理
配置选项详解
| 参数 | 说明 | 适用节点 |
|---|---|---|
--master-host | 指定Master主机地址 | Worker |
--master-port | 指定Master监听端口(默认5557) | Worker |
--master-bind-host | 指定Master绑定的网络接口(默认*) | Master |
--master-bind-port | 指定Master绑定的端口 | Master |
--expect-workers | 指定需要等待的Worker数量 | Master(headless模式) |
性能优化建议
-
合理规划Worker数量：
- 每台Worker机器配置与CPU核心数相等的Worker进程
- 跨多台机器部署时考虑网络带宽限制
-
使用FastHttpUser：
- 对于高吞吐量测试，考虑使用FastHttpUser替代常规HttpUser
- 可显著提升单Worker的请求处理能力
-
监控资源使用：
- Locust会在接近CPU资源极限时输出警告
- 若无警告但负载仍不达标，可能是其他环节成为瓶颈
常见问题排查
-
Worker无法连接Master：
- 检查防火墙设置
- 确认Master绑定了正确的网络接口
- 验证端口是否开放
-
测试结果不一致：
- 确保所有节点使用相同版本的测试脚本
- 检查网络延迟是否影响测试
-
负载达不到预期：
- 确认不是目标系统先达到瓶颈
- 检查是否有足够的Worker进程
- 考虑使用性能更高的HTTP客户端
通过合理配置分布式Locust集群，你可以轻松模拟大规模用户行为，为系统进行真实有效的压力测试。记住，分布式测试的关键是确保所有组件协调工作，并且监控每个环节的性能表现。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
