性能测试中故障排查及解决方法

原创

已于 2023-09-20 16:11:49 修改 · 221 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#压力测试

于 2023-08-28 19:59:00 首次发布

文章讲述了在性能测试中，报错率突然增加，通过对Pinpoint监控、Nginx日志和线程转储的分析，发现是由于应用服务与Nginx服务间连接问题和线程阻塞所致。作者提供了定位问题的方法和优化建议，强调了监控、日志分析和代码优化的重要性。

引言： 在进行性能测试过程中，同事反馈报错率突然攀升。通过查看相关日志和服务器状态，发现了一些关键信息。本文将详细介绍导致报错率攀升的原因，并提供相应的解决方法。

1. 问题背景

在使用JMeter进行性能测试时，我们注意到报错率开始出现异常增长，这引起了我们的关注。为了找出问题所在，我们首先查看了Pinpoint监控和Nginx日志。

2. 分析结果

2.1 Pinpoint监控

从Pinpoint监控的反馈中，我们得到了以下错误信息：

502 Bad Gateway: "<html><EOL><EOL><head><title>502 Bad Gateway</title></head><EOL><EOL><body><EOL><EOL><center><h1>502 Bad Gateway</h1></center><EOL><EOL><hr><center>nginx/1.25.0</center><EOL><EOL></body><EOL><EOL></html><EOL><EOL>"

该错误表明网关出现问题，无法连接到上游服务器。进一步分析Nginx日志可以帮助我们了解更多情况。

2.2 Nginx日志

通过查看Nginx日志，我们发现大量的以下错误：

2023/08/24 15:27:36 [error] 1237#0: *2627178 no live upstreams while connecting to

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

大西瓜大哥

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

nginx proxy_read_timeout

zhaoyangjian724的专栏

04-17

6909

log_format main '[--$remote_addr--] - $remote_user [$time_local] "$request" [$status, $request_time, $upstream_response_time ] $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; ...

nginx发送post请求报405的问题

大树叶技术专栏

06-24

2366

[root@elk-server meeting-order]# curl -X POST https://test.abc.com/ <html> <head><title>405 Not Allowed</title></head> <body bgcolor="white"> <center><h1>405 Not Allowed</h1></center> <hr>.

参与评论您还未登录，请先登录后发表或查看评论

502 bad gateway原因、解决方法

热门推荐

zzhongcy的专栏

02-14

15万+

在当今时代，每个人都使用互联网。通常，在使用 Internet 和访问网页时，计算机和网站之间可能会出现连接问题。这些连接问题会产生某些错误代码，称为 HTTP 状态代码。这些代码根据类型分为 1xx、2xx、3xx、4xx 和 5xx。由于不同的原因，所有 5xx 状态码都是从服务器端收到的。了解如何修复 Google Chrome 中的 err_connection_reset、err_internet_disconnected、err_network_chang...

请求报错 405 Not Allowed

sinat_36454672的博客

12-09

1406

请求接口报错: optionsNot Allowed <html> <head><title>405 Not Allowed</title></head> <body> <center><h1>405 Not Allowed</h1></center> <hr&g...

Nginx并发场景下接口大量502问题

LEO_Loe的博客

01-09

2238

发现当TIME_WAIT到达53486时jmeter的压测开始报错，可以断定是nginx服务器tcp端口不够用了。表示nginx无法分配请求的地址，那么可以看出，是nginx的tcp端口连接数占满，所以导致无法分配请求。1.查看/usr/local/nginx/logs/error.log 发现大量报错日志如下。所以修改nginx的配置如下，将max_fails置为0,表示不统计该值，服务一直可用。发现报错出现变化，开始出现如下报错。最后使用修改最大端口范围。压测查看tcp端口占用。

502 bad gateway是什么意思 502 bad gateway错误解决方法

weixin_64051447的博客

05-06

7252

在做第一步的时候，系统当前的PHP FastCGI进程数明显超过了预设值的64这个数值，在电信的服务器上查看当前的PHP FastCGI进程数没有高于64这个数值，而且网通线路的活动连接明显高于电信的活动连接，准备到晚上的时候看看情况，结果到晚上22：30的时候，查看系统当前的PHP FastCGI进程数明显小于64预设值，当前的活动连接也比原来低很多，由此可以说明出现nginx不稳定的情况是由于服务器访问负载过大引起的，就是加上第二步的错误也不顶作用。废话不多说，说说我的坎坷经历。下面我们来一一解析。

性能测试中故障排查及解决方法！

kk_lzvvkpj的博客

12-06

1045

对于性能测试中报错率攀升的情况，我们通过分析Pinpoint监控、Nginx日志和线程转储文件，定位了问题所在并提出了相应的解决方法。及时监控系统状态、分析日志、执行线程转储操作以及优化应用程序都是关键的步骤。通过这些措施，我们可以改善系统性能，并确保系统能够稳定运行。在进行性能测试过程中，我们应该充分利用各种工具和技术，及时发现和解决问题，确保系统在高负载情况下仍能保持可靠和高效。只有这样，我们才能提供优质的用户体验，并为系统的持续发展奠定坚实的基础。

Nginx的405 not allowed错误解决

J_Lee

10-18

5万+

Nginx的405 not allowed错误解决

HTTP请求出现405 not allowed的一种解决办法经验分享

bigdogdogkun的博客

10-15

6万+

在最近对接统一支付平台的过程中，相信很多产品，包括云空间都遇到了支付成功后回调支付成功页时，报405 method not allowed的情况。这是因为支付成功后，回调的请求方式是post，而大多数产品的支付成功页是一个静态页面，要知道Apache、IIS、Nginx等绝大多数web服务器，都不允许静态文件响应POST请求。以nginx为例，当post请求静态页面时，会直接报405 curl -X POST http://127.0.0.1:8081/test.html <html&gt

PHP 接口调用报错 502 Bad Gateway

王波文的博客

04-24

9332

PHP接口调用超过5s的请求直接返回如下信息： Response <html> <head><title>502 Bad Gateway</title></head> <body bgcolor="white"> <center><h1>502 Bad Gateway</h1></c...

智能压力测试代理系统：基于AI的自动化压测解决方案

benxin1234的博客

12-16

357

本文介绍了一个基于LangGraph框架和DeepSeek AI模型的智能压力测试代理系统。该系统采用多智能体协作架构，包含主控智能体、10个专业工具模块（如压测成熟度评估、流量建模、根因分析等），实现了从需求分析到结果评估的全流程自动化测试。系统支持自然语言交互、智能路由和模块化设计，具有智能化分析、自动化执行和标准化流程等技术优势，可应用于企业压测能力建设、系统性能优化等场景。未来计划增加多模型支持、可视化界面等功能，推动AI在软件测试领域的创新应用。

【大模型技术学习】大模型压力测试全攻略：以Qwen3-32B为例

智能守恒_HengAI

12-15

125

本文以Qwen3-32B为例，完整讲解了大模型压力测试的核心流程：从环境搭建、推理服务部署，到Locust压测脚本编写、结果分析与可视化。压测前明确核心指标（并发、RT、TPS、资源利用率、错误率），避免无目标测试；大模型推理优先选择vLLM等高效框架，提升并发处理能力；压测需分多轮（低/中/高并发），结果需结合资源使用率分析瓶颈；压测后根据结果针对性优化（硬件/推理/服务层），确保生产环境稳定。本文的代码可直接复用，只需根据实际场景调整模型路径、prompt、并发数等参数。

AB压力测试运维工程师技术教程

张晨光老师的播客

12-16

127

你现在执行了命令，终端只显示了测试开始和“执行完毕”的提示，但没有输出具体的性能测试结果，需要先明确结果缺失的原因，再补充指令获取完整报告，同时结合场景优化测试参数。出现这种情况通常有两个常见原因：直接将结果重定向到文件，或强制输出到终端，命令如下：解释：是将标准错误（如错误提示）和标准输出（测试结果）合并输出，避免结果被隐藏。你只指定了总请求数，没有指定并发数，ab默认是单并发测试，这种测试结果参考意义不大。建议补充并发数和长连接参数，命令如下：参数解释：如果上述命令仍无结果，先验证目标地址是否能正常

Android16之交叉编译系统压力测试利器：stress-ng(二百六十六)

Android系统攻城狮

12-16

512

本篇目的：Android16之交叉编译系统压力测试利器：stress-ng在计算机系统运维与性能评估领域，stress-ng 是一款极具价值的工具。它是一款开源的 Linux 系统压力测试工具，由 Canonical 公司的 Colin Ian King 开发，其主要目的是对计算机系统的各种资源进行压力测试，以评估系统在高负载情况下的性能和稳定性。stress-ng 支持对多种系统资源进行测试。

前端分析-202307110078910