ab测试 uwsgi遇到的问题

最新推荐文章于 2023-04-18 09:22:07 发布
原创 最新推荐文章于 2023-04-18 09:22:07 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在高并发场景下UWSGI服务器的表现及优化方法。通过调整配置参数，如增加listen值，有效提升了服务器处理大量并发请求的能力。

1 请求并发数目较大时，接收到的数目小于发送的数目


1.1  

描述：uwsgi正常返回302跳转

ab -n 5000 -c 250 -g test.log "192.168.50.20:9033/Mapping.do?×××××××&as=1234567"
This is ApacheBench, Version 2.0.40-dev <$Revision: 1.146 $> apache-2.0
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright 2006 The Apache Software Foundation, http://www.apache.org/


Benchmarking 192.168.50.20 (be patient)
Completed 500 requests
Completed 1000 requests
Completed 1500 requests
Completed 2000 requests
Completed 2500 requests
Completed 3000 requests
Completed 3500 requests
Completed 4000 requests
Completed 4500 requests
Finished 5000 requests


Server Software:        
Server Hostname:        192.168.50.20
Server Port:            9033


Document Path:          /Mapping.do?bfd_nid=behe&as=1234567
Document Length:        0 bytes


Concurrency Level:      250
Time taken for tests:   12.107652 seconds
Complete requests:      5000
Failed requests:        0
Write errors:           0
Non-2xx responses:      4990
Total transferred:      2095800 bytes
HTML transferred:       0 bytes
Requests per second:    412.96 [#/sec] (mean)
Time per request:       605.383 [ms] (mean)
Time per request:       2.422 [ms] (mean, across all concurrent requests)
Transfer rate:          168.98 [Kbytes/sec] received


Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    1  42.5      0    3000
Processing:    18  466 1595.9    151   12083
Waiting:        0  446 1536.9    150   12083
Total:         18  467 1601.7    151   12106


Percentage of the requests served within a certain time (ms)
  50%    151
  66%    165
  75%    198
  80%    251
  90%    389
  95%    485
  98%   9008
  99%  12036
 100%  12106 (longest request)


按照上边的结果所示，发送了5000个请求，4990个非2xx相应（Non-2xx responses:      4990）

而查看uwsgi.log发现也只接收到4990个请求。


1.2   只要降低并发就不会出现这样的问题

ab -n 50000 -c 100 -g test.log "192.168.50.20:9033/Mapping.do?bfd_nid=behe&as=1234567"
This is ApacheBench, Version 2.0.40-dev <$Revision: 1.146 $> apache-2.0
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright 2006 The Apache Software Foundation, http://www.apache.org/


Benchmarking 192.168.50.20 (be patient)
Completed 5000 requests
Completed 10000 requests
Completed 15000 requests
Completed 20000 requests
Completed 25000 requests
Completed 30000 requests
Completed 35000 requests
Completed 40000 requests
Completed 45000 requests
Finished 50000 requests




Server Software:        
Server Hostname:        192.168.50.20
Server Port:            9033


Document Path:          /Mapping.do?bfd_nid=behe&as=1234567
Document Length:        0 bytes


Concurrency Level:      100
Time taken for tests:   85.735172 seconds
Complete requests:      50000
Failed requests:        0
Write errors:           0
Non-2xx responses:      50000
Total transferred:      21000000 bytes
HTML transferred:       0 bytes
Requests per second:    583.19 [#/sec] (mean)
Time per request:       171.470 [ms] (mean)
Time per request:       1.715 [ms] (mean, across all concurrent requests)
Transfer rate:          239.19 [Kbytes/sec] received


Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   1.0      0     186
Processing:     4  170 123.1    136    1592
Waiting:        4  170 123.0    136    1592
Total:          4  170 123.1    136    1592


Percentage of the requests served within a certain time (ms)
  50%    136
  66%    148
  75%    159
  80%    169
  90%    265
  95%    403
  98%    540
  99%    650
 100%   1592 (longest request)


1.3 调大listen参数解决问题。

当listen参数变大时，可以提高并发的数目。按道理增大processes数量和增大listen队列长度都可以增大并发能力。但是好像使用listen参数，效果比较显著。难道是后端处理速度太慢，需要缓存更多？

uwsgi.ini:

[uwsgi]
http=0.0.0.0:9033
master=true
pythonpath=../
module=api
processes=30
listen=512
daemonize=uwsgi.log
pidfile=uwsgi.pid
vacuum=true
harakiri=5
harakiri-verbose=true
buffer-size=16384


2 

uwsgi.ini:

[uwsgi]
#http=192.168.40.11:9034
http=0.0.0.0:9034
master=true
pythonpath=../
module=breapi
processes=32
listen=512
daemonize=./logs/uwsgi.log
pidfile=uwsgi.pid
vacuum=true
harakiri=5
harakiri-verbose=true
buffer-size=16384
stats = $(HOSTNAME):1734


测试：

ab   -n 30000 -c 1000 -g test.log "192.168.40.11:9034/Mapping.do?bfd_nid=behe&as=1234567" 
This is ApacheBench, Version 2.0.40-dev <$Revision: 1.146 $> apache-2.0
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright 2006 The Apache Software Foundation, http://www.apache.org/


Benchmarking 192.168.40.11 (be patient)
Completed 3000 requests
Completed 6000 requests
Completed 9000 requests
Completed 12000 requests
Completed 15000 requests
Completed 18000 requests
Completed 21000 requests
Completed 24000 requests
Completed 27000 requests
Finished 30000 requests




Server Software:        
Server Hostname:        192.168.40.11
Server Port:            9034


Document Path:          /Mapping.do?bfd_nid=behe&as=1234567
Document Length:        0 bytes


Concurrency Level:      1000
Time taken for tests:   12.411582 seconds
Complete requests:      30000
Failed requests:        0
Write errors:           0
Non-2xx responses:      29994
Total transferred:      12597480 bytes
HTML transferred:       0 bytes
Requests per second:    2417.10 [#/sec] (mean)
Time per request:       413.719 [ms] (mean)
Time per request:       0.414 [ms] (mean, across all concurrent requests)
Transfer rate:          991.17 [Kbytes/sec] received


Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    4  99.8      0    3000
Processing:    43  299 983.0    126    9234
Waiting:        0  297 976.9    125    9234
Total:         50  304 993.5    126   12070


Percentage of the requests served within a certain time (ms)
  50%    126
  66%    129
  75%    132
  80%    134
  90%    141
  95%    616
  98%   3222
  99%   3632
 100%  12070 (longest request)

crazyhacking
关注
Python 接口并发测试详解
悦分享
10-23 9007
性能测试是通过自动化测试工具模拟多种正常、峰值及异常负载条件对系统的各项性能指标进行的测试。负载测试和压力测试都属于性能测试，两者可以结合进行。通过负载测试，确定在各种工作负载下系统的性能，目标是测试当负载逐渐增加时，系统各项性能指标的变化情况。压力测试是通过确定一个系统的瓶颈或者不能接受的性能点，来获得系统能提供的最大服务级别的测试。性能测试的重点是测试在并发条件下服务或系统的瓶颈所在，从而优化相关功能，可能涉及软件及硬件的多方面改进。由此可见，性能测试对整个产品非常重要，甚至可以决定一个产品是否能长久发
总结uwsgi的安装、配置与设置开机自启
采菊东篱下，Python满乾坤！
06-20 8584
vi /usr/local/nginx/conf/nginx.conf，添加新配置内容(在/var/log下新建文件夹nginx存放日志文件)配置uwsgi.ini中的listen选项，需先增大该系统参数，然后再提高uwsgi的监听队列长度，原因是listen的队列长度不能超过系统参数规定的最大连接数。接下来，切换到项目目录的script下，通过uwsgi命令读取myweb_uwsgi.ini文件启动项目。运行成功后的截图如下, 注意查看uwsgi的启动信息，如果有错，就要检查配置文件的参数是否设置有误。
uWSGI服务器测试
LinRuiC的博客
12-12 1352
前面已经了解过WSGI / uwsgi / uWSGI 这三个概念的区分。现在测试uWSGI 先新建一个test.py文件，内容如下 写一个符合以下格式的函数 def application(environ,start_response): start_response("200 OK",[("Content-Type","text/html")]) return [b'H...
uWsgi的安装与测试
zuoshenglo的博客
10-31 7718
安装 uWSGI 的安装很简单： 1 pip install uwsgi 现在我们试下将 Django 跑起来。我们先在 virtualenv 创建一个 Django Project： 1 [root@nowamagic ~]# cd nowamagic_venv
python django部署_Django+Uwsgi+Nginx如何实现生产环境部署
weixin_39575212的博客
11-26 180
如何在生产上部署Django?Django的部署可以有很多方式，采用nginx+uwsgi的方式是其中比较常见的一种方式。uwsgi介绍uWSGI是一个Web服务器，它实现了WSGI协议、uwsgi、http等协议。Nginx中HttpUwsgiModule的作用是与uWSGI服务器进行交换。要注意 WSGI / uwsgi / uWSGI 这三个概念的区分。WSGI是一种Web服务器网关接口。它...
uwsgi安装和测试
lichengtongxiazai的专栏
05-15 6472
wget http://projects.unbit.it/downloads/uwsgi-latest.tar.gz tar zxvf uwsgi-latest.tar.gz cd make
python怎么测试uwsgi并发量_测试 uwsgi 报错
weixin_39611161的博客
11-29 342
最近在用 uwsgi+nginx+virtualenv 部署一个项目测试 uwsgi# test.pydef application(env, start_response):start_response('200 OK', [('Content-Type','text/html')])return "Hello World"然后在 cmd 在运行uwsgi --http :8001 --wsgi...
uWSGI进阶指南：掌握uWSGI的常用参数和技巧
uWSGI简介和基本概念 ## 1.1 uWSGI是什么 uWSGI是一个Web服务器和应用服务器，它支持多种协议和语言，并提供了高性能的Web服务。它最初是为了Python开发的，但现在已经成为了一个通用的应用服务器。 ## 1.2 ...
Django与uwsgi交互优化
Django 是一个高性能的 Python Web 框架，而 uWSGI 是一个服务器软件，用于实现 WSGI 协议、uwsgi 协议等。Django 通过 uWSGI 可以与诸如 Nginx、Apache 等 Web 服务器进行高效交互。理解它们的基础关系对于构建高...
提示uwsgi_proto_uwsgi_parser(): Resource temporarily unavailable [proto/uwsgi.c line 40]是什么意思？
最新发布
06-29
我们正在处理的是uWSGI报错：`uwsgi_proto_uwsgi_parser(): Resourcetemporarily unavailable[proto/uwsgi.c line40]`结合引用内容，这个错误通常与系统资源限制有关，特别是当使用Unixsocket连接时，可能会遇到连接...
基于上述描述如何在django中配置uwsgi异步模式
04-22
用户可能需要测试uWSGI的配置是否正确，是否真的支持异步处理。这里应该提供测试方法，比如使用ab命令进行压力测试，或者编写并发请求的Python脚本，观察响应时间和资源占用情况。 同时，用户可能关心如何优化...
【测试】Gunicorn , uWSGI同步异步测试以及应用场景总结
热门推荐
orangleliu 笔记本
10-20 1万+
最近使用uwsgi出了一些问题，于是测试下Gunicorn测试对比下 环境 一颗cpu 1g内存 Centos系统 Django作为后端应用，Gunicorn默认模式和异步模式，响应基本是无阻塞类型 测试的request是一个加密操作，对url中的几个参数做一个ase加密 说明：下面的模拟阻塞模式，类似于你的请求中有很多调用第三方api的场景，因为网络延迟导致响应比较长 测试命令ab -n 1000
linux安装uwsgi后运行hello world测试用例不输出hello world
在路上
03-19 1694
原因：测试用例对于python2.x 和 python3.x的写法不同。 python2.x请用一下用例测试： def application(env, start_response): start_response('200 OK', [('Content-Type','text/html')]) return "Hello World" python3.x请用一下用例测试...
重大错误，uwsgi配置时候一直是用的测试的，其实是项目名字加上uwsgi
u013762655的博客
07-13 471
重大错误，uwsgi配置时候一直是用的测试的，其实是项目名字加上uwsgi
uWSGI使用详解
liulanba的博客
04-18 3697
uWSGI（官方写法为"uWSGI"）是一个Web服务器和应用服务器，用于将Web应用程序和Web服务器之间进行通信。它充当Web服务器和Python Web应用程序之间的桥梁，实现了WSGI协议（Web Server Gateway Interface）的处理。
linux安装uwsgl
zzguo1224的博客
04-25 223
六、uwsgI 1、获取uwsgi wget http://projects.unbit.it/downloads/uwsgi-latest.tar.gz 2、编译安装 tar zxvf uwsgi-latest.tar.gz cd uwsgi-2.0.11.1/ python uwsgiconfig.py --build python setup.py install 3、测试uwsgi是否可用 新建test.py: def application(env, start_response): start_
uwsgi性能调忧
weixin_30437847的博客
02-10 908
摘要：调大uwsgi配置中listen=1024的数目是提高并发能力最有效的办法。第二种方法是调大processes数目 发现总是超时报警 1 使用ab确定网络具体征况 [bre@dmp-1 ~]$ ab -n 1000 -c 100 http://.com/Mapping.do? Concurrency Level: 100 Time take...
apache压力测试ab命令使用及结果判断
爱代码也爱生活
07-09 6825
模拟1000个请求，600个并发，加上-r参数可防止出现：apr_socket_recv "connection reset by peer" 错误 # ab -r -n 1000 -c 600 http://192.168.15.55/test/big/index.php This is ApacheBench, Version 2.3 Copyright 1996 Adam Twiss,
php mysql mysqli php7性能测试
junqing124的专栏
06-06 920
测试命令为：ab -c 10 -n 300 http://192.168.6.170/order/1.php 结果是： php5.4 mysql: [root@localhost www]# ab -c 10 -n 300 http://192.168.6.170/order/1.php   This is ApacheBench, Version 2.3
解决uwsgi的编码问题详解
03-18
### uWSGI 编码问题解决方案 #### 背景分析 uWSGI 是一种高性能的应用程序容器服务器，广泛用于部署 Python Web 应用程序。然而，在实际应用中可能会遇到编码问题，尤其是在处理多语言字符集时。这类问题通常表现为 `UnicodeEncodeError` 或其他类似的异常。 当直接使用 Python 和 uWSGI 不会出现此类错误时，可以推测这是由于环境变量或配置文件中的编码设置不当引起的[^1]。 --- #### 常见原因及解决方法 ##### 1. **环境变量未正确设置** 如果系统的默认编码不是 UTF-8，则可能导致无法正确解析某些非 ASCII 字符串。可以通过在启动命令中显式指定环境变量来解决问题： ```bash uwsgi --env LANG=en_US.UTF-8 --env LC_ALL=en_US.UTF-8 ``` 上述命令通过 `-env` 参数设置了运行时的语言和区域选项，从而强制 uWSGI 使用 UTF-8 编码[^4]。 --- ##### 2. **ini 文件配置不完善** 在 `uwsgi.ini` 中也可以通过添加特定的参数来调整编码行为。以下是推荐的关键配置项及其作用： - `lang`: 设置应用程序使用的语言，默认可能为 C 的本地化版本。 - `chdir`: 切换工作目录至项目根路径。 - `wsgi-file`: 指定 WSGI 入口文件的位置。 - `master`: 启动主进程模式以提高稳定性。 - `processes`: 定义并发的工作线程数。 - `threads`: 单个工作进程中启用多个线程支持。 完整的示例配置如下所示： ```ini [uwsgi] module = wsgi:app master = true processes = 4 threads = 2 http-timeout = 30 socket = /tmp/uwsgi.sock chmod-socket = 660 vacuum = true die-on-term = true enable-threads = true lang = en_US.UTF-8 ``` 注意：这里的 `lang` 参数同样指定了全局编码方式[^2]。 --- ##### 3. **Python 代码内部的兼容性问题** 即使外部环境已经适配好，但如果 Python 程序本身存在硬编码字符串或其他潜在缺陷，仍然会引发冲突。建议遵循以下最佳实践： - 明确声明源文件采用 UTF-8 编码； - 对输入数据进行严格校验并转换为目标格式； 例如，在 Flask 或 Django 中初始化阶段加入以下片段可有效规避风险： ```python import sys reload(sys) sys.setdefaultencoding('utf-8') # 强制设定默认编码为 utf-8 (仅适用于 Python 2.x) ``` 对于现代 Python 版本（即 >=3），无需额外操作因为其内置支持 Unicode[^3]。 --- #### 总结 综上所述，针对 uWSGI 出现的编码难题可以从以下几个方面入手排查与修正——确认操作系统层面的基础属性是否匹配预期需求；优化服务端加载脚本里的各项指令组合；最后审视业务逻辑里是否存在遗漏之处待改进。只要按照以上指导方针逐一落实到位，绝大多数场景下的乱码现象都能迎刃而解。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值