Gunicorn + gevent + flask + sqlalchemy + scoped_session 高并发解决方案

最新推荐文章于 2024-09-19 12:18:13 发布
原创 最新推荐文章于 2024-09-19 12:18:13 发布 · 1.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #并发编程 #web

本文介绍了如何利用Gunicorn、Gevent、Flask和SQLAlchemy的scoped_session来实现Python web应用的高并发解决方案。Gunicorn通过多进程和协程支持提高性能，Gevent通过greenlet实现非阻塞IO。Gunicorn+Gevent配合使用，通过monkey.patch_all()确保非阻塞。同时，Flask结合SQLAlchemy的scoped_session确保了数据库操作的安全性，使用TLS或greenlet-local确保不同请求间的session隔离。

Gunicorn + gevent + flask + sqlalchemy + scoped_session 高并发解决方案

Gunicorn

gunicorn 是wsgi http server，也就是web sever

它的作用: 多进程（woker) + 协程（gevent) + 管理web应用（flask）

gevent

gevent是第三方库，通过greenlet实现协程

Gunicorn + Gevent

Gunicorn支持多个woker模式，其中包括异步的Gevent

使用gevent，在guncorn的配置文件中添加参数

worker_class = 'gevent'

再使用wokers参数可以设置woker数量，即实现了多进程web 应用

workers = 2

gunicorn + gevent与monkey.patch_all()

在gunicorn初始化工作进程中，调用self.patch()方法，执行了mokey.patch_all()给第三方库打上了补丁，从而保证了非阻塞

Gevent在mokey.patch_all()的时候，已经把thread-local换成了greenlet-local，不同协程间是隔离的

https://github.com/benoi

最低0.47元/天 解锁文章
flask+Gunicorn(gevent)+sqlalchemy 高并发的解决方法探究
JanLEE
03-18 1770
2. 第二点是对于timer事件的算法优化，通过环形缓冲区(128)和bit vector实现查看部分源码可以看出，主要实现是每个时间点对应的是缓冲区的一个位置，每个缓存区使用bit vector 表示fd的数值，相当于一种hash映射所以时间复杂度为(o(n))，n为那个缓存区所存的fd数量。1. 主要是考虑是fd（file descriptors）在unix中是用比较小的正整数表示的，那么把fd的相关信息，全部存储在一个array中，这样使得查找快速，在操作socket状态时会更加的快。
Flask+Gunicorn+SQLAlchemy的高并发解决方法探究
NfsVerilog的博客
09-17 415
Flask是一个轻量级的Python Web框架，提供了简单而灵活的方式来构建Web应用程序。在本文中，我们将探讨如何使用Flask、Gunicorn和SQLAlchemy来处理高并发情况，并提供相应的源代码示例。综上所述，通过使用适当的数据库连接池、多线程或异步处理请求以及缓存技术，我们可以有效地处理Flask、Gunicorn和SQLAlchemy的高并发情况。装饰器将该路由的结果缓存起来，设置了60秒的过期时间。在60秒内，如果有其他用户请求相同的路由，将直接从缓存中获取数据，而不是执行路由的逻辑。
Flask ==> scoped_session
weixin_30505043的博客
01-13 233
Flask ==> scoped_session from sqlalchemy.orm import sessionmaker from sqlalchemy import create_engine from sqlalchemy.orm import scoped_session engine = cre...
gunicorn+gevent实现 flask web 应用的并行访问
lixingdefengzi的专栏
06-03 7360
1、  安装 gevent 和 gunicorn pip install gevent pip install gunicorn 2、  创建 gunicorn的配置文件(.py) #!/usr/bin/env python #coding:utf-8   import multiprocessing   bind = "0.0.0.0:5000" #64-20
SQLAlchemy 的 scoped_session
lucyxu107的博客
09-14 9595
SQLAlchemy 的 scoped_session 是啥玩意 通常我们用 SQLAlchemy 写数据的时候要创建 Session 对象来维护数据库会话，用完了再关掉。但是听说还有个叫scoped_session的玩意，这是做啥用的？ 这东西其实与 web 应用有一些关系。我们在使用 Django 的 ORM 的时候怎么没见到需要创建个 session 呢？因为它已经悄悄帮你实现好了维护 ...
gevent sqlalchemy async access mysql
liukeforever的专栏
11-25 3062
1.安装mysql-connector 2.db = create_engine('mysql+mysqlconnector://root:liukesun@localhost/testdb') gevent_sqlalchemy_test.py #!/usr/bin/python import gevent from gevent import monkey # pat
想使用gevent、mysql、sqlalchemy实现python项目协程异步达到并发的效果
weixin_34245749的博客
07-18 279
如题，但是查看了很多资料，都说python这边的mysql不支持异步并发，只能阻塞进行，心塞30秒，暂时放弃这方面的研究   如果不操作数据库的化，比如请求url、操作文件，还是可以用gevent来异步实现并发的：https://zhuanlan.zhihu.com/p/21465564   有资料说豆瓣通过修改基础库实现了，参考：https://github.com/douban/greenif...
【Python Web 框架】flask005---sqlalchemy快速使用、scoped_session实现线程安全、flask_sqlalchemy的快速使用、flask-migrate使用
初遇我ㄖ寸の热情呢？
09-03 644
1 pipreqs–>快速生成项目的依赖2 函数和方法3 threading包下的local类—》实例化得到对象—》多线程并发操作————>数据不会错乱-加锁-每条线程操作自己的数据其实字典和列表都不是并发安全的，多个线程同时往字典里面写数据，会乱；写数据的过程是先取到、再写、再给它，这3步叫临界区所以这3步，必须要做成原子性的，要加锁4 自己写–》兼容协程（协程是单线程内的并发）
【flask】07-flask中的三个session
lu13093323120的博客
10-23 760
Flask 中有三个 session： 第一个：数据库中的 session，例如:db.session.add() 第二个：在 flask_session 扩展中的 session，使用：from flask_session importSession，使用 第三方扩展的 session 可以把信息存储在服务器中，客户端浏览器中只存储 sessionid。 第三个：flask 自带的 sessio...
session、flask session知识的相关收集
一直走，不要回头
08-22 549
1、打开两个浏览器窗口访问应用程序会使用同一个session还是不同的session session cookie是不能跨窗口使用的，当你新开了一个浏览器窗口进入相同页面时，系统会赋予你一个新的session id （搞错了，是sessionstorage不共享） 2、保存session id的几种方式 A．保存session id的方式可以采用cookie，这样在交互过程中浏览器可以自动...
猴子补丁(monkey.patch_all())
while_black的博客
01-22 3729
monkey patch指的是在执行时动态替换,通常是在startup的时候. 用过gevent就会知道,会在最开头的地方gevent.monkey.patch_all();把标准库中的thread/socket等给替换掉.这样我们在后面使用socket的时候能够跟寻常一样使用,无需改动不论什么代码,可是它变成非堵塞的了. 就是把里面的函数转变成gevent协程里面的相同的函数，这样就可以说都...
gunicorn的实践经验
yyw794的专栏
03-08 4600
为什么要上gunicorn？ flask自带的web容器不满足生产环境的要求。生产环境不能直接采用flask自带的web容器。 gunicorn是目前应用较广的支持WSGI的web容器。 gunicorn能否替代flask自带的web容器进行开发调试？ 可以，加入- -reload，则代码变更后，gunicorn会自动重启。 gunicorn的worker选择gevent时的...
深入解析 Gunicorn 的两种工作模式：Sync 与 Gevent 模式
最新发布
吃面不喝汤的博客
09-19 2168
Gunicorn 是一个 Python WSGI HTTP 服务器，它能够将应用程序部署在生产环境中。Gunicorn 支持多种并发工作模式，比如sync（同步）模式和gevent（异步协程）模式，以提高 Flask、Django 等应用的处理能力。Gevent 是 Python 中一个轻量级的协程库，它基于 Greenlet 实现，Greenlet 是一种比线程更轻量的微线程。Gevent 通过事件驱动和协程的方式，实现了 I/O 操作的并发处理。
Gunicorn的使用手册看这篇就够了
wuyy0224的博客
12-10 1万+
本文详细介绍了Gunicorn的安装使用以及各个配置参数的含义。希望对读者朋友们有所帮助。针对这些的学习还是看官方文档最好。
gunicorn简单配置和使用记录
ben1122334的博客
05-22 792
gunicorn root.项目名.server:app -c /root/项目名/confs/gunicorn.py。
Flask-SQLAlchemy内存泄露问题
amingzm123的博客
09-25 2660
Flask-SQLAlchemy内存泄露问题 现象及问题 Flask应用异步子线程跑批时，每次循环到400次左右时就会有1个worker（gunicorn启动4个worker）不明原因地发生重启，supervisor和应用无异常日志，CPU、内存占用在运行过程中持续升高，分别涨到110%和90%时worker重启，才回落。如果批次数据不大，跑完之后虽然worker不会重启，但是内存却一直没有释放，占用70%（正常20%）。 初步怀疑是内存泄露，检查循环的代码块，重点语句依次注释后压测发现问题是由于循环中的数
Flask从入门到放弃五（SQLAlchemy介绍与快速使用、创建表插入数据、Scoped_session线程安全、基本增删查改、表模型、Flask-SQLAlchemy、Migrate的使用）
主要发布一些日常学习代码及理解
12-15 2165
详细介绍了SQLAlchemy介绍与快速使用、创建表插入数据、Scoped_session线程安全、基本增删查改、表模型、Flask-SQLAlchemy、Migrate的使用
monkey.patch_all()处理多线程问题
热门推荐
Quincy.Coder的博客
09-14 1万+
monkey解决方案问题主要是开线程时阻塞
Ubuntu 18.04 使用Gunicorn + Nginx + Supervisor部署Flask应用指南
"Ubuntu 18.04 使用Gunicorn + Nginx + Supervisor为Flask应用提供服务" 本文档详细介绍了如何在Ubuntu 18.04操作系统上使用Gunicorn、Nginx和Supervisor部署和管理Flask应用程序。Flask是一个轻量级的Python Web...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值