Python Web开发服务器选型

1、SimpleHTTPServer

python自带的简单服务器，可以通过如下命令启动：一般用于文件下载启动。

python -m SimpleHTTPServer

也可以基于SimpleHTTPServer进行改造，但是是单线程的Web server，所以性能很差。

2、flask or django

flask和django框架自带server，以flask为例，可以直接代码里启动或者通过命令启动。通常支持多线程启动。

Windows环境不支持多进程；debug=True 时设置的多线程无效，因此需要将debug=False

# 1.threaded : 多线程支持，默认为False，即不开启多线程;
app.run(threaded=True)

# 2.processes：进程数量，默认为1.
app.run(processes=True)
ps：多进程或多线程只能选择一个，不能同时开启

or

flask 命令启动，不过不推荐。
1、
$ FLASK_APP=app FLASK_ENV=development flask run

2、
$ FLASK_APP=app FLASK_DEBUG=1 flask run

3、
export FLASK_APP=app
export FLASK_ENV=development
flask run

参考：https://dormousehole.readthedocs.io/en/latest/cli.html

3、genvent做协程

from genvent.wsgi import  WSGIServer
from genvent import monkey

monkey.patch_all()
app = Flask(__name__)
app.config.from_object(config)
api = Api(app)

db = DBInfo()
# db_old = DBInfo_old()

然后通过这种方式包装WSGIServer((address,port), app).serve_forever()，
通过python code.py 的方法，来启动服务。

4、tornado

高性能的多线程异步非阻塞Web server，使用简单。但是python有GIL，所以多线程无法利用多核，导致并发性能较差。

5、gunicorn(with genvent)

# 启动命令
gunicorn --worker=3 main:app -b 0.0.0.0:8080

WSGI server，需要给出配置文件指定CPU核数等，重点进行介绍：

默认是同步工作，支持Gevent、Eventlet异步，支持Tornado。

• Gunicorn是基于prefork模式的Python wsgi应用服务器，支持 Unix like的系统
• 采用epoll (Linux下) 非阻塞网络I/O 模型
• 多种Worker类型可以选择同步的，基于事件的（gevent、tornado等），基于多线程的
• 高性能，比之uwsgi不相上下
• 配置使用非常简单
• 支持 Python 2.x >= 2.6 or Python 3.x >= 3.2

gunicorn配置

1) -c CONFIG,--config=CONFIG
指定一个配置文件（py文件）。
2) -b BIND,--bind=BIND
与指定socket进行绑定。
3) -D,--daemon
后台进程方式运行gunicorn进程
4) -w WORKERS,--workers=WORKERS
工作进程的数量。上边提到gunicorn是一个pre-fork worker模式，就是指gunicorn启动的时候，在主进程中会预先fork出指定数量的worker进程在处理请求时，gunicorn依靠操作系统来提供负载均衡，通常推荐的worker数量是：(2 x $num_cores) + 1。多进程多线程。

5) -k WORKERCLASS,--worker-class=WORKERCLASS
工作进程类型，包括sync（默认），eventlet，gevent（推荐），tornado（多线程），gthread，gaiohttp
6) --backlog INT
最大挂起的连接数
7) --log-level LEVEL
日志输出等级。

• debug
• info
• warning
• error
• critical

8) --access-logfile FILE
访问日志输出文件，类似于nginx的access log。'-' 表示输出到标准输出.
9) --error-logfile FILE, --log-file FILE
错误日志输出文件。 '-' 表示输出到标准错误输出。

10）--chdir

切换到指定的工作目录。

 

配置文件实例：

# gunicorn.conf.py
import logging
import logging.handlers
from logging.handlers import WatchedFileHandler
import os
import multiprocessing
bind = '127.0.0.1:8000'      #绑定ip和端口号
backlog = 512                #监听队列
chdir = '/home/test/server/bin'  #gunicorn要切换到的目的工作目录
timeout = 30      #超时
worker_class = 'gevent' #使用gevent模式，还可以使用sync 模式，默认的是sync模式

workers = multiprocessing.cpu_count() * 2 + 1    #进程数
threads = 2 #指定每个进程开启的线程数
loglevel = 'info' #日志级别，这个日志级别指的是错误日志的级别，而访问日志的级别无法设置
access_log_format = '%(t)s %(p)s %(h)s "%(r)s" %(s)s %(L)s %(b)s %(f)s" "%(a)s"'    #设置gunicorn访问日志格式，错误日志无法设置

"""
其每个选项的含义如下：
h          remote address
l          '-'
u          currently '-', may be user name in future releases
t          date of the request
r          status line (e.g. ``GET / HTTP/1.1``)
s          status
b          response length or '-'
f          referer
a          user agent
T          request time in seconds
D          request time in microseconds
L          request time in decimal seconds
p          process ID
"""
accesslog = "/home/test/server/log/gunicorn_access.log"      #访问日志文件
errorlog = "/home/test/server/log/gunicorn_error.log"        #错误日志文件

nohup

nohup是一个 Linux 命令，搭配 & 来不挂断地运行某条命令达到后台执行的效果，默认会在根目录生成一个 nohup.out文件用来记录所有的 log 信息，也可以重定向到其他位置。这里我们用它来执行gunicorn，来保持 gunicorn 进程不会被挂断。

nohup gunicorn --worker-class=gevent NSLoger.wsgi:application -b 127.0.0.1:8000 &

supervisor

通过supervisor启动程序，supervisor启动有两种：

1. 命令行二进制bin文件启动（推荐）；
2. 通过python自带的supervisor库启动。

WSGI协议

Web框架（比如flask和django）致力于如何生成HTML代码，而Web服务器（比如tornado）用于处理和响应HTTP请求。Web框架和Web服务器之间的通信，需要一套双方都遵守的接口协议。WSGI协议就是用来统一这两者的接口的。网关的作用就是在协议之间进行转换。

很多框架都自带了 WSGI server ，比如 Flask，webpy，Django、CherryPy等等。当然性能都不好，自带的 web server 更多的是测试用途，发布时则使用生产环境的 WSGI server或者是联合 nginx 做 uwsgi 。

常用的WSGI容器有Gunicorn和uWSGI，但Gunicorn直接用命令启动，不需要编写配置文件，相对uWSGI要容易很多。

uWSGI

WSGI：全称是Web Server Gateway Interface，WSGI不是服务器，python模块，框架，API或者任何软件，只是一种规范，描述web server如何与web application通信的规范。server和application的规范在PEP 3333中有具体描述。要实现WSGI协议，必须同时实现web server和web application，当前运行在WSGI协议之上的web框架有Bottle, Flask, Django。
uwsgi：与WSGI一样是一种通信协议，是uWSGI服务器的独占协议，用于定义传输信息的类型(type of information)，每一个uwsgi packet前4byte为传输信息类型的描述，与WSGI协议是两种东西，据说该协议是fcgi协议的10倍快。
uWSGI：是一个web服务器，实现了WSGI协议、uwsgi协议、http协议等。

WSGI协议主要包括server和application两部分：

• WSGI server（比如Nginx）负责从客户端接收请求，将request转发给application，将application返回的response返回给客户端；
• WSGI application（比如Python应用）接收由server转发的request，处理请求，并将处理结果返回给server。application中可以包括多个栈式的中间件(middlewares)，这些中间件需要同时实现server与application，因此可以在WSGI服务器与WSGI应用之间起调节作用：对服务器来说，中间件扮演应用程序，对应用程序来说，中间件扮演服务器。

WSGI协议其实是定义了一种server与application解耦的规范，即可以有多个实现WSGI server的服务器，也可以有多个实现WSGI application的框架，那么就可以选择任意的server和application组合实现自己的web应用。例如uWSGI和Gunicorn都是实现了WSGI server协议的服务器，Django，Flask是实现了WSGI application协议的web框架，可以根据项目实际情况搭配使用。

uWSGI旨在为部署分布式集群的网络应用开发一套完整的解决方案。主要面向web及其标准服务。由于其可扩展性，能够被无限制的扩展用来支持更多平台和语言。uWSGI是一个web服务器，实现了WSGI协议，uwsgi协议，http协议等。
uWSGI的主要特点是：

• 超快的性能
• 低内存占用
• 多app管理
• 详尽的日志功能（可以用来分析app的性能和瓶颈）
• 高度可定制（内存大小限制，服务一定次数后重启等）

uWSGI服务器自己实现了基于uwsgi协议的server部分，我们只需要在uwsgi的配置文件中指定application的地址，uWSGI就能直接和应用框架中的WSGI application通信。

使用起来需要使用uwsgi二进制，以flask为例：

1、安装uwagi：

apt-get install build-essential python-dev
pip install uwsgi
curl http://uwsgi.it/install | bash -s default /tmp/uwsgi
将 uWSGI 二进制安装到 /tmp/uwsgi ，你可以修改它。

wget http://projects.unbit.it/downloads/uwsgi-latest.tar.gz
tar zxvf uwsgi-latest.tar.gz
cd uwsgi-latest
make

• 通过pip install uwsgi 和brew install uwsgi的区别

pip install uwsgi 安装在python的目录下，在命令窗口下输入uwsgi会提示找不到该命令（MAC 环境下是这样，在服务器上都是直接通过pip 来安装）。

brew install uwsgi 会将uwsgi安装在/usr/local/Cellar/目录下，在全局可以直接使用uwsgi执行各种命令。

 

Nginx中HttpUwsgiModule的作用是与uWSGI服务器进行交换。 

可以看到flask不需要进行run，因为不需要启动server，只需要应用即可。

# myflaskapp.py 
from flask import Flask

app = Flask(__name__)

@app.route('/')
def index():
    return "<span style='color:red'>I am app 1</span>"

# 执行命令：
uwsgi --socket 127.0.0.1:3031 --wsgi-file myflaskapp.py --callable app --processes 4 --threads 2 --stats 127.0.0.1:9191
# --http-socket http协议，如果是直接访问必须要http，配合nginx可以是socket

# Nginx部署表示使用 nginx 接收的 Web 请求传递给端口为 3031 的 uWSGI 服务来处理。
location / {
    include uwsgi_params;
    uwsgi_pass 127.0.0.1:3031;
}

为什么有了uWSGI为什么还需要nginx？因为nginx具备优秀的静态内容处理能力，然后将动态内容转发给uWSGI服务器，这样可以达到很好的客户端响应。 

[uwsgi]
#配合nginx使用
socket = 127.0.0.1:8000
#项目路径 /Users/xiaoyuan/Desktop/flask_test
chdir           = 自己项目路径
#wsgi文件 run就是flask启动文件去掉后缀名 app是run.py里面的Flask对象 
module          = run:app
#指定工作进程
processes       = 4
#主进程
master          = true
#每个工作进程有2个线程
threads = 2
#指的后台启动 日志输出的地方
daemonize       = uwsgi.log
#保存主进程的进程号
pidfile = uwsgi.pid
#虚拟环境环境路径
virtualenv = /Users/xiaoyuan/.virtualenvs/flask_test

总结

最后推荐一个常用架构：nginx（如何需要代理或者静态资源） + flask + gunicorn + celery + redis + mysql。

或nginx（如何需要代理或者静态资源） + uwsgi + django + celery + redis + mysql。