python 微服务开发实例-python 微服务方案

介绍

使用python做web开发面临的一个最大的问题就是性能，在解决C10K问题上显的有点吃力。有些异步框架Tornado、Twisted、Gevent 等就是为了解决性能问题。这些框架在性能上有些提升，但是也出现了各种古怪的问题难以解决。

在python3.6中，官方的异步协程库asyncio正式成为标准。在保留便捷性的同时对性能有了很大的提升,已经出现许多的异步框架使用asyncio。

使用较早的异步框架是aiohttp，它提供了server端和client端，对asyncio做了很好的封装。但是开发方式和最流行的微框架flask不同，flask开发简单，轻量，高效。正是结合这些优点, 以Sanic为基础，集成多个流行的库来搭建微服务。 Sanic框架是和Flask相似的异步协程框架，简单轻量，并且性能很高。本项目就是以Sanic为基础搭建的python微服务框架。(思想适用于其他语言)

微服务设计原则个人总结:

X 轴 ：指的是水平复制，很好理解，就是讲单体系统多运行几个实例，做个集群加负载均衡的模式。

Z 轴 ：是基于类似的数据分区，比如一个互联网打车应用突然或了，用户量激增，集群模式撑不住了，那就按照用户请求的地区进行数据分区，北京、上海、四川等多建几个集群。简单理解数据库拆分,比如分库分表

Y 轴 ：就是我们所说的微服务的拆分模式，就是基于不同的业务拆分。

微服务总体架构:

特点

使用sanic异步框架，简单，轻量，高效。

使用uvloop为核心引擎，使sanic在很多情况下单机并发甚至不亚于Golang。

使用asyncpg为数据库驱动，进行数据库连接，执行sql语句执行。

使用aiohttp为Client，对其他微服务进行访问。

使用peewee为ORM，但是只是用来做模型设计和migration。

使用opentracing为分布式追踪系统。

使用unittest做单元测试，并且使用mock来避免访问其他微服务。

使用swagger做API标准，能自动生成API文档。

服务端

使用sanic异步框架，有较高的性能，但是使用不当会造成blocking, 对于有IO请求的都要选用异步库。添加库要慎重。

sanic使用uvloop异步驱动，uvloop基于libuv使用Cython编写，性能比nodejs还要高。

功能说明：

启动前

@app.listener('before_server_start')

async def before_srver_start(app, loop):

queue = asyncio.Queue()

app.queue = queue

loop.create_task(consume(queue, app.config.ZIPKIN_SERVER))

reporter = AioReporter(queue=queue)

tracer = BasicTracer(recorder=reporter)

tracer.register_required_propagators()

opentracing.tracer = tracer

app.db = await ConnectionPool(loop=loop).init(DB_CONFIG)

创建DB连接池

创建Client连接

创建queue, 消耗span，用于日志追踪

创建opentracing.tracer进行日志追踪

中间件

@app.middleware('request')

async defcros(request):

if request.method == 'POST' or request.method == 'PUT':

request['data'] = request.json