[python教程入门学习]Python流处理

Faust是一个流处理库，将kafka流中的思想移植到Python中。

它被用于Robinhood去构建高性能的分布式系统和实时数据通道，每天处理数十亿的数据。

Faust同时提供流处理和事件处理，同类型的工具分享例如：Kafka Streams, Apache Spark/Storm/Samza/Flink

它不需要使用一个DSL，仅需要用到Python！这意味着你在做流处理的时候可以使用所有你喜欢的Python库：NumPy, PyTorch, Pandas, NLTK, Django, Flask, SQLAlchemy等等。

由于需要使用新的async/await语法和变量类型注释方法，Faust需要使用Python3.6以上的版本。

这里有一个处理输入命令流的示例：

这个agent装饰器定义了一个“流处理器”，它本质上是一个Kafka topic，并且可以对接收到的每个事件做一些处理。

这个agent是一个async def的函数，因此它还可以异步执行其他操作，如web请求。

这个系统可以持久化状态，执行方式类似于数据库。表被命名成分布式的key/value储存，你可以使用常规的Python字典来做这件事。

在每台机器上的本地用c++编写的超快嵌入式数据库(被称为RocksDB)存储表。

表还可以存储可选的“窗口”聚合计数，以便跟踪“前一天的单击次数”或“前一个小时的单击次数”。与Kafka流一样，我们支持滚动、跳跃和滑动时间窗口，旧窗口可以过期以阻止数据填充。

为了提高可靠性，我们使用Kafka topic作为“预写日志”。当一个密钥被更改时，我们将其发布到更新的日志上。备用节点使用这个更新日志来保存数据的精确副本，并在任何节点发生故障时支持立即恢复。

对于用户来说，表只是一个字典，但是数据在重新启动和跨节点复制之间存在，所以在故障发生时其他节点可以自动接管。

您可以通过URL统计页面浏览数量：

发送到Kafka topic的数据是分区的，这意味着点击数将用URL的这种方式进行分片。因此，同一个URL的每个计数都会立刻被传递给同一个Faust worker实例。

Faust支持任何类型的流数据：字节、Unicode和序列化结构，同时也支持使用现代Python语法的“模型”来描述流中的keys和value是如何被序列化的。