18、利用 Apache Kafka 和 Apache Spark 进行数据处理

利用 Apache Kafka 和 Apache Spark 进行数据处理

1. 使用 Python 进行 Apache Kafka 数据的生产与消费

在使用 Apache Kafka 时，我们可以通过 Python 代码实现数据的生产和消费。

1.1 数据生产

在将数据发送到 Kafka 之前，需要调用 poll() 方法获取之前消息的确认信息，然后调用 produce() 方法发送数据。以下是示例代码：

p.poll(0)
p.produce('users', m.encode('utf-8'), callback=receipt)
p.flush()

上述代码会将消息发送到 Kafka 集群的 users 主题，终端会打印确认信息，示例输出如下：

2020-06-22 15:29:30 : Message on topic users on partition 1 
with value of {'name': 'Willie Chambers', 'age': 66, 'street': 
'13647 Davis Neck Suite 480', 'city': 'Richardside', 'state': 
'Nebraska', 'zip': '87109'}

1.2 数据消费

要创建一个 Python 消