使用pykafka读取实时数据小例子

zhidao_wenge

于 2017-04-10 21:53:01 发布

阅读量8.3k

点赞数

分类专栏：大数据文章标签：实时数据 pykafka

本文链接：https://blog.youkuaiyun.com/zhidao_wenge/article/details/70037817

版权

本文提供了一个使用Pykafka库读取实时数据的简单示例，介绍了如何利用Pykafka连接Kafka服务器，订阅主题并消费消息，适合初学者快速上手实时数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用pykafka读取实时数据

import sys
from pykafka import KafkaClient
from pykafka.balancedconsumer import BalancedConsumer
from pykafka.simpleconsumer import OwnedPartition, OffsetType

reload(sys)
sys.setdefaultencoding('utf8')

#pykafka, need install PyKafka

class PyKafka:

	consumer = None
	TOPIC   = 'log_download'
	BROKER_LIST = '10.23.23.24:9092,10.23.23.21:9092'
	ZK_LIST = '10.23.23.24:2181,10.23.23.21:2181/sh-bt'

	server = topic = zsServer = None


	def __init__(self):
		print("begin pykafka")
		self.server  = self.BROKER_LIST
		self.topic   = self.TOPIC
		self.zkServer= self.ZK_LIST

	def getConnect(self):
		client = KafkaClient(hosts=self.server)
		topic = client.topics[self.topic]

		self.consumer = topic.get_balanced_consumer(
			consumer_group="zs_download_04", # 自己命令
			auto_offset_reset=

最低0.47元/天解锁文章