sparkstreaming消费kafka

关注

原创最新推荐文章于 2026-04-21 11:29:25 发布 664 阅读 AI 写同款· GEO 优化 ›

基于PySpark整合Spark Streaming与Kafka 本文介绍了基于PySpark整合Spark Streaming和Kafka实现实时消息处理的方案。首先搭建了单机Kafka环境（版本2.11-2.4.0），配置了Zookeeper和Kafka服务，并测试了消息生产消费功能。然后详细说明了Spark Streaming连接Kafka所需的两个关键JAR包，给出了PySpark程序示例，演示了如何通过KafkaUtils.createDirectStream接口实时消费Kafka消息并进行单词计数。程序采用Direct API模式，每5秒统计一次单词频率并输出阅读详情

1、安装pip install pyspark==2.4.4, 具体spark环境搭建如下：https://blog.youkuaiyun.com/sslfk/article/details/123899383

2、将spark-streaming-kafka包放入python环境的Lib\site-packages\pyspark\jars中，关于spark-streaming-kafka包可以从https://download.youkuaiyun.com/download/sslfk/85115900

3、代码调用方式：

from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils, TopicAndPartition
def save_by_spark_direct_stream():
    '''
    Spark Streaming read Kafka,createDirectStream ,no kafka group id ,no storing offset, no ZK
    '''
    sc = SparkContext(appName="IIP_Recommend_System")
    sc.setLogLevel("WARN")
    ssc = StreamingContext(sc, int(TIMER_MAIN))
    kvs = KafkaUtils.createDirectStream(ssc=ssc,
                                        topics=[TOPIC_NAME_MAIN],
                                        fromOffsets={},
                                        kafkaParams={
                                            "metadata.broker.list": ",".join(BROKER_LIST)})  # 容器云未开启SSL认证，pyspark不支持streaming kafka认证
    kvs.foreachRDD(lambda rec: deal_data(rec))

    '''
    The Start!
    '''
    ssc.start()
    ssc.awaitTermination()
    ssc.stop()

收录于