【Spark】Spark常用方法总结4-SparkStreaming（Python版本）

最新推荐文章于 2024-05-10 22:51:01 发布

原创

最新推荐文章于 2024-05-10 22:51:01 发布 · 500 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #hadoop

本文总结了SparkStreaming在Python中的使用，包括SparkStreamingContext的创建、报错解决方法，如需确保分配的核心数大于接收器数量。还介绍了基本源和高级源，如文件系统、套接字连接、Kafka等，提醒Python使用者相关资料可能主要基于Scala。

SparkStreamingContext

spark = SparkSession.builder.appName('test').master('local[*]').getOrCreate()

ss = StreamingContext(spark.sparkContext, 10)
lines = ss.socketTextStream('10.255.77.183', 10086)
result = lines.flatMap(lambda x: x.split(' ')).map(lambda x: (x, 1)).reduceByKey(lambda x1, x2: x1 + x2)