KafkaUtils.createDirectStream()参数详解

theminer

于 2022-01-11 11:42:06 发布

阅读量2.7k

点赞数 1

文章标签： kafka 分布式

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/theminer/article/details/122428472

版权

本文详细介绍了KafkaUtils.createDirectStream方法创建Kafka DStream时的参数使用，包括LocationStrategies的三种策略：PreferBrokers、PreferConsistent、PreferFixed，以及ConsumerStrategies的三种策略：Subscribe、SubscribePattern、Assign。讲解了Subscribe策略如何自动分配partition以保证均衡，而Assign策略允许手动指定消费的topic-partitions，不受group.id约束。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

转载自 KafkaUtils.createDirectStream()参数详解 - 海贼王一样的男人 - 博客园

通过KafkaUtils.createDirectStream该方法创建kafka的DStream数据源，传入有三个参数：ssc，LocationStrategies，ConsumerStrategies。

LocationStrategies有三种策略：PreferBrokers，PreferConsistent，PreferFixed详情查看上边源码解析

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

/**

* :: Experimental :: object to obtain instances of [[LocationStrategy]]

*

*/

@Experimental

object LocationStrategies {

/**

* :: Experimental ::

* Use this only if your executors are on the same nodes as your Kafka brokers. 只有当executors数量等于brokers数量时使用

*/

@Experimental

def PreferBrokers: LocationStrategy =

org.apache.spark.streaming.kafka010.PreferBrokers

/**

* :: Experimental ::

* Use this in most cases, it will consistently distribute partitions across all executors.大多数使用，在所有的executors分配分区

*/

@Experimental

def PreferConsistent: LocationStrategy =

org.apache.spark.streaming.kafka010.PreferConsistent

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。