本文详细介绍了Spark2.x中与Kafka数据源交互时的LocationStrategies策略，包括PreferBrokers、PreferConsistent、PreferFixed等。PreferBrokers策略确保Executor在有Kafka Broker的节点上运行，PreferConsistent则实现分区的均匀分布，而PreferFixed允许手动指定分区分配，未指定的部分按PreferConsistent分配。这些策略对于优化Spark作业的性能和数据分布至关重要。
Spark 2.x kafka LocationStrategies 的几种方式。
1. LocationStrategies.PreferBrokers()
仅仅在你 spark 的 executor 在相同的节点上，优先分配到存在 kafka broker 的机器上；
2. LocationStrategies.PreferConsistent();
大多数情况下使用，一致性的方式分配分区所有 executor 上。（主要是为了分布均匀）
3. LocationStrategies.PreferFixed(hostMap: collection.Map[TopicPartition, String])
4. LocationStrategies.PreferFixed(hostMap: ju.Map[TopicPartition, String])
如果你的负载不均衡，可以通过这两种方式来手动指定分配方式，其他没有在 map 中指定的，均采用 preferConsistent() 的方式分配；
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
