【Spark实战系列】spark 如何实现自定义分区策略

最新推荐文章于 2025-05-07 14:30:23 发布

JasonLee实时计算

最新推荐文章于 2025-05-07 14:30:23 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 实战系列文章标签： spark partitioner

本文链接：https://blog.youkuaiyun.com/xianpanjia4616/article/details/88738091

Spark 实战系列专栏收录该内容

41 篇文章 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了当Spark的默认HashPartitioner和RangePartitioner无法满足需求时，如何自定义分区器。通过一个示例展示了如何创建一个将偶数key分配到分区0，奇数key分配到分区1的分区策略。执行代码后，观察到2,4,6,8,10位于分区0，而1,3,5,7,9位于分区1。" 130977419,18051089,叠箱子问题的编程解决方案,"['算法', '编程语言', 'C++', 'Java', 'JavaScript', 'Python']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark默认是提供了两种分区器,HashPartitioner和RangePartitioner,但是有的时候不能满足我们实际的需求,这个时候我们可以自定义一个分区器,也非常的简单.看下面一个demo,把key是偶数的放到一个分区,key是奇数的放到另一个分区.

package spark

import org.apache.spark.{Partitioner, SparkConf, SparkContext, TaskContext}

/**
  * spark自定义分区
  */
object CoustomPartitioner {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Spark Streaming Jason").setMaster("local")
    val sc = new SparkContext(conf)
    val rdd = sc.parallelize(1 to 10,5)
    rdd.map((_,1)).partitionBy(new MyPartitioner(2)).foreachPartition(fp=>{
      println("分区ID:" + TaskContext.get.partitionId)
      fp.foreach(f=>{
        println(f)
      })
    })
  }
}

class MyPartitioner(num:Int) extends Partiti