Spark2creat_palains的博客

转载自http://student-lp.iteye.com/blog/2309075                                                                           Hbase 热点(数据倾斜)问题解决方案---rowkey散列和预分区设计  hbase数据倾斜   hbase热点问题   rowke

在运用Spark数据处理中，有时要对数据进行分组（二次）排序。数据存储在HDFS中。实现代码如下：package com.ibeifeng.spark.coreimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.mutable