u010506130的专栏

/** * Created by Administrator on 2016/8/9 . */ import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.JavaRDD; import

https://my.oschina.net/leejun2005/blog/188459

遇到的问题：1. 数据倾斜，程序运行非常缓慢，长时间停顿。（大表数据量500多万，小表数据量仅180条），两个表关联， 数据严重倾斜。版本1：select  '' as id, f1.apply_id, f1.number, f1.rule_name,  a.apply_time, from ( select      f1.apply_id,