SparkSQL性能优化

一、设置Shuffle过程中的并行度

设置参数：SQLContext.setConf("spark.sql.shuffle.prititions",xxx);

 

二、设置合理的数据类型

在Hive数据仓库建设过程中，合理设置数据类型，比如能设置为IINT的，就不要设置成BIGINT，减少数据类型导致的不必要的内存开销。

 

三、明确列名

编写SQL是，尽量给出明确的列明，比如select name from students。不要写成select * from students。

 

四、并行处理查询结果

对SparkSQL查询的结果，如果数据量比较大，比如超过了1000条，不要一次性collect()到Driver再处理。使用foreach()算子，并行处理查询结果。

 

五、缓存表

对于一条SQL语句中可能多次使用到的表，可以对其进行缓存，使用SQLContext.cacheTable(tableName)，或者DataFrame.cache()即可。SparkSQL会用内存列存储的格式进行表的缓存。然后SparkSQL就可以仅仅扫描需要使用的列，并且自动优化压缩，来最小化内存使用和GC开销。SQLContext.uncacheTable(tableName)可以将表从缓存中移除。用SQLContext.setConf()，设置spark.sql.inMemoryColumnarStorage.batchSize参数（默认10000），可以配置列存储的单位。

 

六、广播join表

spark.sql.autoBroadcastJoinTreshold，默认10485760（10MB）。再内存够用的情况下，减小其大小，可以将join中的较小的表广播出去，而不用进行网络数据输出。注意：大小不超过设置值的表，都会被广播出去。

 

七、钨丝计划

spark.sql.tungsten.enabled，默认是true，自动管理内存。

 

通常情况下，使用第四条——并行处理查询结果。缓存表和广播join表，效果也还可不错。