LiuKingJia的博客

一、当Spark on Hive时，Spark读不到hive的数据。刷新Spark的 缓存： REFRESH TABLE test.dws_d_driver

一、【关于Spark并行度】 1. 什么是Spark的并行度？ 并行度其实就是指的是spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度 2. 官方推荐task的个数？ 官方推荐，task数量，设置成spark Application 总cpu core数量的2~3倍 。比如：150个cpu core ，基本设置 task数量为 30...