hanxiaohei99的博客

https://www.pianshen.com/article/4477311370/

解决哪些问题SparkSQL自适应执行解决以下问题:shuffle partition个数目前SparkSQL中reduce阶段的task个数取决于固定参数spark.sql.shuffle.partition(默认值200)，一个作业一旦设置了该参数，它运行过程中的所有阶段的reduce个数都是同一个值。而对于不同的作业，以及同一个作业内的不同reduce阶段，实际的数据量...

https://blog.youkuaiyun.com/zhuiqiuuuu/article/details/79290221

https://www.jianshu.com/p/bded081b5350

报错：scala.collection.mutable.WrappedArray$ofRef cannot be cast to [[Ljava.lang.String;程序：完成转化数组<数组>元素的去重合并变为数组<String>报错代码： def arrayMerge(valueLists: Array[Array[String]]): Array[S...

https://blog.youkuaiyun.com/whgyxy/article/details/88779965https://blog.youkuaiyun.com/qq_34382453/article/details/857813771、什么是推测执行？在spark作业运行中，一个stage里面的不同task的执行时间可能不一样，有的task很快就执行完成了，而有的可能执行很长一段时间也没有完成。造...

https://www.cnblogs.com/itboys/p/9762808.html//dataframe新增一列方法1，利用createDataFrame方法val trdd = input.select(targetColumns).rdd.map(x=>{ if (x.get(0).toString().toDouble > critValueR || x.ge...