卜萝的博客

–conf spark.sql.adaptive.enabled=true\ 开启shfffer解决小文件问题 –conf spark.sql.adaptive.minNumPostShufflePartitions=10 –conf spark.sql.adaptive.maxNumPostShufflePartitions=2000 –conf spark.sql.adaptive.shuffle.targetPostShuffleInputSize 134217728 –conf spark.sql.

需要一个构建session单例的类（由于session 存在driver 为一个单例所以需要此类）： object SparkSessionSingleton { @transient private var instance: SparkSession = _ def getInstance(sparkConf: SparkConf): SparkSession = { if (instance == null) { instance = SparkSession

spark sql 的 df 的行转列的api： 输入数据：例如 note id n1 2，3，4 n2 3，4，5，6 输出数据： note id n1 2 n1 3 … 操作： sql 操作 -》 使用split进行切割； val sql = ” select split（id ,','）paersonId from table1 “ val split = session.sqlContext.sql(sql)