weixin_45162906的博客

Spark中的UI设置与自定义UI页面

Spark源码Debug、本地和远端

build spark源码 spark源码阅读

前言：突发奇想，将SpringBoot、spark、scala结合起来然后打成一个jar包，将jar包用spark目录一、使用方式二、代码结构application.ymlSparkConfig（java）collect（java）Service（scala）一、使用方式github地址：https://github.com/sgr-china/SpringSpark.git将项目克隆下来后，把自己本地hdfs-site.xml、core-site.xml、hive-site.xml放到resour

Branch：spark-3.0有不对的地方欢迎各位大佬批评指正！相关参数：spark.sql.adaptive.enabled AQE是否开启spark.sql.adaptive.coalescePartitions.enabled 分区合并是否开启spark.sql.adaptive.coalescePartitions.minPartitionNum 合并后最小的分区数，下文我们简称为minPartitionNumspark.sql.adap

动态合并shuffle分区（Dynamically coalescing shuffle partitions）动态调整join策略（Dynamically switching join strategies）动态优化数据倾斜join（Dynamically optimizing skew joins）参数：spark.sql.adaptive.enabled 默认关闭，开启此参数后上述三种策略才会执行1、动态优化数据倾斜（Dynamically optimizing skew joins）sp

Spark3动态分区裁剪（Dynamic Partition Pruning，DPP）参数：spark.sql.optimizer.dynamicPartitionPruning.enabled默认开启执行条件：①、需要剪裁的表必须是分区表且分区字段必须在on条件中②、join类型必须是 inner、left（右表是分区表）、right（左表是分区表）、left semi（右表是分区表）③、spark.sql.optimizer.dynamicPartitionPruning.useStats