zhixingheyi_tian的博客

AQE 的 循环触发点。

【代码】Spark 之 DataFrame 开发。

【代码】mysql 之 相关。

【代码】ICEBerg 之 相关。

之所以，最后将一个repartition， 是因为 Spark 最后的shuffle stage ， hash key 往往不是 最后 write 的分区key。shuffle partition ，按照新的 写分区列重新 hash ，shuffle， 然后再进行 coalesce。​分区组合数​：8 个 (from_cluster 和 ds 的组合)​总文件数​：200 × 8 = ​1600 个文件​。总文件数 = Task 数量 × 分区组合数。以下是一个单独例子。​Task 数量​：200。

HIVE_FILESOURCE_PARTITION_FILE_CACHE_SIZE 设置为 0 可以关闭 partition cache 功能。

【代码】SparkSQL 之。

【代码】Spark 之 expression。

【代码】Spark SQL 之 Analyzer。

【代码】Spark 之 Antlr。

【代码】SparkPlan 之 Explain。

【代码】Spark 之 metrics。

executor ID ， 在日志里也有体现。

对于spark on yarn，shuffle write是container写数据到本地磁盘(路径由core-site.xml中hadoop.tmp.dir指定)过程；shuffle read是container请求external shuffle服务获取数据过程，external shuffle是NodeManager进程中的一个服务，默认端口是7337，或者通过spark.shuffle.service.port指定。

【代码】Json 相关。

【代码】Spark event 解析。

【代码】Spark SQL 之 DAG。

【代码】Velox之 Spill。

1个计算 CU 的计算能力约等于1核 CPU 与4G 内存的服务计算能力：

https://github.com/apache/spark/pull/29916https://issues.apache.org/jira/browse/SPARK-33037

检查每个 executor 节点上， 是否都存在 jars。

spark

【代码】Spark eventlog。

【代码】VCPKG。

【代码】Spark2 之 FallBack。

src/main/scala/org/apache/gluten/expression/ExpressionConverter.scalasrc/main/scala/org/apache/gluten/execution/TopNTransformer.scala

注意： 以下为新版 region 的配置，如果用了以下配置，会覆盖就配置。

如果节点 IP 地址过多， 需要bind IP，

参考链接：

Trino

Velox

这里 可见 ENABLE_BENCHMARK 和 ENABLE_TESTS 不能共同选 ON，选了也没共生的效果。

参考链接：

参考链接。

RuntimeFilter

【代码】Spark 之 partitons。

ExchangeQueryStageExec 分为两种。

【代码】Spark 之 SparkSessionExtensions。

null 既不参与 IN 表达式的计算 ，也不参与 NOT IN 表达式的计算，如果数据中存在 null ，则这两个表达式。得到的结果之和并不等于总的数据结果。