zhixingheyi_tian的博客

原创 文献 参考

原创 scala 之 序列化

【代码】scala 之 序列化。

原创 Spark 之 Jira

https://github.com/apache/spark/pull/29916https://issues.apache.org/jira/browse/SPARK-33037

原创 Spark2 之 FQA

检查每个 executor 节点上， 是否都存在 jars。

原创 Log4j 相关事项

原创 Scala 示例

【代码】Scala 示例。

原创 Spark2 之 qualification-tool

spark

原创 Scala 之 正则

【代码】Scala 之 正则。

原创 VCPKG

【代码】VCPKG。

原创 Spark2 之 FallBack

【代码】Spark2 之 FallBack。

原创 Spark2 之 Expression/Functions

src/main/scala/org/apache/gluten/expression/ExpressionConverter.scalasrc/main/scala/org/apache/gluten/execution/TopNTransformer.scala

原创 Hadoop 之 cosn

注意： 以下为新版 region 的配置，如果用了以下配置，会覆盖就配置。

原创 Spark 之 HistoryServer 剖析

如果节点 IP 地址过多， 需要bind IP，

原创 Spark eventlog 、Event、SparkListener

【代码】Spark eventlog。

原创 PDF Reader

PDF

原创 Spark Plan Optimization (future)

参考链接：

原创 Trino 代码剖析

Trino

原创 Velox 之单元测试

【代码】Velox 之单元测试。

原创 C++ 测试案例

【代码】C++ 测试案例。

原创 Velox 之 Expression

Velox

原创 Spark2 之 Build

这里 可见 ENABLE_BENCHMARK 和 ENABLE_TESTS 不能共同选 ON，选了也没共生的效果。

原创 Spark2之Profiling

参考链接：

原创 Velox 之 vector

参考链接。

原创 数据结构之排序

参考链接：

原创 Spark 之 Aggregate

完整的聚合查询的关键字包括groupby、cube、groupingsets和rollup4种。聚合语句针对同一张表进行sum和count(distinct）查询，最终的执行过程包含了4步聚合操作。在SparkSQL中，聚合过程有4种模式，分别是Partial模式、ParitialMerge模式、Final模式和Complete模式。Complete模式和Partial/Final组合方式不一样，不进行局部聚合计算。

原创 Presto 源码分析

Presto 源码分析

原创 Presto 源码分析

Presto

原创 Hadoop 生态之 kerberos

轻型目录访问协议（英文：Lightweight Directory Access Protocol，缩写：LDAP，/ˈɛldæp/）是一个开放的，中立的，工业标准的应用协议，通过IP协议提供访问控制和维护分布式信息的目录信息。

原创 Spark Runtime Filter

RuntimeFilter

原创 Spark 之 partitons

【代码】Spark 之 partitons。

原创 Spark SQL 之 QueryStage

ExchangeQueryStageExec 分为两种。

原创 Spark 之 SparkSessionExtensions

【代码】Spark 之 SparkSessionExtensions。

原创 Spark SQL corner case

null 既不参与 IN 表达式的计算 ，也不参与 NOT IN 表达式的计算，如果数据中存在 null ，则这两个表达式。得到的结果之和并不等于总的数据结果。

原创 Spark 之 EnsureRequirements

【代码】Spark 之 ensureDistributionAndOrdering。

原创 github actions

这是资源找不到，网络原因导致。

原创 Spark 之 Cache

这种情况是RDD的数据经过缓存，此时不需要网络传输，是最优locality。数据与Task在同机架的不同节点，此时需要通过网络传输，速度比NODE_LOCAL慢。数据和Task可能在集群的任何地方，性能最差，一般出现这种情况就该排查原因了。数据从哪访问都一样，相当于没有数据本地性，一般值从外部数据源读取数据。（1）数据和Task在同一节点上的不同executor中；即数据和Task在同一个Excutor JVM中。（2）数据HDFS和Task在同一个结点上，要处理的数据在同一个本地进程，

原创 Spark Plan 之 SQLMetric

Spark Plan 包含以下基本 方法，

原创 Delta Lake

Delta Lake 是经过优化的存储层，为 Databricks 上湖屋中的表提供了基础。Delta Lake 是开源软件，它使用基于文件的事务日志扩展了 Parquet 数据文件，可以处理 ACID 事务和可缩放的元数据。Delta Lake 与 Apache Spark API 完全兼容，并且其设计能够与结构化流式处理紧密集成，让你可以轻松地将单个数据副本用于批处理和流式处理操作，并提供大规模增量处理。Delta Lake 是 Azure Databricks 上所有操作的默认格式。

原创 Spark CBO

参考链接。

原创 Spark DPP

参考链接。