zhixingheyi_tian的博客

而 sort join 只需 200 多秒。

【代码】Spark SQL 之 Hints。

【代码】Spark SQL query case。

【代码】Spark eventLog Replay。

cpp/core/memory/ArrowMemoryPool.cccpp/core/memory/MemoryAllocator.cc

【代码】Jmap 相关命令。

每个日期和版本（即 concat(substr(p_dt,1,4),substr(p_dt,6,2),substr(p_dt,9,2)) 和 app_version 的组合）都会作为一个分组进行展示。ROW_NUMBER() 函数将按 app_version 排序，每个 app_version 都会根据 PARTITION BY 进行分组，并按降序给每个分组的行编号。所以，ROW_NUMBER() 将按这些转换后的值进行排序。6.1.2 被转换为 612。6.2.0 被转换为 620。

Hive 生成带压缩的格式，需要如此设置。

生成 unresolved LogicalPlan// abstract class AbstractSqlParser`/** Creates LogicalPlan for a given SQL string. */ override def parsePlan(sqlText: String): LogicalPlan = parse(sqlText) { parser =&gt...

shuffle

Dataframe

Shuffle Hash Join启用 Shuffle Hash Join 必须满足以下几个条件：仅支持等值 Join，不要求参与 Join 的 Keys 可排序；spark.sql.join.preferSortMergeJoin 参数必须设置为 false，参数是从 Spark 2.0.0 版本引入的，默认值为 true，也就是默认情况下选择 Sort Merge Join；小表的大小（plan.stats.sizeInBytes）必须小于 spark.sql.autoBroadcastJoi

WITH ASWITH AS短语，也叫做子查询部分，定义一个SQL片断后，该SQL片断可以被整个SQL语句所用到。有的时候，with as是为了提高SQL语句的可读性，减少嵌套冗余。with A as ( select * from user) select * from A, customer where customer.userid = user.id**先执行select * from user把结果放到一个临时表A中，作为全局使用。with as的将频繁执行的s

ConceptSpark uses two engines to optimize and run the queries - Catalyst and Tungsten, in that order. Catalyst basically generates an optimized physical query plan from the logical query plan by applying a series of transformations like predicate pushdown

加载 metastore_db issueDatabase Class Loader started - derby.database.classpath=''21/01/20 06:30:33 ERROR PoolWatchThread: Error in trying to obtain a connection. Retrying in 7000msjava.sql.SQLException: A read-only user or a user in a read-only database

semi-join Conceptsemi-join是指semi-join子查询。 当一张表在另一张表找到匹配的记录之后，半连接（semi-jion）返回第一张表中的记录。与条件连接相反，即使在右节点中找到几条匹配的记录，左节点 的表也只会返回一条记录。另外，右节点的表一条记录也不会返回。半连接通常使用IN 或 EXISTS 作为连接条件。 该子查询具有如下结构：SELECT ... FROM outer_tables WHERE expr IN (SELECT ... FROM inner_tabl

InternalRow — Abstract Binary Row FormatInternalRow is also called Catalyst row or Spark SQL row.abstract class InternalRow extends SpecializedGetters with Serializable {}UnsafeRowUnsafeRow is a...

PrerequisitesSet up a single-node Kubernetes（minikube）with --cpus 8 --memory 8192Build and push the spark2.4.1 imagePut hive-site.xml in the conf dirRunbin/spark-sql \ --master k8s://https:...

submit sql to thriftserver by beelinerun thriftserver in a podsh sbin/start-thriftserver.sh \ --master k8s://https://kubernetes.default.svc.cluster.local:443 \ --name spark-thriftserver \ ...

OAP File// OAP Data File V1 Meta Part// ..// Field Length In Byte// Meta// Magic and Version 4// Row Count In Each Row Group 4// ...

HavingHAVING语句通常与GROUP BY语句联合使用，用来过滤由GROUP BY语句返回的记录集。HAVING语句的存在弥补了WHERE关键字不能与聚合函数联合使用的不足。语法：SELECT column1, column2, … column_n, aggregate_function (expression)FROM tablesWHERE predicatesGROU...

logicRelation//ddl.scala//viewDefinition 为logicRelationcase class CreateTempViewUsing( tableIdent: TableIdentifier, userSpecifiedSchema: Option[StructType], replace: Boolean, global...

BinaryExecNodeBinary physical operator with two child left and right physical operatorsLeafExecNodeLeaf physical operator with no childrenBy default, the set of all attributes that are produce...