Spark学习:为Spark Sql添加自定义优化规则

最新推荐文章于 2024-08-09 12:09:29 发布

我爱夜来香A

最新推荐文章于 2024-08-09 12:09:29 发布

阅读量732

点赞数

分类专栏： Spark 文章标签： spark 学习 sql

本文链接：https://blog.youkuaiyun.com/nzbing/article/details/126082462

版权

Spark 专栏收录该内容

26 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在Spark中添加自定义优化规则，包括实现规则、创建Extension、注入规则并验证结果的详细步骤，帮助提升Spark SQL查询性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

scala

一、自定义优化规则

Spark在2.2版本引入了一个强大的特性,添加钩子和拓展点,允许用户自定义优化规则
1、实现自定义规则 (静默规则，通过 set spark.sql.planChangeLog.level=WARN，确认执行到就行)

case class MyPushDown(spark: SparkSession) extends Rule[LogicalPlan] {
   
 def apply(plan: LogicalPlan

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

我爱夜来香A

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Spark学习:构建Sql满足指定的优化规则

nzbing的博客

05-08

468

构建Sql满足指定的优化规则一、连接本地oracle数据库二、规则三三、规则五一、连接本地oracle数据库 import org.apache.spark.sql.DataFrame val dfOracle:DataFrame = spark.read.format("jdbc").option("driver", "oracle.jdbc.driver.OracleDriver").option("url", "jdbc:oracle:thin:@192.168.0.101:1521:orcl")

Spark学习:为Sparksql添加自定义命令

nzbing的博客

05-08

774

编译Spark源码一、修改SqlBase4添加语法规则二、 Maven编译antlr三、修改SqlParsqlParser.scala中四、运行一、修改SqlBase4添加语法规则 #修改四处 statement | SHOW VERSION #showVersion ansiNonReserved | VERSION nonReserved | VERSION //--SPARK-KEYWOR

参与评论您还未登录，请先登录后发表或查看评论

spark自定义排序规则

hanyong4719的博客

10-22

2526

package cn.edu360.day5 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * Created by zx on 2017/10/10. */ object CustomSort1 { def main(args: Array[Strin...

@scheduled 执行一次_Spark sql规则执行器RuleExecutor（源码详解）

weixin_39829236的博客

10-28

262

给想要了解spark sql底层解析原理的小伙伴们！推荐阅读：spark sql解析过程中对tree的遍历（源码详解）前言Spark sql通过Analyzer中定义的rule把Parsed Logical Plan解析成 Analyzed Logical Plan；通过Optimizer定义的rule把 Analyzed Logical Plan 优化成 Optimized Logical P...

Spark SQL实现原理-逻辑计划优化规则：ColumnPruning（列裁剪）规则

zg_hover的专栏

08-20

882

本文对逻辑计划优化的列裁剪优化规则进行了分析。该规则会根据各种操作的目标列，对列进行裁剪的逻辑计划优化，并尽可能把这种优化推到数据源处。

spark sql自己定义规则

强子的专栏

08-17

1802

1） github 下载spark 源码（下面的代码都是需要添加的，找到对应的文件进行添加即可） 2）找到 SqlBase.g4 文件，以 offset 为例进行说明，下面的 2.1）找到下面的内容 queryOrganization : (ORDER BY order+=sortItem (',' order+=sortItem)*)? (CLUSTER BY ...

spark学习:如何用spark sql改造存储过程(以PostgreSql为例)

nzbing的博客

05-04

1179

存储过程中的变量和参数需要转换为Spark SQL中的变量和参数。在Spark SQL中，可以使用表达式和函数来表示变量和参数，例如：lit()函数表示字面量，col()函数表示列名,lit()函数可以用来创建常量列,可以用在DataFrame中的操作和计算中。如果用spark或用jdbc调用存储过程,存储过程还是在数据库执行,执行时间和资源消耗取决于数据库的性能,压力也给到数据库这边,可以利用spark sql改造存储过程。2、若存储过程存在DML(update/insert/delete)等。

spark入门学习：spark SQL

最新发布

qq_41358574的博客

08-09

1038

Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部，Spark SQL使用这些额外的信息来执行额外的优化。与Spark SQL交互的方式有多种，包括SQL和Dataset API。计算结果时，使用相同的执行引擎，与您用于表达计算的API/语言无关。为什么要有SPARK SQL:1）发展历史。

Spark sql实现自定义函数

weixin_43588586的博客

06-05

1226

Spark sql实现自定义函数文章目录一、为什么要自定义function？二、实现自定义的函数三、测试效果总结一、为什么要自定义function？有小伙伴可能会疑问：Spark Sql提供了编写UDF和UDAF的接口扩展，为什么还有开发自定义函数呢？虽然Spark SQL 提供了UDF和UDAF，但是当我们想要实现原生函数一样的功能比如:语义参数，可变参数等功能时候，UDF和UDAF就无法满足。例如我们想要实现类似于substr这样的函数， udf就无法实现，其中的参数 ‘Spa

基于成本的Spark SQL优化器框架

04-30

我们把基于成本的优化器框架贡献给社区版本Spark 2.2。在我们的框架中，我们计算每个数据库操作符的基数和输出大小。通过可靠的统计和精确的估算，我们能够在这些领域做出好的决定：选择散列连接（hash join）操作的正确构建端（build side），选择正确的连接算法（如broadcast hash join与 shuffled hash join），调整连接的顺序等等。这个基于成本的优化器框架对Spark SQL查询的性能有很好的提升。在这次演讲中，我们将展示Spark SQL的新的基于成本的优化器框架及其对TPC-DS查询的性能影响。

sparkSQL1.1入门之二：sparkSQL运行架构

mmicky的hadoop、Spark世界

10-10

9463

在介绍sparkSQL之前，我们首先来看看，传统的关系型数据库是怎么运行的。当我们提交了一个很简单的查询： SELECT a1,a2,a3 FROM tableA Where condition 可以看得出来，该语句是由Projection（a1，a2，a3）、Data Source（tableA）、Filter（condition）组成，分别对应sql查询过程中的Result

SparkSQL之Rule体系

RainTicking的博客

11-12

261

RuleExecutor的apply(plan:TreeType):TreeType方法会按照batches顺序和batch内的Rules顺序，对传入的plan里的节点进行迭代处理，处理逻辑由具体Rule子类实现。凡是涉及树型结构的转换过程（如Analyzer逻辑算子树分析过程、Optimizer逻辑算子树的优化过程和后续物理算子树的生成过程等），都要实施规则匹配和节点处理，都继承自RuleExecutor[TreeType]抽象类，如下图所示。

Spark-SQL绑定

lisenyeahyeah的博客

11-06

648

Spark-SQL绑定上一篇文章Spark-SQL解析讲到了Spark-SQL通过Antlr4生成未解析的LogicalPlan。此时的LogicalPlan是Unresolve的，需要通过Catalog来绑定UnresolvedRelation和UnresolvedAttribute，生成解析后的LogicalPlan。元数据（Catalog）在Spark-SQL中，Catalog主要用于...

sql怎么查看rule绑定_Spark源码阅读-LogicalPlan[Analyzed LogicalPlan]Rule

weixin_39943202的博客

12-17

267

一：阅读Analyzer前的两个概念【Catalog】【Rule】2，Rule源码路径如下所示：Unresolved LogicalPlan未解析逻辑算子树(绑定，解析，优化等)，主要的方法其实都是基于规则的（Rule）Rule.scala是个抽象类，子类实现时候重写apply实现特定处理逻辑每个类的Rule实现都是通过RuleExcutor.scala来调用的,RuleExecutor[Tree...

Spark sql规则执行器RuleExecutor(源码解析)

xiaoluobutou的专栏

02-10

376

静下心来读源码，给想要了解spark sql底层解析原理的小伙伴们！【本文大纲】1、前言2、Strategy3、Batch（包含一个或多个Rule及一个策略）4、batches: Seq[Batch]（Batch队列）5、execute（核心方法）

Spark源码--RuleExecutor

wusuopuBUPT的专栏

07-26

1106

Spark SQL catalyst RuleExecutor的作用是分批次(batch)执行一系列的优化规则直到稳定点(fixpoint)或最大迭代次数,如图所示：实现如下：源码如下： /** 优化规则执行器 */ abstract class RuleExecutor[TreeType : TreeNod

[spark] SparkSQL知识点全集整理

u012989317的博客

06-20

787

SparkSQL是一个用于处理结构化数据的spark组件，主要强调的是“结构化”，让开发者少写代码、降低开发成本、提升数据分析执行效率、shark是SparkSQl的前身。目录简介 DataFrame 对比RDD： DataFrame常见创建方式： SparkSQL读写数据 1、与RDD交互 2、读写本地文件 3、读写parquet 4、读写json 5、读写mysql ...

实现自定义Spark优化规则

半日闲的博客

03-04

2623

文章目录Catalyst optimizer实战编写一个优化规则编写优化规则注册优化规则测试结果添加钩子和扩展点功能编写自定义优化规则和扩展点配置并启用自定义Spark扩展测试优化规则参考文档 Catalyst optimizer Spark SQL 使用一个叫 catalyst 的优化器对所有使用 spark sql 和 dataframe dsl的查询进行优化。经过优化的查询会比使用RDD直接...

[spark]使用injectOptimizerRule改写Plan

I have a adream

01-22

457

自定义UDF函数如下 spark.udf.register("inc", (x: Long) => x + 1) 测试语句如下 val df = spark.sql("select sum(inc(vals)) from data") df.explain(true) df.show() 上述测试语句输出的LogicalPlan如下 == Optimized Logical Plan =...

Spark SQL方言：提升SQL在批处理、机器学习中的应用

资源摘要信息:"本资源为个人毕设项目，提供了基于Spark SQL的方言实现，增强了批处理、机器学习、模型服务等语义，并统一了SQL语法。它为ETL、机器学习和推荐系统提供了框架及源代码。项目代码经过测试运行成功，...