Hudi Spark SQL源码学习总结-Create Table

已于 2022-11-18 15:23:46 修改
阅读量1.8k 收藏 5
点赞数 2
分类专栏： Spark Hudi 源码 文章标签： spark Hudi 源码
于 2022-07-22 09:19:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dkl12/article/details/125925404
版权
本文详细介绍了Hudi Spark SQL源码的学习过程，从创建表开始，涉及Spark SQL的源码执行逻辑，包括解析、扩展、分析、优化和计划等阶段。通过对Spark SQL和Hudi源码的深入研究，揭示了Hudi表和普通Hive表的创建区别，以及Hudi如何在Spark SQL中实现其特定逻辑。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

简要总结Hudi Spark Sql源码执行逻辑，从建表开始。其实从去年开始接触Hudi的时候就研究学习了Hudi Spark SQL的部分源码，并贡献了几个PR，但是完整的逻辑有些地方还没有完全梳理清楚，所以现在想要从头开始学习，搞懂一些知识难点，这样以后看相关源码的时候就不会导致因为一些关键点不懂影响进度。

由于本人能力和精力有限，本文只讲解自己觉得比较关键的点，主要目的是梳理整个流程。

Spark SQL源码

既然是学习Hudi Spark SQL源码，那么肯定离不开Spark SQL源码，所以需要先学习了解Spark SQL的源码，在优快云上发现一位作者写的几篇文章不错，这几天我也主要是参考他写的这几篇文章并结合源码进行学习的,我把它们放在后面的参考文章中，大家可以参考一下。

版本

Spark 2.4.4
Hudi mast

了解本专栏 订阅专栏 解锁全文 超级会员免费看
SparkSQL DDL语句之CREATE TABLE
SunnyRivers
08-27 719
CREATE TABLE语句是用来给一个已存在的数据库中创建表的。我们平时用Hive等其他组件建表居多，本篇博客主要讲解一下SparkSQL如何进行建表。
Hudi Spark SQL源码学习总结-CTAS
主要分享大数据相关的知识，如Spark、Hudi
08-01 1025
上一篇文章Hudi Spark SQL源码学习总结-Create Table总结了Create Table的源码执行逻辑，这一篇继续总结CTAS，之所以总结CTAS，是之前在我提交的一个PR中发现，Spark2和Spark3.2.1版本的CTAS的逻辑不一样，最终走的Hudi实现类也不一样，所以本文分Spark2和Spark3.2.1两个版本分析......
SparkSQL,创建表，
qq_62962872的博客
12-20 882
了解Spark Shell、Spark SQL模式 学习使用Spark Shell、Spark SQL模式，创建表及查询数据
spark-sql create table using orc
花言简
03-30 5855
在分区表中使用不同建表方式，hive和spark-sql中insert overwrite data现象不同。 1.问题出现过程 1)spark-sql建表 CREATE TABLE t_using (`user_no` STRING, `tt_slotid_req` STRING, `ks_slotid_req` STRING ,`model` STRING , `follow_time` STRING, `bind_time` STRING, `reg_slotid` STRING , `geo_
spark sql中createOrReplaceTempView，saveAsTable，spark.sql(Create table..)创建的表的区别
hongqiutiandi163的博客
09-30 9060
我们在spark sql中可能遇到createOrReplaceTempView，saveAsTable，spark.sql(Create table..)三种创建表的方式，那么这三种方式有什么区别吗？同时，我们也会遇到多张表进行join的sql，这些sql很难跑出结果，我们有什么办法能够较为轻松的跑出结果呢？
SparkSql create table导入本地excel
DUTwangtaiyu的博客
12-18 1152
小白首次尝试导入本地excel表格到数据库并创建table，因为刚接触sparksql不久所以犯了很多小错误，特此记录。 数据源处理 首先是excel表格的处理，因为涉及公司机密和隐私就不放具体数据了，6条columns，一开始因为手贱把空白表格拖动了几下，导致后来把空白列也当做null数据算进去了。 因为要把它变成可以处理的类型，所以要保存为txt文件。分隔符选择","，可能是因为excel版...
Hudi Spark SQL源码学习总结-select（查询）
主要分享大数据相关的知识，如Spark、Hudi
08-17 660
上一篇文章Hudi Spark源码学习总结-spark.read.format(“hudi”).load分析了load方法直接查询Hudi表路径的源码逻辑，那么Spark SQL select 表名的方式和load最终走的逻辑是一样的吗？本文带着这个疑问来分析一下select查询Hudi表的源码逻辑通过上面的分析，我们发现Spark查询Hudi表不管是通过load的方式还是通过sqlselect的方法最终走的逻辑都是一样的。都是先查找source=hudi的DataSource，Spark2对应的为。...
Hudi Spark源码学习总结-df.write.format(“hudi“).save
主要分享大数据相关的知识，如Spark、Hudi
08-03 1142
在开始学习Hudi的时候，我们知道通过可以实现写Hudi，并且写Hudi的逻辑是在实现的，但是始终有一个疑问：它怎么从跳到中的呢？本文就是主要来回答这个问题的。本文分析总结了从到的调用逻辑，解决了自己最开始学习Hudi时的一个疑惑😄,希望对大家也能有所帮助。......
Hudi Spark SQL Call Procedures学习总结（一）（查询统计表文件信息）
主要分享大数据相关的知识，如Spark、Hudi
11-25 2179
学习总结Hudi Spark SQL Call Procedures，Call Procedures在官网被称作存储过程（Stored Procedures），它是在Hudi 0.11.0版本由腾讯的ForwardXu大佬贡献的，它除了官网提到的几个Procedures外，还支持其他许多Procedures命令。本文先学习其中的几个我觉得比较常用的命令，主要是查询统计表路径下的各种文件信息。
sparksql源码系列 | 一文搞懂Show create table 执行原理
xiaoluobutou的专栏
02-16 1475
这篇文章主要介绍了show create table命令执行的源码流程，弄清楚了sparksql是怎么和hive元数据库交互，查询对应表的metadata，然后拼接成最终的结果展示给用户的
SparkSQL中创建外部表及使用
GulfMoon
06-16 8939
一、使用需求 工作中经常会需要与外围系统打交道，由于外围系统和本系统不处于同一个Hadoop集群下，且不具有访问本系统的权限，所以基本上大数据量的接口都是以文件的方式进行传输。如何快速、便捷的将文件入Spark库中？ 通过SparkSQL中创建外部表的方式就能够很好地解决这一需求。 二、解决方案 1. hdfs上创建存放外部表数据文件的目录 hdfs dfs -mkdir -p /hu...
Spark1.*中CreateTableAsSelect 语句实现
半日闲的博客
06-20 2920
本文以一个 CreateTableAsSelect 的Command 的job提交执行过程为例，说明spark sql 的job提交执行过程 `` SparkSQLCLIDriver:main(): ret = cli.processLine(line, true) SparkSQLCLIDriver:main(): val rc = driver.run(cmd) SparkSQ...
SparkSQL之DataSource
liweihope的博客
07-05 779
文章目录Parquet 文件加载Parquet文件Partition Discovery 分区探测Schema 合并ORC文件Hive表JDBC 到其它数据库TroubleshootingPerformance Tuning 你用MapReduce、Spark、Hive去处理源数据，处理之后输出出来。输入和输出的数据文件的格式可能有很多种，比如文本、json、ORC、Parquet格式的文件等。另...
Hudi Spark源码学习总结-spark.read.format(“hudi“).load
主要分享大数据相关的知识，如Spark、Hudi
08-11 1116
由于工作原因，之前查询Hudi主要是用Hive来查询的，所以对Hive查询Hudi的逻辑比较了解，但是对于Spark查询Hudi的逻辑不太了解。所以现在想要学习一下Spark查询Hudi的大概逻辑，搞清楚它是如何从Spark的源码跳转到Hudi源码执行Hudi查询的逻辑， 这样既能搞清楚Spark查询表的逻辑，也能搞清楚Spark查询Hudi的逻辑，也便于再后面使用Kyuubi Spark SQL 时出现问题能更好的定位解决。...
十二、Spark SQL数据源 - Hive表
zlwm000的博客
06-17 2335
Spark SQL还支持读取和写入存储在Apache Hive中的数据。然而，由于Hive有大量依赖项，这些依赖项不包括在默认的Spark发行版中，如果在classpath上配置了这些Hive依赖项，Spark就会自动加载它们。需要注意的是，这些Hive依赖项必须出现在所有Worker节点上，因为它们需要访问Hive序列化和反序列化库（SerDes），以便访问存储在Hive中的数据。 在使用Hive时，必须实例化一个支持Hive的SparkSession对象。若系统中没有部署Hive，则仍然可以启用Hive
Hudi SQL语法
数据也是生产力，保持热爱，奔赴山海！
01-03 1581
通过MERGE INTO命令，根据一张表或子查询的连接条件对另外一张表进行查询，连接条件匹配上的进行UPDATE或DELETE，无法匹配的执行INSERT。1、trict模式，Insert 语句将保留 COW 表的主键唯一性约束，不允许重复记录。如果在插入过程中已经存在记录，则会为 COW 表抛出异常，对于MOR表，该模式与upsert模式行为一致。Hudi对于设置了主键的表支持三种Insert模式，默认为upsert。3.当前仅支持对COW表进行更新时，目标表的字段出现在更新表达式的右值。
第4章 SparkSQL数据源
weixin_30914981的博客
08-12 117
第4章 SparkSQL数据源 4.1 通用加载/保存方法 4.1.1 手动指定选项 　　Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。 　　Spark SQL的默认数据源为Parquet格式。数据源为Parq...
【pyspark】表的读写创建
sunflower_sara的机器学习园地
01-19 2187
创建df_spark： df_pandas= pd.DataFrame({"list_name": list_}) df_spark=spark.createDataFrame(df_pandas) 保存表： # # 写入临时表中 spark.sql("use db_name") df_saprk_hrouteinfo_all2.write.mode("overwrite").f...
PySpark｜使用 CREATE TABLE AS 向 Hive 写入数据导致换行异常问题的处理方法
最新发布
长行
07-25 435
发现下游表的记录数比预期要多，进一步排查发现其中存在部分唯一键为空的记录，疑似是部分字符串字段中包含特殊字符导致这些记录被拆分为多条记录，而被拆分出的记录没有唯一键。进一步定位找到这些记录，发现导致被拆分的特殊字符应该是换行符（通过增加日志，发现 UDF 前后 DataFrame 都是一行，推测是在写出时变成多行。是 Hive 中用于处理简单分隔格式数据的结构，其默认的行分隔符是。出现类似问题，极有可能是因为写入 Hive 时使用了。，而是先在 Hive 建表，然后使用。综上，问题原因已经明确。
spark sql 读取hudi 表数据
07-27
您可以使用Spark SQL读取Hudi表数据。首先，您需要将Hudi作为数据源注册到SparkSession中。以下是一个示例代码： ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder() .appName("HudiExample") .master("local") .getOrCreate() // 将Hudi库添加到SparkSession spark.sql("ADD JAR /path/to/hudi-spark-bundle.jar") // 注册Hudi数据源 spark.sql("CREATE TEMPORARY VIEW hudi_table USING org.apache.hudi " + "OPTIONS (path 'hdfs://path/to/hudi_table', " + "tableName 'hudi_table', " + "recordKey 'id', " + "preCombineKey 'timestamp')") // 查询Hudi表数据 val query = "SELECT * FROM hudi_table" val hudiData = spark.sql(query) hudiData.show() ``` 在上面的代码中，您需要将`/path/to/hudi-spark-bundle.jar`替换为您的Hudi Spark Bundle JAR文件的路径。同时，您需要将`hdfs://path/to/hudi_table`替换为您实际的Hudi表路径。 注册Hudi数据源后，您可以使用Spark SQL查询Hudi表数据。在示例中，我们执行了一个简单的SELECT查询，并使用`show()`方法显示结果。 请注意，此示例假定您已经设置好了Spark和Hudi的环境。如果您还没有安装和配置Spark和Hudi，请按照相关文档进行操作。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值