Hudi Spark源码学习总结-spark.read.format(“hudi“).load（2）

已于 2022-11-18 15:24:41 修改
阅读量755 收藏 3
点赞数 1
分类专栏： Spark Hudi 源码 文章标签： Spark Hudi 源码
于 2022-08-15 14:59:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dkl12/article/details/126346978
版权
本文深入探讨了Hudi在Spark中的数据源处理，特别是BaseFileOnlyRelation类的作用，以及qe.executedPlan、DataSourceStrategy、pruneFilterProject等关键方法在构建查询计划中的角色。通过分析PR HUDI-3338和HUDI-3902，揭示了从HadoopFsRelation到CustomHoodieFileFormat的转变及其对性能的影响。文章还介绍了RowDataSourceScanExec.inputRDDs在数据获取中的作用，并预告了后续对Spark DataSource API V2的学习和对比。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

补充上一篇文章Hudi Spark源码学习总结-spark.read.format(“hudi”).load，由于上篇文章篇幅已经比较长了，所以单独写一篇补充一下，没有读过的可以先阅读一下，我们在上篇文章讲到resolveBaseFileOnlyRelation返回的是HadoopFsRelation，那么如果返回BaseFileOnlyRelation呢?

起因

其实除了HadoopFsRelation、BaseFileOnlyRelation还有IncrementalRelation、MergeOnReadSnapshotRelation、MergeOnReadIncrementalRelation、H

了解本专栏 订阅专栏 解锁全文 超级会员免费看
spark.read.format().option 参数
yy的博客
11-22 1万+
通过idea查看option源码发现没找到 点击csv看源码发现会查找option里面的设置: 下面源码中有介绍: eg: sep 表示设置文本分隔符... def csv(csvDataset: Dataset[String]): DataFrame = { val parsedOptions: CSVOptions = new CSVOptions( ex...
Hudi Spark源码学习总结-spark.read.format(“hudi“).load
主要分享大数据相关的知识，如Spark、Hudi
08-11 1116
由于工作原因，之前查询Hudi主要是用Hive来查询的，所以对Hive查询Hudi的逻辑比较了解，但是对于Spark查询Hudi的逻辑不太了解。所以现在想要学习一下Spark查询Hudi的大概逻辑，搞清楚它是如何从Spark的源码跳转到Hudi源码执行Hudi查询的逻辑， 这样既能搞清楚Spark查询表的逻辑，也能搞清楚Spark查询Hudi的逻辑，也便于再后面使用Kyuubi Spark SQL 时出现问题能更好的定位解决。...
使用Spark读取数据的格式和选项参数
PixelCoder的博客
09-20 224
本文介绍了如何使用Spark读取不同格式的数据，并使用格式和选项参数来控制数据读取过程。通过灵活使用这些参数，我们可以针对不同的数据源和需求进行定制化的数据读取操作。为了更好地控制数据读取过程，我们可以使用不同的格式和选项参数。除了上述示例中提到的格式，Spark还支持读取其他格式的数据，如Avro、ORC等。在使用不同格式时，可以根据具体的需求调整选项参数来控制数据读取的行为。指定数据的格式为CSV文件，并使用选项参数来控制CSV文件的解析方式。在上面的代码中，我们使用了两个选项参数。
Hudi Spark SQL源码学习总结-select（查询）
主要分享大数据相关的知识，如Spark、Hudi
08-17 660
上一篇文章Hudi Spark源码学习总结-spark.read.format(“hudi”).load分析了load方法直接查询Hudi表路径的源码逻辑，那么Spark SQL select 表名的方式和load最终走的逻辑是一样的吗？本文带着这个疑问来分析一下select查询Hudi表的源码逻辑通过上面的分析，我们发现Spark查询Hudi表不管是通过load的方式还是通过sqlselect的方法最终走的逻辑都是一样的。都是先查找source=hudi的DataSource，Spark2对应的为。...
数据湖架构Hudi（二）Hudi版本0.12源码编译、Hudi集成spark、使用IDEA与spark对hudi表增删改查
qq_44665283的博客
02-28 3197
数据湖架构Hudi（二）Hudi版本0.12源码编译、Hudi集成spark、使用IDEA与spark对hudi表增删改查
SparkSql——读文件写文件(一)
yyf960126的博客
05-13 3099
package spark.SparkSql import org.apache.spark.sql.SparkSession object SparkSql2 { def main(args: Array[String]): Unit = { //创建sqlSession val spark = SparkSession.builder().master("local[3...
Hudi Spark源码学习总结-df.write.format(“hudi“).save
主要分享大数据相关的知识，如Spark、Hudi
08-03 1141
在开始学习Hudi的时候，我们知道通过可以实现写Hudi，并且写Hudi的逻辑是在实现的，但是始终有一个疑问：它怎么从跳到中的呢？本文就是主要来回答这个问题的。本文分析总结了从到的调用逻辑，解决了自己最开始学习Hudi时的一个疑惑😄,希望对大家也能有所帮助。......
Hudi Spark SQL源码学习总结-Create Table
主要分享大数据相关的知识，如Spark、Hudi
07-22 1829
简要总结HudiSparkSql源码执行逻辑，从建表开始。其实从去年开始接触Hudi的时候就研究学习了HudiSparkSQL的部分源码，并贡献了几个PR，但是完整的逻辑有些地方还没有完全梳理清楚，所以现在想要从头开始学习，搞懂一些知识难点，这样以后看相关源码的时候就不会导致因为一些关键点不懂影响进度。由于本人能力和精力有限，本文只讲解自己觉得比较关键的点，主要目的是梳理整个流程。搞懂了SparkSQL默认的sqlParser为,那么Hudi是一样的吗？那我们就需要看一下开始的这里的f为为。...
SparkSQL读写数据
HYSliuliuliu的博客
12-21 7626
SparkSQL对数据的落地保存使用api为：spark.write.save()，需要指定数据的落地格式，因为和read的默认格式一样，save的默认格式也是parquet，需要在write和save之间指定具体的格式format(format).toDF("pid", "province", "code", "cid")//重新根据需要命名列名 数据类型全部是字符串。//csv 普通的文本文件，但是每一列之间是,作为分隔符。//加载数据 默认的加载文件的格式为parquet。
使用Spark操作Hudi表详细教程
Denny辉的博客
01-14 1773
使用Spark操作hudi表教程和问题排错
spark 数据的读取与保存
weixin_33859231的博客
06-09 268
2019独角兽企业重金招聘Python工程师标准>>> ...
spark 读写数据
weixin_44280356的博客
04-13 1643
对于基本文件的数据源，例如 text、parquet、json 等，您可以通过 path 选项指定自定义表路径 ，例如 df.write.option(“path”, “/some/path”).saveAsTable(“t”)。与 createOrReplaceTempView 命令不同， saveAsTable 将实现 DataFrame 的内容，并创建一个指向Hive metastore 中的数据的指针。相反， bucketBy将数据分布在固定数量的桶中，并且可以在唯一值的数量不受限制时使用。
大数据技术之SparkSQL——数据的读取和保存
five小点心的博客
05-08 3929
SparkSQL提供了通用的保存数据和数据加载的方式。根据不同的参数读取，并保存不同格式的数据。SparkSQL默认读取和保存的文件格式为Parquet。
pyspark笔记：读取 & 处理csv文件 （pyspark DataFrame）
qq_40206371的博客
07-27 6761
pyspark cmd上的命令。
Hudi（10）：Hudi集成Spark之并发控制
yang_shibiao的博客
01-08 1431
针对写入操作（upsert、insert等）利用乐观并发控制来启用多个writer将数据写到同一个表中，Hudi支持文件级的乐观一致性，即对于发生在同一个表中的任何2个提交（写入），如果它们没有写入正在更改的重叠文件，则允许两个写入都成功。基于前面DeltaStreamer的例子，使用Delta Streamer消费kafka的数据写入到hudi中，这次加上并发写的参数。（4）zk下产生了对应的目录，/multiwriter_test下的目录，为代码里指定的lock_key。3）查看zk是否产生新的目录。
常用的spark数据读取和保存
haohao914的博客
10-26 883
个人收录自己常用的集中数据保存和读取方式 1、从外部读取数据之textFile 读取 var departmentData = getLoadDepartment(sqlCon,"hdfs://cnsz17pl1443:8020/spark/ddt/ASRUA_TM_DEPARTMENT")   def getLoadDepartment(spark: SparkSession,
【Hudi】Hudi HMS Catalog 完全使用指南
书山有路，学海无涯。记录成长，追逐梦想
12-25 1842
当 Flink 和 Spark 同时接入 Hive Metastore（HMS）时，用 Hive Metastore 对 Hudi 的元数据进行管理，无论是使用 Flink 还是 Spark 引擎建表，另外一种引擎或者 Hive 都可以直接查询。
Spark学习笔记：Spark进阶
lrxcmwy2的博客
09-11 4502
Spark使用不同的数据源，Spark SQL开发，性能调优
详解 Spark SQL 代码开发之数据读取和保存
weixin_44480009的博客
06-04 1132
Spark 在安装编译后内部已经可以支持 Hive 表访问、 UDF (用户自定义函数) 以及 Hive 查询语言(HiveQL/HQL) 等。文件拷贝到项目的 resources 目录中，同时确保 target/classes 目录下也有该文件。将 Mysql 连接的驱动 jar 包拷贝到 Spark 安装目录的。目录下(外部 Hive 的元数据库使用 MySQL)两个配置文件拷贝到 Spark 安装目录的。配置文件拷贝到 Spark 安装目录的。将外部 Hive 的安装目录下的。
hudi-spark3.3
最新发布
03-09
val df = spark.read.format("org.apache.hudi"). load("/path/to/cow_table") df.show() ``` #### 数据写入操作 当需要将新记录追加到现有Hudi表或者创建一个新的Hudi表时，可以通过设置不同的选项来控制具体的写...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值