一见

执行 drop table 后，会将表目录如 hdfs://hadoop-cluster-01/user/zhangsan/warehouse/test.db/t71 删除掉。上面列了两个“.log.”文件，分别为第一次 insert 后和第二次 insert 后的结果，为方便对比观察放在了一起。分区的第 1 笔插入总是会生成“.parquet”文件，而不是“.log.”文件。

测试 insert 时，hoodie.datasource.write.payload.class 有影响，而 hoodie.compaction.payload.class.class 没有影响，即使设置为错误值。

Flink创建表时没有指定分区，但在Flink读取表时却定义了“hoodie.datasource.write.partitionpath.field”的值。使用flink读取一张hudi表，将数据写入到另外一张hudi表。

【代码】FlinkSQL和SparkSQL区别。

【代码】Hudi的ro和rt表。

目录目录 11.前言 12.约定 23.服务端口 24.安装MySQL 24.1.安装MySQL 24.2.创建Hive元数据库 45.安装步骤 45.1.下载Hive1.2.1二进制安装包 45.2.安装Hive 55.3.安装MySQL-Connector 55.4.修改配置 55.4.1.修改/etc/prof

测试中，发现虽然显示设置为 upsert，且也按规范设置了 primaryKey、preCombineField，type 等，但查出的结果仍然存在重复。反复测试，重复的数据稳定为 2，且同一数据的一笔提交时间也保持不变。结果显示同一数据分区相同，但来自不同的 HDFS 文件。这个问题的原因是 drop 掉一张 hudi 表时，对应的表文件没有被删除，导致以同样路径再次创建后，select 仍然能查出来，这时显示重复的原因。但反复 create 和 drop，总是只有两个文件，并没有增加新的。

【代码】正确DROP掉MOR类型的HUDI表。

也是个 BUG，估计后续会修复。是个 BUG，估计后续会修复。库名和表名不能有点号。

当执行 SparkSQL 遇到这个错误时，可能是因为对应分区的数据全被删除了，变成了空分区，解决办法是删除该分区。

上表中的 xxxx 可取值：parquet、orc、hfile，相关定义的文件。hudi的bucket.index相关配置的源码文件为。

是 hoodiekey 到文件组（File Group）或者文件 ID（File ID）的映射，hoodiekey 由 recordkey 和 partitionpath 两部分组成。

从上面的 precombine.field 定义可以看到，precombine.field 同 write.precombine.field、hoodie.datasource.write.precombine.field 是一样的，最底层用的都是 hoodie.datasource.write.precombine.field。从上面还没看出 hoodie.table.precombine.field 同其它三个有和关系，实际上也是一样的，这从。它们是完全相同，还是有什么关系了？

Hudi 官方配置文档：https://hudi.apache.org/docs/configurations，从源码分析可以看到配置项 hoodie.payload.ordering.field 已经废弃，取而代之的是 hoodie.datasource.write.precombine.field。

Hudi的Spark配置

Flink SQL source/sink connectors 的配置，如：index.type、write.tasks、write.operation、clean.policy、clean.retain_commits、clean.retain_hours、compaction.max_memory、hive_sync.db、hive_sync.table、hive_sync.metastore.uris、write.retry.times、write.task.max.size 等。

严格模式，为纯 insert 模式，但如果相同 tblproperties 的 primaryKey 已经存在，亦即 hoodie.datasource.write.recordkey.field 指定的已存在，则不执行插入，否则插入。如果设置为 bulkinsert，还得同时将 hoodie.sql.bulk.insert.enable 值设置为 true，注意 hoodie.sql.bulk.insert.enable 值默认为 false。是否使用 hive 风格的表分区。

如果在运行spark-sql时遇到如下这样的错误，可能是因为yarn-site.xml中的配置项yarn.nodemanager.vmem-pmem-ratio值偏小，它的默认值为2.1，可以尝试改大一点再试。​ERROR cluster.YarnClientSchedulerBackend: Yarn application has already exited with state

目录目录 11. 约定 12. 安装Scala 12.1. 下载 22.2. 安装 22.3. 设置环境变量 23. 安装Spark 23.1. 下载 23.2. 安装 23.3. 配置 33.3.1. 修改conf/spark-env.sh 34. 启动Spark 34.1. 运行自带示例 34.2. SparkSQL Cli 45.