只是甲的博客

因为数据已经同步到了Hive，Spark SQL默认可以读取Hive表的数据，所以可以直接进行操作。

如果是整个yarn-session异常，也可以启动yarnsession的时候指定checkpoint。在网上看到的资源都是针对代码级别的，没有看到Flink SQL级别的。对于一些大表，最好还是先通过Spark进行初始化，然后在接增量。把yarn-session的资源由8G提升到16G问题解决。在Flink web界面将Flink SQL任务手工结束掉。Flink可以自己重试，这个还是比较不错，无需人工干预。等mysql启动成功之后，任务又可以继续衔接上。看来是我的checkpoint都没成功。

如果是生产环境，可以指定一个较高的并行度，我这个地方因为是测试环境，并行度指定为1。内存尽量多指定，不然会包 OOM的错误。

索引 index 是判断数据重复的核心数据结构， index.state.ttl 设置了索引保存的时间， 默认 1.5 天，对于昌时间周期的更新， 比如更新一个月前的数据，需要将 index.state.ttl 调大(单位 天)， 设置小于0代表永久保存。Merge On Read 默认开启了异步的compaction，策略是 5 个 commits 压缩一次， 当条件满足会触发压缩任务，另外，压缩本身因为耗费资源，所以不一定能跟上写入效率，可能有滞后。，我还以为是提示错误，后来想想也不至于，然后想到。

异步的 clustering 相对于 online 的 async clustering 资源隔离， 从未更加稳定。仍然保持开启，由写任务阶段性出发 clustering plan。为 false，关闭在线 clustering。推荐由写定时出发，写参数。

hudi

从 0.11 开始支持默认的flink 流式 写入使用 state 存储索引信息: primary key 到 fileID 的映射关系。当数据量比较大的时候， state的存储开销可能成为瓶颈， bucket 索引通过固定的 hash 策略， 将相同 key 的数据分配到同一个 fileGroup 中，避免了索引的存储和查询开销。

Hudi写入模式

Hudi全量接增量

Hudi离线批量写入

hudi常用参数

Hudi元数据同步到Hive

Hudi元数据持久化

Hudi集成hive

Flink 与 Hudi 类型映射

Flink CDC 实时将MySQL数据写入到Hudi

Flink 流式插入

Flink SQL操作Hudi表Flink Hudi集成

Flink 集成 Hudi

Spark SQL操作Hudi

pyspark 操作Hudi

Spark 集成 Hudi

Hudi读写流程

Hudi核心概念

数据湖 hudi 编译安装

数据湖 hudi