- 博客(6)
- 收藏
- 关注
原创 org.apache.hudi.exception.HoodieException: (Part -) field not found in record. Acceptable fields
hudi的MOR表未设置预合并字段且设置了hoodie.combine.before.insert true。表里面有三个字段test1, test2, dt。其中dt是分区字段。解决方案是直接去掉这个参数设置,就运行成功了。执行下面insert sql语句。
2025-07-17 14:33:46
181
原创 (Driver) java.io.EOFException: End of File Exception between local host is “... 报错解决
2025-06-18 15:23:07,478 [INFO] (Driver) java.io.EOFException: End of File Exception between local host is "主机名(域名)/IP 地址";出现这个报错是我是用spark读取集群A的数据,然后把数据写到集群B的hdfs上(读hive表数据,跨集群生成hfile,然后再把数据bulkload到hbase中),在这个过程中报错。但是我的问题不一样,排查完后我的问题是集群之间没有做互信导致报错。
2025-06-19 21:11:51
233
原创 跳出BroadcastNestedLoopJoin和禁不掉的广播
使用方法2,至少让我知道这个BroadcastNestedLoopJoin只能修改sql语句,比如把里面关联的一些逻辑抽取成临时视图。参考以上链接解决了我一直在排查的问题,为什么禁了广播join,作业执行还是走广播join,最后超时报错。
2025-03-19 17:33:05
617
原创 MacOS MySQL 多实例安装配置与密码重置全流程(基于 tar.gz 包)
MacOS MySQL 多实例安装配置与密码重置全流程(基于 tar.gz 包)
2025-03-15 23:34:02
752
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅