- 博客(7)
- 收藏
- 关注
RSS订阅原创 spark读hive偶尔出现table not found
查看spark环境连的是哪个uri，多次测试后发现，连接到ip1:9083和ip3:9083时，会出现table not found。连接到ip2:9083时无问题。临时使用ip2:9083，同步排查thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083不同步的原因。在spark环境调试业务过程中，出现table not found问题，重跑之后改问题又消失，后面发现有一定概率出现该问题。问题随机发生的原因，猜测可能是不同元数据实例之间数据不同步问题。
2025-12-16 18:33:46
186
原创 spark 写 s3a:// 报 no such file or directory问题
为了让客户端（Spark/Hadoop/CLI）看起来像有目录，就会创建Directory Marker空对象，用来辅助实现一致的目录行为。Spark 任务输出目录_temporary目录未删除问题排查。
2025-12-05 15:32:11
162
原创 远程提交spark任务至k8s集群
spark-3-bin-hadoop二进制包下，没有assembly这个路径，为什么会找assembly/target/scala-2.12/jars还需要再分析下。,而镜像中的sparkhome是/usr/local/，修改env后问题解决。发现同事在客户端配置的sparkhome 是。遇到一个报错一个报错。
2025-11-28 16:55:17
296
原创 hdfs-kerberos客户端访问远程hadoop
Hadoop 3.3环境下，使用HDFS客户端同时访问带Kerberos认证和不带认证的集群
2025-11-21 12:17:01
346
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人