Iceberg学习日记(1) 定位两个线上Iceberg查不到文件的问题
前言Iceberg是我们去年年底(2020)开始调研,目前上线了130多张表。主要用于流量日志清洗,数据报表,推荐特征基础数据。至今为也算是积累了一些使用及定位问题经验。 这篇文章会介绍两个线上Iceberg表查不到数据/快照文件的问题,希望对大家有帮助。一.Rewrite操作有可能会误删数据文件现象: 如图: 线上一张Iceberg表的合并任务运行一段时间后开始报错找不到数据文件。当时找到运维查看删文件的用户和机器,定位出来是合并文件程序所在的机器。最后在合并任务日志中发现了这个异.
原创
2022-04-25 15:44:13 ·
3345 阅读 ·
0 评论