使用FLINK 处理数据时(数据源为kafka,存储为hudi 表)运行一段时间后(10天以上),出现异常,具体没有找到ROOT cause,可能是目标文件没有定时压缩或是写和压缩的动作冲突导致。。
异常提示信息:Caused by: org.apache.hudi.org.apache.avro.InvalidAvroMagicException: Not an Avro data file
異常處理方式如下:
将對應表.hoodie文件夾下:
後綴.requested,.inflight,0B的文件清除
一般情況下會自動恢復,LK的異常是因為壓縮+歸檔都失敗導致長時間內沒有恢復!