离线数仓项目中104上的flume同步增量表inc到hdfs上面时出错，db文件夹里面出现_inc‘毒瘤’文件的解决办法

关注

原创最新推荐文章于 2026-11-08 16:01:54 发布 720 阅读 AI 写同款· GEO 优化 ›

一次flume exec source采集日志到kafka因为单条日志数据非常大同步失败的踩坑带来的思考本次遇到的问题描述，日志采集同步时，当单条日志（日志文件中一行日志）超过2M大小，数据无法采集同步到 kafka，分析后，共踩到如下几个坑。 1、flume采集时，通过shell+EXEC（tail -F xxx.log 的方式） source来获取日志时，当单条日志过大超过1M时，source端无法从日志中获取到Event。 2、日志超过1M后，flume的kafka sink 作为生产者发送给... 阅读详情

做离线数仓时，用户日志和业务数据全量表同步正常，但是在同步增量表文件到hdfs文件时出现异常，一直出现_inc异常文件，且104上面的flume服务不关时会不停产生数据而导致_inc文件夹里面出现大量不合规范文件。
这个问题主要是104上面的flume问题，我采用的是maxwell产生数据到kafka，再由104上面的flume从kafka中采集数据到hdfs上面。（我的104的flume上面h还配有拦截器）出现_inc可能是flume中的lib文件夹的jar包不兼容错误，先发个文章占坑，后续我会再想想是哪个jar包不兼容。大家可以先参靠我的资源里面的离线数仓文件jar包。其中包括f3拦截器jar包。
之前遇到时简单做的笔记描述
我的flume文件

在这里插入图片描述

![在这里插入图片描述](https://img-blog.csdnimg.cn/6e5ba6701d724e259c5ef2ae8b22ea82.png#pic_center)

标签

#flume #hdfs #数据库

数仓(七)：全量、增量、缓慢变化维、拉链表一、解决增量导入由于数据修改导致数据重复问题方案一：全量更新目标表只保留最新的一份，比如我们每天用sqoop抽取最新的一份全量数据到hive 全量表全量表没有分区，表中的数据是前一天的所有数据，比如说今天是24号，那么全量表里面拥有的数据是23号的所有数据，每次往全量表里面写数据都会覆盖之前的数据，所以全量表不能记录历史的数据情况，只有截止到当前最新的、全量的数据。方式：每天drop掉前一天的数据，重新抽一份最新的。优点：节省空间，一些普通的使用也很方便，不用在选择表的时候加一个时间分阅读详情

离线数仓项目中104上的flume同步增量表inc到hdfs上面时出错，db文件夹里面出现_inc‘毒瘤’文件的解决办法

相关推荐