离线数仓项目中104上的flume同步增量表inc到hdfs上面时出错，db文件夹里面出现_inc‘毒瘤’文件的解决办法

最新推荐文章于 2024-09-21 10:40:45 发布

原创最新推荐文章于 2024-09-21 10:40:45 发布 · 680 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flume #hdfs #数据库

在构建离线数仓过程中遇到一个特定问题，即在同步用户日志和业务数据全量表到HDFS时一切正常，但在处理增量表时，文件不断生成_INC异常。该问题可能源于104节点上的Flume服务，特别是FLUME配置文件中可能存在的jar包不兼容。博主推测_flume的lib目录下某个jar包引起此问题，并提出将使用Maxwell生成数据到Kafka，然后通过104上的Flume从Kafka收集数据到HDFS。同时，Flume配置文件截图已附上，其中包含F3拦截器的jar包。解决方案仍在调查中，初步计划检查并替换可能冲突的jar包。

做离线数仓时，用户日志和业务数据全量表同步正常，但是在同步增量表文件到hdfs文件时出现异常，一直出现_inc异常文件，且104上面的flume服务不关时会不停产生数据而导致_inc文件夹里面出现大量不合规范文件。
这个问题主要是104上面的flume问题，我采用的是maxwell产生数据到kafka，再由104上面的flume从kafka中采集数据到hdfs上面。（我的104的flume上面h还配有拦截器）出现_inc可能是flume中的lib文件夹的jar包不兼容错误，先发个文章占坑，后续我会再想想是哪个jar包不兼容。大家可以先参靠我的资源里面的离线数仓文件jar包。其中包括f3拦截器jar包。
之前遇到时简单做的笔记描述
我的flume文件

在这里插入图片描述

![在这里插入图片描述](https://img-blog.csdnimg.cn/6e5ba6701d724e259c5ef2ae8b22ea82.png#pic_center)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

艾伦

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

数仓(七)：全量、增量、缓慢变化维、拉链表

11-13

5858

一、解决增量导入由于数据修改导致数据重复问题方案一：全量更新目标表只保留最新的一份，比如我们每天用sqoop抽取最新的一份全量数据到hive 全量表全量表没有分区，表中的数据是前一天的所有数据，比如说今天是24号，那么全量表里面拥有的数据是23号的所有数据，每次往全量表里面写数据都会覆盖之前的数据，所以全量表不能记录历史的数据情况，只有截止到当前最新的、全量的数据。方式：每天drop掉前一天的数据，重新抽一份最新的。优点：节省空间，一些普通的使用也很方便，不用在选择表的时候加一个时间分

利用Maxwell，kafka，flume对数据库进行增量数据时候同步到hdfs上

m0_66913780的博客

05-05

554

启动：bin/flume-ng agent -n a1 -c conf/ -f job/kafka_to_hdfs_db.conf -Dflume.root.logger=info,console 这样就能从topic_db主题获取增加的数据了。1,首先改一下maxwell的配置文件(config.properties) 把从mysql读到增量的数据写到kafka的topic_db的主题上。4.数据脚本：启动（java -jar gmall2020-mock-db-2021-11-14.jar）

1 条评论您还未登录，请先登录后发表或查看评论

1 条评论

优快云-Ada助手 2022.08.03
推荐 MySQL入门技能树：https://edu.youkuaiyun.com/skill/mysql?utm_source=AI_act_mysql

一次flume exec source采集日志到kafka因为单条日志数据非常大同步失败的踩坑带来的思考

HuaZi_Myth的博客

11-07

4824

本次遇到的问题描述，日志采集同步时，当单条日志（日志文件中一行日志）超过2M大小，数据无法采集同步到 kafka，分析后，共踩到如下几个坑。 1、flume采集时，通过shell+EXEC（tail -F xxx.log 的方式） source来获取日志时，当单条日志过大超过1M时，source端无法从日志中获取到Event。 2、日志超过1M后，flume的kafka sink 作为生产者发送给...

记sqoop将mysql数据增量导入hdfs的致命问题

LZX的博客

10-13

480

sqoop增量导入数据分为两种方式：基于递增列的增量数据导入（Append方式）。基于时间列的数据增量导入（LastModified方式）。一、 Append方式 # append方式 --incremental append \ # 自增id列 --check-column id \ # id大于此值 --last-value 0 由于我导的某张表没有自增id，所以我不得不采用LastModified方式使用非自增id会报错 sqoop ERROR

hbase数据批量入库后，hdfs无法观察到hbase的表目录下数据量增大

那又怎样？的博客

09-25

375

第一种解决办法：flush “表名” eg： flush "ipsource201807" 第二种解决办法：major_compact “表名”（一般无效） eg： major_compact "ipsource201807"

Flume实现Kafka数据持久化存储到HDFS

微光点亮星辰

05-30

3756

本文关键字：Flume、Kafka、HDFS、实时数据、存储。对于一些实时产生的数据，除了做实时计算以外，一般还需要归档保存，用于离线数据分析。使用Flume的配置可以实现对数据的处理，并按一定的时间频率存储，本例中将从Kafka中按天存储数据到HDFS的不同文件夹。

精选资源

车险离线数仓项目.txt

09-07

### 车险离线数仓项目概述在大数据领域，构建有效的数据仓库（Data Warehouse，简称DW或DWH）是实现数据驱动决策的关键步骤之一。车险离线数仓项目是一个典型的数据仓库构建案例，它主要应用于汽车保险行业的数据...

大数据项目之电商数仓、实时数仓同步数据、离线数仓同步数据、用户行为数据同步、日志消费Flume配置实操、日志消费Flume测试、日志消费Flume启停脚本

Redamancy06的博客

11-23

2160

按照规划，该Flume需将Kafka中topic_log的数据发往HDFS。并且对每天产生的用户行为日志进行区分，将不同天的数据发往HDFS不同天的路径。此处选择KafkaSource、FileChannel、HDFSSink。

二百二十九、离线数仓——离线数仓Hive从Kafka、MySQL到ClickHouse的完整开发流程

tiantang2renjian的博客

04-02

1917

离线数仓Hive从Kafka、MySQL到ClickHouse的完整开发流程

离线数仓项目实战！其一环境配置

最新发布

出发行进

09-21

2863

数仓项目实战的环境配置，可做为毕设。

数仓采集项目【05使用flume将日志文件收集到HDFS】

weixin_43923463的博客

06-11

1484

logger server – flume读数据 – kafka – flume – hdfs第一层flume：taildir source – memory channel（或者file channel） – kafka sink 【传统架构】【√】 taildir source – kafka channel 【使用kafka channel】第二层flume：kafka source – memory channel（或者file channel） – hdfs sink 【传统架构】【√】

hadoop无法上传hdfs方法解决

qq_56572867的博客

04-18

7237

首先，我遇到的是两种情况第一种是namenode没有开启，秒挂的情况，这个会出现这种提示 put: File /hdfsdata/NOTICE.txt._COPYING_ could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation. 注意就是下面提醒了datanode是0，通过jps查看，

Hadoop实战：使用Maxwell把MySQL数据实时同步到HDFS

mojolang

05-03

1494

Maxwell介绍 Maxwell是一个守护程序，一个应用程序，能够读取MySQL Binlogs然后解析输出为json。支持数据输出到Kafka中，支持表和库过滤。 → Reference：http://maxwells-daemon.io → Download:https://github.com/zendesk/maxwell/releases/download/v1.10.3/ma...

尚硅谷离线数仓6.0错误修改记录

weixin_46512937的博客

04-15

330

尚硅谷离线数仓6.0问题问题解决

在hadoop3.1.3使用Flume上传日志文件至hdfs时出错解决方法

hunter95671的博客

08-03

1222

问题一：在hadoop3.1.3上使用Flume上传日志文件至hdfs时有可能会出现错误如下图：该错误的原因是flume中的guava-11.0.2.jar版本较低。解决方法是：删除flume中的对应的低版本guava-11.0.2.jar 再将hadoop3.1.3中对应的高版本拷贝到flume中，高版本guava在hadoop3.1.3/share/hadoop/common/lib下的guava-27.0-jre.jar。问题二：开启flume后，无法在hdfs创建文件夹并上传日志。这种

【尚硅谷】电商数仓 Flume写入hdfs报错

微信号：RunsenLiu

10-04

1660

hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。使用Flume消费kafka中数据，sink到hdfs中出现数据压缩格式支持错误；上传 hadoop-lzo-0.4.20.jar 到。,也可以将这个jar拷贝到自己flume的lib目录下。core-site.xml增加配置支持LZO压缩。

HDFS详解

qq_43667449的博客

03-03

1075

帮助读者理解HDFS

DolphinScheduler技术分析（九）

Choozz1的博客

12-05

620

2021SC@SDUSC

flume采集日志使用KafkaChannel传hdfs没反应解决方案

提桶跑路20年的博客

07-18

1968

学习到电商数仓的日志采集时，flume定义了filesource-KafkaChannel-无sink来生产日志放在kafka中，消费日志使用kafkaSource-fileChannel-hdfsSink来将日志放到hdfs中，好让日后进行相关计算业务。问题：KafkaChannle读取了log文件，但是hdfsSink没有产生文件？方法： ①查看生产者flume日志，和消费者flume日志，看有没有相关ERROR 启动生产者和消费者的命令应该加上写到文件中，不然无法看出错误 “nohup /home

请编写代码让flume将linux文件夹中json文件上传到HDFS上不改变格式

09-07

要实现Flume将Linux文件夹中的JSON文件上传到HDFS上而不改变文件格式，你需要配置Flume的Agent来监控源目录，并将数据流式传输到HDFS sink。以下是一个简单的配置示例：首先，确保你的系统中已经安装了Flume和Hadoop，并且HDFS处于运行状态。然后，创建一个Flume配置文件`flume-conf.properties`，配置内容大致如下： ``` # 定义agent的名字 agent1.name = Agent1 agent1.sources = Source1 agent1.sinks = Sink1 agent1.channels = Channel1 # 配置source：监控本地文件系统中的文件夹 agent1.sources.Source1.type = exec agent1.sources.Source1.command = tail -F /path/to/json/directory/*.json agent1.sources.Source1.channels = Channel1 # 配置sink：将数据写入HDFS agent1.sinks.Sink1.type = hdfs agent1.sinks.Sink1.hdfs.path = hdfs://namenode/path/to/hdfs/directory agent1.sinks.Sink1.hdfs.fileType = DataStream agent1.sinks.Sink1.hdfs.writeFormat = Text # 配置channel：用于source和sink之间的通信 agent1.channels.Channel1.type = memory agent1.channels.Channel1.capacity = 1000 agent1.channels.Channel1.transactionCapacity = 100 # 将source和sink与channel连接起来 agent1.sources.Source1.channels = Channel1 agent1.sinks.Sink1.channel = Channel1 ``` 在这个配置中，我们定义了一个名为`Agent1`的agent，它包含一个名为`Source1`的source，一个名为`Sink1`的sink和一个名为`Channel1`的channel。Source监控指定的文件夹，并将新创建的`.json`文件传输到channel。Sink则从channel读取数据，并将其以文本格式写入到指定的HDFS路径。将上面的配置保存为`flume-conf.properties`文件，并确保修改`/path/to/json/directory`和`hdfs://namenode/path/to/hdfs/directory`为实际的源文件夹路径和HDFS目标路径。之后，启动Flume agent： ```shell flume-ng agent --conf /path/to/flume/conf --conf-file /path/to/flume-conf.properties --name Agent1 -Dflume.root.logger=INFO,console ``` 确保替换`/path/to/flume/conf`和`/path/to/flume-conf.properties`为你的实际Flume配置目录和配置文件路径。请注意，上述配置是一个基本示例，实际情况可能需要根据你的具体需求和环境进行调整。