二十二：Flume+kafka+spark日志采集故障分析

最新推荐文章于 2024-09-25 08:38:14 发布

原创

最新推荐文章于 2024-09-25 08:38:14 发布 · 856 阅读

0 ·

CC 4.0 BY-SA版权

本文记录了一次在使用Flume+kafka+spark进行日志采集时遇到的问题及解决过程。问题表现为Flume启动正常，但采集的日志未在kafka消费端显示。经过分析，发现是由于日期格式错误导致的问题，修正后系统恢复正常。通过kafka-console-consumer命令检查，确认已有日志输出。

一：问题现象：

 对Flume的soure进行了开发：增加了两列：最终要实现的效果如下：可是一切就绪，在本地断就是没有数据输出

在这里插入图片描述
计划Flume+kafka+spark进行消费，在本地测试么有数据过来，然后打开kafka消费端查看，kafka正常，从生产端是可以写入数据的，但是在flume采集文件后消费端没有数据，flume启动也是正常的：

flume 启动成功
[root@hadoop002 bin]# nohup flume-ng agent -c conf -f /opt/software/flume/conf/exec_memory_kafka.properties -n a2 -Dflume.root.logger=INFO,console &
[2] 13379
[root@hadoop002 bin]# nohup: ignoring input and appending output to ‘nohup.out’
^C
[root@hadoop002 bin]# tail -f nohup.out
send.buffer.bytes = 131072
partitioner.class = class org.apache.kafka.clients.producer.internals.DefaultPartitioner
reconnect.backoff.ms = 50
metri