flume 启动错误记录

原创已于 2023-05-19 22:31:52 修改 · 765 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#apache #flume #linux #hadoop

于 2023-05-19 22:26:36 首次发布

SpoolDirectorySource.java:280

FATAL: Spool Directory source r1: { spoolDir: /tmp/logs }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.
java.lang.IllegalStateException: File name has been re-used with different files. Spooling assumptions violated for /tmp/logs/slave1.txt.COMPLETED

删除：/tmp/logs重建立(清除数据)

我是把数据存放目录和数据缓存目录、检查点目录全部删除重新建立

然后启动后再流入数据的

Caused by: java.net.ConnectException: 拒绝连接: /x.x.x.x:44444

我是因为配置文件：a1.sinks.k1.hostname=主机名（或者ip）(我且形容为主节点吧)

而且启动flume要按顺序来先master再启动slave

Application是flume进程号，停直接kill -9 （其他方法不晓得）

注意：启动flume前需要启动hadoop集群

最后附上让我似乎快要悟了的博文

flume入门案例_flume启动命令_王博1999的博客-优快云博客

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

泡椒鸡jo

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

flume系列之：记录一次flume agent进程被异常oom kill -9的原因定位

zhengzaifeidelushang的博客

09-08

565

具体来说，systemd-cgls memory命令将显示内存控制组的层次结构，以及每个控制组中正在运行的进程和服务。进一步定位/mde，定位到oom是因为配置Memory cgroup stats for /mde 的cgroup导致的，mde是微软的安全监控软件。至此，定位到了问题，当flume使用的内存超过4g，mde控制组就会把flume agent的进程以kill -9 方式杀死。该命令用于显示系统上所有正在运行的进程和服务的控制组（cgroup）层次结构，以及它们在内存控制组中的位置。

flume-ng启动报错: java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration

liuwei0376的专栏

07-10

2237

java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configurationflume-ng 启动后错误如下: flume配置 flume数据ETL配置文件: 原因分析启动flume的serve上没有安装hadoop, 没有配置hadoop的环境变量. 导致flume启动时无法查找到所需的hadoop依赖.export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5 export PATH=PATH:PATH

1 条评论您还未登录，请先登录后发表或查看评论

数仓采集中 flume日志中报错 Channel closed [channel=c1].

weixin_73641817的博客

12-04

1221

采集项目报错内容 Channel closed [channel=c1]

一次flume exec source采集日志到kafka因为单条日志数据非常大同步失败的踩坑带来的思考

HuaZi_Myth的博客

11-07

4826

本次遇到的问题描述，日志采集同步时，当单条日志（日志文件中一行日志）超过2M大小，数据无法采集同步到 kafka，分析后，共踩到如下几个坑。 1、flume采集时，通过shell+EXEC（tail -F xxx.log 的方式） source来获取日志时，当单条日志过大超过1M时，source端无法从日志中获取到Event。 2、日志超过1M后，flume的kafka sink 作为生产者发送给...

flume启动报错

weixin_43871309的博客

10-09

4877

一、启动flume报错Class path contains multiple SLF4J bindings. 启动flume的时候报错如下： Info: Including Hadoop libraries found via (/opt/module/hadoop-3.1.3/bin/hadoop) for HDFS access Info: Including Hive libraries found via (/opt/module/hive) for Hive access + exec /opt

Flume启动报错，说系统找不到指定文件

weixin_64542139的博客

03-27

2122

Flume 日志文件路径不正确：如果在 Flume 启动时指定了日志文件路径，但该路径不正确，你将会看到这个错误。请检查日志文件路径是否正确，并确保在启动 Flume 时指定了正确的日志文件路径。Flume 配置文件路径不正确：请检查你的 Flume 配置文件路径是否正确，并确保在启动 Flume 时指定了正确的配置文件路径。缺少必要的库文件：如果你的系统缺少必要的库文件，Flume 启动时也可能会报错。请检查你的系统是否安装了所有必要的库文件，并确保它们已正确配置。

Docker容器中运行flume及启动不输出运行日志问题

09-30

在Docker容器中运行Flume时，可能会遇到一个常见的问题，即Flume在启动后不会输出任何运行日志。这可能会导致调试和监控困难。本文将深入探讨这个问题的原因以及如何解决。首先，让我们理解Flume的基本配置。Flume...

记录flume运行时报NullPointerException异常

yuanlaishidahuaa的博客

04-15

1973

这个报错的原因是里面有JSONObject这个类找不到，解决办法有两个，要么把对应的这个类单独上传到flume的lib目录下，要么重新打包，把带dependencies的jar传到lib目录下。我要起一个将kafka上的topic_log主题中的数据上传到hdfs上的flume进程。这个报错的原因是这两个文件夹里的数据损坏了，删掉这两个文件里的内容。

记录一个写自定义Flume拦截器遇到的错误

yuanlaishidahuaa的博客

03-29

1187

标红的是包名，表黄的是类名，标蓝的是自己加的内部类名。这三个都要确保正确，打成jar包。成功，新开一个会话，用netcat localhost 44444检测后数据传输没问题。【结论2】将jar包上传到flume的lib目录下，flume才能检测到。【结论1】配置文件中包名要写正确。

Flume 参数解析大全（包含启动参数）

Aying_seeyou的博客

08-11

2792

flume参数： # example.conf：单节点Flume配置 # 命名此代理上的组件 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述/配置源 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # 描述接收器 a1.sinks.k1.type = logger # 使用缓冲内

通过查看flume运行日志检测错误原因

qq_43232869的博客

08-06

2032

flime日志文件位置$flume/logs/flume.log 查看日志： tail -f flume.log 运行结果：

flume启动时报错：Failed loading positionFile: /opt/module/flume/taildir_position.json

m0_56495147的博客

03-07

1932

Flume启动报错Failed loading positionFile: /opt/module/flume/taildir_position.json

解决启动flume时,出现问题警告和报错的问题 No configuration directory set

qq_44513460的博客

12-18

8673

解决flume在启动时,出现的警告和报错问题

Flume启动时报错Caused by: java.lang.InterruptedException: Timed out before HDFS call was made. Your hdfs....

weixin_34364135的博客

11-06

1592

　问题详情 2017-07-29 10:30:12,784 (agent-shutdown-hook) [INFO - org.apache.flume.instrumentation.MonitoredCounterGroup.stop(MonitoredCounterGroup.java:177)] Shutdown Metric for ty...

解决Flume启动报错

weixin_43867046的博客

09-27

678

解决Flume启动报错 java.lang.ClassNotFoundException: org.apache.zookeeper.KeeperException 原因：flume的lib目录缺少两个jar包解决方法：方法一：将两个jar包放到flume的lib目录下方法二：配置 FLUME_CLASSPATH=”zookeeper jar 的地址“.例如：FLUME_CLASSPATH="/opt/zookeeper/zookeeper-3.5.8.jar;zookeeper-jute-3.

启动flume出错原因

m0_75129356的博客

08-06

488

1.在配置采集数据到hdfs文件的配置时，复制总是自动少一行。#描述source #可以断点续传，传递目录 #采集目录内容。一致采集不了数据，于是就开始对之前配置过的各种问题进行排查。要关注，并且之前习惯一句代码后面加一句解释，然后就报错了。## 控制输出文件是原生文件。果然，小失误造成大问题。

Flume错误

fz1989的专栏

03-16

854

Flume运行遇到Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.OutOfMemoryError: GC overhead limit exceeded错误网上搜了下，是JVM Size太小，解决方法： 1. ps -aux|grep flume 查看刚才启动的flume进程，发

flume启动不起来hive

最新发布

04-24

### Flume启动失败与Hive相关问题的解决方案 #### 1. 配置文件路径不正确如果Flume无法找到必要的配置文件，可能会导致启动失败。确保`hdfs-site.xml`, `hive-conf.properties`, `hive-site.xml`, 和 `hive-env.sh` 文件被正确复制到Flume的配置目录下[^1]。例如： ```bash cp /path/to/hdfs-site.xml /usr/local/flume/conf/ cp /path/to/hive-conf.properties /usr/local/flume/conf/ cp /path/to/hive-site.xml /usr/local/flume/conf/ cp /path/to/hive-env.sh /usr/local/flume/conf/ ``` 这些文件对于Flume访问HDFS和Hive至关重要。 --- #### 2. HDFS目标路径权限不足当Flume尝试写入数据到HDFS上的指定路径时，可能由于权限不足而失败。可以通过修改目标路径的权限来解决问题[^2]。例如： ```bash hdfs dfs -chmod 777 /apps/hive/warehouse/hqc.db/k401_online ``` 或者仅赋予Flume用户对该路径的适当权限。 --- #### 3. 启动命令中的参数错误在启动Flume时，需确保使用的参数无误。以下是标准的启动命令示例[^3]： ```bash ./bin/flume-ng agent \ --conf conf \ --conf-file ./conf/flume-hive-3.conf \ --name a1 \ -Dflume.root.logger=INFO,console ``` 注意： - 参数`--conf`应指向Flume的配置目录。 - 参数`--conf-file`应指向具体的Flume配置文件。 - `-Dflume.root.logger`用于设置日志级别。如果有自定义环境变量或脚本，则可以参考以下方式[^4]： ```bash FLUME_HOME=/usr/local/flume nohup flume-ng agent \ --conf ${FLUME_HOME}/conf \ --conf-file ${FLUME_HOME}/conf/flume-hive.properties \ --name video_hive \ -Dflume.root.logger=INFO,LOGFILE & ``` --- #### 4. Hive Metastore连接异常 Flume通过Hive Sink向Hive表中插入数据时，依赖于Hive Metastore服务。如果Metastore不可用或配置有误，可能导致Flume启动失败。验证Hive Metastore的状态并确认其正常运行。此外，在`hive-site.xml`中检查以下属性是否正确配置： ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://metastore_host:port/metastore_db?createDatabaseIfNotExist=true</value> </property> <property> <name>hive.metastore.uris</name> <value>thrift://metastore_host:9083</value> </property> ``` --- #### 5. 日志分析方法 Flume的日志可以帮助定位具体问题。通常情况下，日志会记录详细的错误信息。查看日志文件的位置通常是`${FLUME_HOME}/logs/`下的`flume.log`文件。常见的错误类型包括但不限于： - **JDBC连接失败**：可能是数据库驱动未加载或连接字符串错误。 - **HDFS写入失败**：可能是目标路径不存在或权限不足。 - **序列化/反序列化错误**：可能是事件格式不符合预期。针对不同类型的错误，采取相应的措施进行修复。 --- #### 6. 替代方案如果经过多次调整仍无法解决Flume与Hive集成的问题，可考虑将数据直接写入HDFS后再由其他工具（如Sqoop或Spark SQL）导入Hive[^4]。这种方式能够减少复杂度并提高稳定性。 ---