flmue 报错：Warning: No configuration directory set! Use --conf ＜dir＞ to override.

最新推荐文章于 2024-11-07 23:53:10 发布
最新推荐文章于 2024-11-07 23:53:10 发布
阅读量3.4k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41877582/article/details/109894423
版权
本文记录了在使用Apache Flume进行数据收集时遇到的问题，包括配置目录未设置、JAVA_HOME环境变量缺失等，并展示了如何通过指定配置文件来启动Flume agent。同时，文中还提到了log4j配置警告。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Warning: No configuration directory set! Use --conf

to override.
Warning: JAVA_HOME is not set!
Info: Including Hive libraries found via () for Hive access

  • exec /usr/bin/java -Xmx20m -Dflume.root.logger=INFO,LOGFILE -cp ‘/opt/module/flume/lib/:/lib/’ -Djava.library.path= org.apache.flume.node.Application --conf-file /opt/module/flume/conf/kafka-flume-hdfs.conf --name a1
    log4j:WARN No appenders could be found for logger (org.apache.flume.lifecycle.LifecycleSupervisor).
    log4j:WARN Please initialize the log4j system properly.
    log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
HBase 启停流程分析（上）
RovisuKi的博客
12-15 656
启动流程start-hbase.sh附 1附 2hbase-config.shhbase-daemons.shhbase-daemon.shhbase-common.shzookeepers.sh附 3master-backup.shregionservers.shbin/hbase 版本：hbase-2.2.4 说明：分析展现的源码和脚本中会省略一部分，只保留与分析相关联的，感兴趣的可自行查阅。 start-hbase.sh 启动 HBase 的入口，有两种模式：单机模式和集群模式，何种模式取决于用户的配
Redis配置文件redis.conf内容完整版
qq_38327769的博客
04-09 7645
为什么需要这个了？ 因为在使用docker安装redis的时候，我们需要进行文件和目录的挂载，这就包括redis.conf配置文件，因此我们可以在linux主机下的redis.conf里面填上内容，当然不填也可以正常启动运行redis容器，但是不利于我们对其的修改 redis.conf内容具体的解析可见：https://blog.csdn.net/qq_38327769/article/details/123984695 redis.conf内容如下： # Redis configuration fil.
解决启动flume时,出现问题警告和报错的问题 No configuration directory set
qq_44513460的博客
12-18 8546
解决flume在启动时,出现的警告和报错问题
脚本启动flume报错，no configuration dirctory set
weixin_45415743的博客
12-06 634
使用命令行直接启动flume没有问题，但是使用shell脚本启动flume会报错 ssh $i "nohup /opt/module/flume/bin/flume-ng agent --conf-file /opt/module/flume/jobs/taildir_kafka.conf --name a1 -Dflume.root.logger=INFO,LOGFILE > /opt/module/flume/log1.txt 2>&1 &" Caused by: jav
脚本启动flume 报错
qq_37114250的博客
09-24 3268
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
Flume1.9.0配置
最新发布
2402_85053390的博客
11-07 287
进入flume下的conf：cp flume-env.sh.template flume-env.sh（复制并改名）添加或修改：export JAVA_HOME=/home/user/Downloads/jdk。解压：tar -zxvf apache-flume-1.9.0-bin.tar.gz。改名：mv apache-flume-1.9.0-bin flume。进入flume下的bin目录：vi flume-ng。添加环境变量：vi /etc/profile。出现：error......报错。
Windows10安装apache-flume-1.9.0-bin
小强签名设计 的博客
12-23 6668
安装 1、flume1.9下载地址：http://mirror.bit.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz 2、然后找到1.9版本下载解压到指定路径（安装路径名称不能有空格）即可。 ...
Warning:+No+configuration+directory+set!+Use+--conf+<dir>+to+override. Info:+Including+Hadoop+librar
09-16
你可以使用`--conf`参数来覆盖默认的配置目录。另外，根据引用提供的环境变量配置，你需要修改`flume-env.sh.template`文件为`flume-env.sh`，并配置`flume-env.sh`文件，将`JAVA_HOME`设置为`/opt/module/jdk1.8.0_...
Warning: No configuration directory set! Use --conf <dir> to override. Info: Including Hadoop libraries found via (/usr/local/src/hadoop/bin/hadoop) for HDFS access Info: Excluding /usr/local/src/hadoop/share/hadoop/common/lib/slf4j-api-1.7.10.jar from classpath Info: Excluding /usr/local/src/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar from classpath Info: Including HBASE libraries found via (/usr/local/src/hbase/bin/hbase) for HBASE access Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty Info: Excluding /usr/local/src/hbase/lib/slf4j-api-1.7.7.jar from classpath Info: Excluding /usr/local/src/hbase/lib/slf4j-log4j12-1.7.5.jar from classpath
05-31
export HADOOP_CONF_DIR=`pwd` ``` 或者 ``` export HBASE_CONF_DIR=`pwd` ``` 3. 重新启动 Hadoop 或 HBase。 如果问题仍然存在，可以尝试检查相关配置文件是否正确，并查看日志文件以获取更多信息。
Warning: No configuration directory set! Use --conf <dir> to override. Info: Including Hadoop libraries found via (/opt/hadoop-3.1.2/bin/hadoop) for HDFS access Info: Including HBASE libraries found via (/opt/hbase-2.2.6/bin/hbase) for HBASE access 错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty Info: Including Hive libraries found via (/opt/hive-3.1.2) for Hive access + exec /opt/jdk1.8.0_351/bin/java -Xmx20m -cp '/opt/flume-1.9.0/lib/*:/opt/hadoop-3.1.2/etc/hadoop:/opt/hadoop-3.1.2/share/hadoop/common/lib/*:/opt/hadoop-3.1.2/share/hadoop/common/*:/opt/hadoop-3.1.2/share/hadoop/hdfs:/opt/hadoop-3.1.2/share/hadoop/hdfs/lib/*:/opt/hadoop-3.1.2/share/hadoop/hdfs/*:/opt/hadoop-3.1.2/share/hadoop/mapreduce/lib/*:/opt/hadoop-3.1.2/share/hadoop/mapreduce/*:/opt/hadoop-3.1.2/share/hadoop/yarn:/opt/hadoop-3.1.2/share/hadoop/yarn/lib/*:/opt/hadoop-3.1.2/share/hadoop/yarn/*:/opt/hbase-2.2.6/conf:/opt/jdk1.8.0_351//lib/tools.jar:/opt/hbase-2.2.6:/opt/hbase-2.2.6/lib/shaded-clients/hbase-shaded-client-byo-hadoop-2.2.6.jar:/opt/hbase-2.2.6/lib/client-facing-thirdparty/audience-annotations-0.5.0.jar:/opt/hbase-2.2.6/lib/client-facing-thirdparty/commons-logging-1.2.jar:/opt/hbase-2.2.6/lib/client-facing-thirdparty/findbugs-annotations-1.3.9-1.jar:/opt/hbase-2.2.6/lib/client-facing-thirdparty/htrace-core4-4.2.0-incubating.jar:/opt/hbase-2.2.6/lib/client-facing-thirdparty/log4j-1.2.17.jar:/opt/hbase-2.2.6/lib/client-facing-thirdparty/slf4j-api-1.7.25.jar:/opt/hadoop-3.1.2/etc/hadoop:/opt/hadoop-3.1.2/share/hadoop/common/lib/*:/opt/hadoop-3.1.2/share/hadoop/common/*:/opt/hadoop-3.1.2/share/hadoop/hdfs:/opt/hadoop-3.1.2/share/hadoop/hdfs/lib/*:/opt/hadoop-3.1.2/share/hadoop/hdfs/*:/opt/hadoop-3.1.2/share/hadoop/mapreduce/lib/*:/opt/hadoop-3.1.2/share/hadoop/mapreduce/*:/opt/hadoop-3.1.2/share/hadoop/yarn:/opt/hadoop-3.1.2/share/hadoop/yarn/lib/*:/opt/hadoop-3.1.2/share/hadoop/yarn/*:/opt/hadoop-3.1.2/etc/hadoop:/opt/hbase-2.2.6/conf:/opt/hive-3.1.2/lib/*' -Djava.library.path=:/opt/hadoop-3.1.2/lib/native org.apache.flume.node.Application --name a1 --conf/opt/flume-1.9.0/conf --conf-file/opt/flume-1.9.0/conf/dhfsspool.conf-Dflume.root.logger=DEBUG,consol SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/flume-1.9.0/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/opt/hadoop-3.1.2/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/opt/hive-3.1.2/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] 2023-06-08 17:26:46,403 ERROR node.Application: A fatal error occurred while running. Exception follows. org.apache.commons.cli.UnrecognizedOptionException: Unrecognized option: --conf/opt/flume-1.9.0/conf at org.apache.commons.cli.Parser.processOption(Parser.java:363) at org.apache.commons.cli.Parser.parse(Parser.java:199) at org.apache.commons.cli.Parser.parse(Parser.java:85) at org.apache.flume.node.Application.main(Application.java:287)
06-09
错误的具体信息是“Unrecognized option: --conf/opt/flume-1.9.0/conf”，说明程序无法识别选项“--conf/opt/flume-1.9.0/conf”。这个问题可能是由于程序在解析命令行参数时出现了错误导致的。
flmue实时增量抽取mysql数据到kafka和hdfs
qq_32461003的博客
12-11 1956
近期做实时的处理一部分数据，数据在mysql中，但实现方案为kafka+jstorm的方式处理，因此需要把mysql的数据先加载到kafka，同时需要把这份数据备份到hdfs中，因此就想到采用flume的方式，一个数据来源实现数据的多分分发；因此自己也花点时间把这个配置分享出来 flume简要描述：http://www.cnblogs.com/zhangyinhua/p/7803486.html...
apache flume启动报log4j错误
MiniCTO
12-14 4881
错误内容如下[root@esslog-shqs-4 conf]# flume-ng agent --conf conf --conf-file flume.conf --name a1 -Dflume.root.logger=INFO,console Info: Including Hive libraries found via () for Hive access + exec /service
【开发环境系列】关于 Visual Studio Code 环境配置过程中遇到常见的问题
Allen-Moore的博客
12-01 634
Visual Studio Code 环境配置过程中遇到常见的问题(FAQ)
Flume安装配置笔记
mInfoDavid的专栏
02-08 1813
1. 下载并解压 wget http://mirrors.cnnic.cn/apache/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz tar -xzvf apache-flume-1.7.0-bin.tar.gz mv setup/apache-flume-1.7.0-bin flume 2. 修改配置 cd flume/ cp flume-
redis-warning的解决办法：Warning: no config file specified, using the default config. In order to specify
CNdota_never_die的博客
08-12 5007
warning！ 根据它的警告其实是已经给我们提示了，它的意思是：因为我们没有指定配置文件，redis启用了自己默认的配置文件，但是有可能会对我们后面的一些命令造成影响。 解决这个警告的方法也很简单，我们手动给它制定一个配置文件就好了： ...
flume在windows10上运行
wateryouyo的博客
08-26 9426
1. 直接下载官网flume1.8，解压到本地F盘 2. 在conf目录下复制flume-env.ps1.template改为flume-env.ps1，改下FLUME_CLASSPATH    $FLUME_CLASSPATH="F:\kafka\apache-flume-1.8.0-bin\lib"   flume-env.sh操作同上 3.检查安装是否成功：  bin\flume-...
FLUME启动遇到的坑
m0_58149226的博客
03-11 5000
首先我的环境 hadoop版本: 3.1.x版本 flume版本: 1.9.0 安装启动配置source,channel,sink 启动flume 消费kafkaTopic中的数据,将数据上传到hdfs报错:如下 出现该问题有可能是三种情况: 一、环境变量未配置 在安装了flume的所有机器上，首先都需要配置hadoop环境变量 配置环境变量即可 二、flume安装目录中lib文件夹下的guava-11.0.2.jar的版本不兼容 hadoop3.0.x上hadoop/sha..
Flume采集配置案例二:采集文件到HDFS
weixin_38023225的博客
10-10 6602
1 案例需求 业务系统使用log4j生成日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到HDFS 2 需求分析 根据需求，首先定义以下3大要素 采集源，即Source--监控文件内容更新：exec "tail -F file" 下沉目标，即Sink--HDFS文件系统：hdfs sink Source与Sink之间的传递通道--Channel,可用FileChannel也...
安装flume-1.6.0后,测试所遇bug
Adnerly的专栏
10-21 6362
案例1：Avro Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 　　　　　　a)创建agent配置文件 vi /usr/local/flume-1.6.0/conf/avro.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1    # Describe/configure the s
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值