flume收集日志无法在HDFS上存储

最新推荐文章于 2022-10-30 10:17:49 发布
最新推荐文章于 2022-10-30 10:17:49 发布
阅读量849 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据 java
原文链接：http://www.cnblogs.com/yaoyu19960106/p/10668446.html
本文分享了在使用Flume将Hive日志信息抽取到HDFS时遇到的问题及解决方法。由于配置文件hdfs-site.xml中指定的HDFS RPC端口与案例中的不一致，导致无法通过浏览器访问相应文件夹。文章详细介绍了如何将端口从8020调整为9000的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

按照案例实际操作了一次Flume抽取hive日志信息到HDFS上，

但是发现浏览器找不到文件夹

后来找到原因

案例的日志存储位置的端口号是8020

8020和9000都是HDFS的rpc端口，但在hdfs-site.xml配置中我配置的是9000

所以把8020改成9000就可以了

转载于:https://www.cnblogs.com/yaoyu19960106/p/10668446.html

Flume【使用篇】03：采集网站日志上传至HDFS
weixin_40612128的博客
03-04 1645
采集网站日志上传至HDFS
利用flume监控文件并上传到hdfs上面出现的问题
小旭IT-分享技术
10-28 2410
项目场景：利用flume监控文件并上传到hdfs上面出现的问题 问题描述： 在： @Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget(); } 原因分析： 提示：这里填写问题的分析： 例如：Handler 发送消息
flume采集hive日志写到hdfs问题
qq_44141629的博客
11-23 2053
解决flume采集hive日志写到hdfs问题 在配置flume写日志到hdfs发现写不进去，很苦恼，查了很多资料，终于找到了原因！ 原来 用Flume监听目录，在自己建的.conf文件中需要配置hdfs的路径 hdfs://node1.itcast.cn:8020/flume/%Y%m%d/%H 这里的端口号应该和hadoop下的core-site.xml里面的配置必须一样，否则就会出现写不进去的情况 更改之后，再重试，就成功了。 ...
Flume踩坑--Flume读取本地文件到HDFS
CN_DOTA_wing的博客
04-10 1465
操作内容：Flume读取Hive日志文件hive.log到HDFS flume .conf文件如下 #1.自定义agent的名字source,channel,sink组件 a2.sources = r2 a2.sinks = k2 a2.channels = c2 #2.设置source的类型和配置 a2.sources.r2.type = exec a2.sources.r2.command = tail -F /opt/module/hive/logs/hive.log a2.sources.r
生产环境flume日志采集方案
wangwei_5201314的博客
04-16 9348
Flume简介Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据； 同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。 名词介绍： Flume OG：Flume original generation,即Flume0.9x版本 Flume NG：Flume next gen...
做数仓项目所遇到的一些问题
hhfhhf12345678的博客
05-13 1270
前言 在项目实际运行中，并不一定会像视频一样运行那么顺利，总会遇到一些大大小小的问题，而这些问题可能才是工作中最大可能遇到的，这里对部分问题进行一些总结。 一、flume采集数据不到hdfs上 flume to kafka配置文件，粗心把a1.sources.r1.filegroups.f1的filegroups漏掉了，第一个拦截器api的parse写成parsearray 二、hive用spark引擎的时候运行insert sql的时候报错连接不上spark客户端 代码如下（示例）： 总结 提示：这里
HDFS上无法出现目录，怎么办？
bbrry的博客
04-14 4054
hdfs配置文件已配好，但启动后hdfs平台上无法出现目录，怎么办？
Flume采集日志数据到HDFS实战教程.doc
最新发布
08-09
Flume采集日志数据到HDFS的实战教程详细介绍了Flume工具在日志数据收集、传输和存储方面的应用。Flume是一款开源的分布式、可靠且可用的系统，用于高效地收集、聚合和移动大量日志数据。其主要的组件包括Source、...
数仓采集项目【05使用flume将日志文件收集到HDFS】
weixin_43923463的博客
06-11 1431
logger server – flume读数据 – kafka – flume – hdfs第一层flume：taildir source – memory channel（或者file channel） – kafka sink 【传统架构】【√】​ taildir source – kafka channel 【使用kafka channel】第二层flume：kafka source – memory channel（或者file channel） – hdfs sink 【传统架构】【√】
利用Flume采集日志数据到HDFS
paul250670的博客
09-25 3327
123
flume采集日志文件到hdfs
jjkang的博客
04-10 3238
flume采集日志文件到hdfs配置文件启动命令运行结果 flume可以从正在输出的日志文件中采集数据存到hdfs中 配置文件 agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1 # Describe/configure tail -F source1 agent1.sources.source1....
Flume 传递数据到HDFS上
我是小坏
09-06 1959
使用瑞士军刀(netcat 作为输入源) ,hdfs 作为flume 的输出源（sink） flume 配置文件内容如下: a1.sources = r1 a1.channels = c1 a1.sinks = k1 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 8888 a...
消费flume的数据无法上传到HDFS
weixin_43955488的博客
10-30 1799
消费flume的数据无法上传到HDFS
在hadoop3.1.3使用Flume上传日志文件至hdfs时出错解决方法
hunter95671的博客
08-03 1184
问题一： 在hadoop3.1.3上使用Flume上传日志文件至hdfs时有可能会出现错误如下图： 该错误的原因是flume中的guava-11.0.2.jar版本较低。 解决方法是：删除flume中的对应的低版本guava-11.0.2.jar 再将hadoop3.1.3中对应的高版本拷贝到flume中，高版本guava在hadoop3.1.3/share/hadoop/common/lib下的guava-27.0-jre.jar。 问题二： 开启flume后，无法在hdfs创建文件夹并上传日志。 这种
flume 无法写数据到 hdfs
weixin_46376562的博客
07-28 3438
问题呈现： flume启动后一直停在sink已经启动。。。 控制台看不到报错信息。。。 hdfs上查看不到数据。。。 解决方法： 检测是否为kafka问题，因为消费的是Kafka中的数据。 1） 使用 kafka-consumer-groups.sh 检测消费情况 2） 不断生成新的数据，发现数据会被 flume 消费（ 但没有写入 hdfs ） 检测是否为 flume 问题 新建一个简单的 flume 配置文件，让采集本地数据到 hdfs ，这么一来，终于发现问题了（有报错信息了） 2021-07-27
通过Flume 将本地数据上传到Hdfs文件上
weixin_30635053的博客
10-31 855
下载apache flume ：apache-flume-1.7.0-bin.tar.gz 配置环境变量： 1、vi flume-env.sh export JAVA_HOME=/usr/java/default export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.10.0 2、flume-conf.properties # Name the com...
使用flume将数据导入到hdfs中
Gscsd的博客
04-26 7970
      在前面的博客上我说了flume就是三个最重要的地方，分别是分别是source、channel、sink，source是获取数据，channel是通道，传输数据的，sink是把数据给谁的，这里显而易见的是把数据给hdfs的，所以我们只需要在前面的基础上改sink就可以了在之前的基础上修改a.conf文件中的sink修改完后启动hadoop                查看进程是否开启，...
解决flume采集文件写不到hdfs里面问题
晓风岚月
03-03 8975
困惑了我一晚上的问题，终于解决了！！！ Flume监听整个目录 在我新建的.conf文件里面，需要配置hdfs的路径 hdfs://192.168.122.20:8020/flume/upload/%Y%m%d/%H 注意：此处端口号应该和hadoop下的core-site.xml里面的配置一样，否则写入不到Hdfs，这里最为致命 然后，开启flume先听端口 问题解决 ...
flume采集日志文件的问题
wengad的博客
05-18 2062
使用flume1.9.0采集滚动日志，配置： ag1.sources = s1 ag1.channels = c1 ag1.sinks = k1 ag1.sources.s1.type=execag1.sources.s1.command=tail -F "/home/flume/logtest/logtest-20190518.log" ag1.channels.c1.type=memo...
Java大数据实战：Flume收集Nginx日志到HDFS
案例的核心是将Nginx的access log日志收集并存储到Hadoop分布式文件系统（HDFS）中。通过使用Apache Flume，可以高效地从指定目录批量同步日志文件到HDFS。" 在这个案例中，首先面临的问题是如何将Nginx的日志数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值