如何解决使用Flume采集Hive日志时，HDFS不显示相关文件

itsloop

于 2024-05-11 16:00:09 发布

阅读量756

点赞数 3

文章标签： flume hive hdfs

本文链接：https://blog.youkuaiyun.com/qq_73624158/article/details/138685905

版权

在配置Flume采集Hive日志数据时，我们会遇到这种问题，明明在Linux命令行上成功运行Flume指令，但是当我们查看HDFS文件系统时却发现并没有相关的文件被创建和写入。

其实造成这种现象的原因主要是以下两点：

1、没有为hive指明日志存储路径或在hive-flume-hdfs.conf中没有设置正确的日志索引

2、执行的flume语句不规范

以下就是对该问题的解决

1.hive日志文件存放位置不当

首先打开文件夹

cd /usr/local/hive/conf

通常hive的日志配置文件存放在log4j.properties或hive- log4j.properties中

查看该文件vim lo

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

itsloop

关注关注

3
点赞
踩
10

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

flume采集文件写hdfs不能创建目录的问题

qq_39954916的博客

10-30

1916

用exec source运行flume-ng agent后hdfs上不能创建指定的文件目录，可能的三种情况如下一、配置文件中的监听端口和hadoop下的core-site.xml中的端口不一致在我新建的.conf文件里面，需要配置hdfs的路径 hdfs://192.168.122.102:9000/flume/upload/%Y%m%d/%H 注意：此处端口号应该和hadoop下的core-site.xml里面的配置一样，否则写入不到Hdfs，这里最为致命然后，开启flume监听端口。

Flume监听文件并上传到hdfs

元气满满的小白

03-11

1868

目标监听hive日志，并上传到hdfs中/flume/[YYMMDDHH]/目录下，文件前缀为logs-，每一个小时新建重新创建一个文件夹，每接收10M数据落地一次，当数据不足10M时15分钟落地一次导入相关依赖jar包导入以下jar包到flume路径下的lib里，{}里为相应版本，在hadoop路径下share/hadoop下都能找到，我就添加了一个剩下的在flume/lib下都已经...

1 条评论您还未登录，请先登录后发表或查看评论

Flume输出（sink）至hdfs没有生成文件夹

累迹的博客

04-28

2365

问题描述 Flume运行时，没有链接上hdfs，也没有报出异常。问题解决查看官方文档显示 hdfs.path – HDFS directory path (eg hdfs://namenode/flume/webdata/) 在配置conf文件时，需要指定namenode的端口，去hadoop文件下查看core-site.xml文件，这个端口号是配置hadoop时设置的。 vim etc/hadoop/core-site.xml # 这里我配置的端口号是8020 <property>

hive读取与flume写入hdfs文件冲突

gongchengshiv的博客

11-23

1193

前提：用flume采集数据，sink配置hdfs输出，然后用hive时时查询计算，定期转存数据到历史表。 1、问题一：hive查询时与flume滚动文件冲突 hive查询时包含flume的历史文件（后缀tmp文件），当flume把临时文件滚动成正式文件时，会删掉临时文件，生成正式文件，此时hive查询处理时会报错：file not fond 解决思路：由于hive查询时不会查询以.和_开头的

flume监听文件或目录上传到hdfs时，无法读取到数据，解决办法

EbenezerZhao的博客

07-29

2952

当我们用flume去监听一个文件或目录时，需要设置一些信息。详情请参考flume官方文档，但是，有的时候设置完成后，执行，有可能会读取不到数据这时候我们就要看一下我们的设置。 a2.channels.c2.transactionCapacity = 100 a2.sinks.k2.hdfs.batchSize = 1000 需要看一下这两个设置，我们这两个设置一定要是相同的情况下才可以。自己重新设置一下就可以了。 ...

解决flume采集日志使用KafkaChannel写不到hdfs的问题

JiaXingNashishua的博客

08-02

2284

重点，我就是这里出错了）然后将这个jar包放到hadoop104的/opt/module/flume/lib文件夹下面，然后分发给hadoop102,hadoop103中。检查一下消费flume所在的集群，也就是hadoop104中的/opt/module/flume/conf目录下的kafka-flume-hdfs.conf文件。附（抛出一下异常，说明你的消费flume内存不够，只要修改配置就可以了）这里，大家的包名可能不一样，根据自己创建的包名进行修改即可。最后，重新启动一下集群，就可以了。...

flume flume采集目录到HDFS

a3125504x的博客

08-27

2069

flume采集目录到HDFS采集新增文件到HDFSflume配置文件采集指定文件新增内容到HDFS 采集新增文件到HDFS 结构示意图采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去需求分析：根据需求，首先定义以下3大要素数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1.监视一个目录，只要目录中出现新文件，就会采集文件中的内容 2.采集完成的文件，会被agent自动添加一个后缀：COMPLETE

文件写入HDFS之后没有文件显示

qq_41605695的博客

03-10

2059

Java demo写文件到HDFS，写完之后指定目录下没有对应的文件显示。问题：没有进行文件存储路径的存在性判断，创建的操作解决： Configuration conf = new Configuration(); FileSystem fileSystem = FileSystem.get(conf); Path pathDst = new Path(hdfsPath); //判断路径存在...

hadoop flume 监听hive日志文件的常见错误 flume链接HDFS失败之端口问题

qq_44641456的博客

05-21

925

21 五月 2022 17:08:53,228 INFO [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.BucketWriter.open:246) - Creating hdfs://hadoop102:9870/flume/20220521/17/logs-.1653124088090.tmp 21 五月 2022 17:08:53,249 WARN [hdfs-k2-call-runn...

Flume监控Hive日志并上传到HDFS

dj_hanhan的博客

11-24

1301

一、 实时监控单个追加文件 1.需求：实时监控Hive日志，并上传到HDFS 2.实现步骤：（1）上传Hadoop相关jar包到flume/lib目录下 flume相关jar包 https://blog.youkuaiyun.com/Dj_hanhan/article/details/110097742 （2）进入usr/flume/job目录，创建flume-file-hdfs.conf 文件 # Name the components on this agent a2.sources = r2 a2.sinks

基于Flume、Kafka、HDFS、Hive的大规模日志采集与分析系统的构建与优化

最新发布

04-07

内容概要：本文详细介绍了如何使用Flume进行日志采集，Kafka作为消息队列传递日志，HDFS用于持久化存储日志，以及Hive进行日志数据分析的一套完整解决方案。首先，通过Flume配置文件展示了如何实时跟踪日志文件的...

二百三十三、Flume——Flume采集JSON文件到Kafka，再用Flume采集Kafka数据到HDFS中

tiantang2renjian的博客

04-19

1571

Flume采集JSON文件到Kafka，再用Flume采集Kafka数据到HDFS中

flume采集日志到HDFS中再导入到hive表中

slmpl的博客

08-12

4304

flume介绍 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on st...

Flume之监听目录变化并上传文件到HDFS中

tangshiweibbs的专栏

05-08

2798

vim /usr/local/flume/conf/exex-hdfs.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = spooldir a1.sources.r

HDFS上无法出现目录，怎么办？

bbrry的博客

04-14

4006

hdfs配置文件已配好，但启动后hdfs平台上无法出现目录，怎么办？

flume采集日志到hdfs遇到采集一会不采集

蘑菇丁的专栏

12-21

1752

环境4c 4G虚拟机，上面部署应用业务，flume采集应用日志，几乎机器可用内存就几十M,还有4Gswap交换内存，硬件环境就这样，提好几次添加内存，资源有限一直没加。之前业务日志小flume也可以正常采集日志，但是最近公司flume经常假死，明明进程在数据就是采集不到，之前没在意。都是重启后看有日志，就不管了，第二天一看只采集一个小时就不采集了，苦不堪言，每天都在补数据的路上。配置如...

ambari添加ranger服务管理hdfs和hive遇到的问题

weixin_45230582的博客

09-17

968

ranger开启hdfs插件后活自动生成一个默认的service，然后在点击service进入添加police。开启hive插件没有自动生成默认的service，查看ranger.admin.log(access_log.2020-09-17.log)可以看到下面信息 10.31.53.83 - - [17/Sep/2020:09:04:07 +0000] "GET /service/plugins/policies/download/HDP_BigData_hive?lastKnownVersion=

大数据Hadoop、HDFS、Hive、HBASE、Spark、Flume、Kafka、Storm、SparkStreaming这些概念你是否能理清？

qq_43842093的博客

01-06

3807

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hadoop是大数据开发的重要框架，是一个由Apache基金会所开发的分布式系统基础架构，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，在Hadoop2.x时代，增加了Yarn，Yarn只负责资源的调度。当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间；

【总结】Flume实时监控案例遇到的几个问题

克里斯的博客

01-05

976

看着尚硅谷的笔记，按着步骤操作，发现从《实时监控单个追加文件》开始就出现问题，具体问题表现为： flume能正常启动和监控，hadoop集群可以正常工作，hive也可以正常工作，但HDFS的网页端上就是没有出现监控日志。

flume数据采集_flume采集Kafka数据到hdfshive

05-29

好的，我可以回答这个问题。您可以按照以下步骤来使用Flume采集Kafka数据到HDFS和Hive中： 1. 首先，确保您已经安装了Flume、Kafka、HDFS和Hive等必要的软件。 2. 然后，在Flume的配置文件中添加Kafka作为Source和HDFS/Hive作为Sink。例如，以下是一个简单的配置文件示例： ``` agent.sources = kafka-source agent.channels = hdfs-channel agent.sinks = hdfs-sink hive-sink agent.sources.kafka-source.type = org.apache.flume.source.kafka.KafkaSource agent.sources.kafka-source.batchSize = 1000 agent.sources.kafka-source.kafka.bootstrap.servers = localhost:9092 agent.sources.kafka-source.kafka.topics = my-topic agent.sources.kafka-source.kafka.consumer.group.id = my-group agent.channels.hdfs-channel.type = memory agent.channels.hdfs-channel.capacity = 10000 agent.channels.hdfs-channel.transactionCapacity = 100 agent.sinks.hdfs-sink.type = hdfs agent.sinks.hdfs-sink.hdfs.path = hdfs://localhost:9000/flume/kafka agent.sinks.hdfs-sink.hdfs.fileType = DataStream agent.sinks.hdfs-sink.hdfs.writeFormat = Text agent.sinks.hdfs-sink.channel = hdfs-channel agent.sinks.hive-sink.type = hive agent.sinks.hive-sink.hive.metastore = thrift://localhost:9083 agent.sinks.hive-sink.hive.database = my-db agent.sinks.hive-sink.hive.table = my-table agent.sinks.hive-sink.hive.partition = dt=%Y-%m-%d agent.sinks.hive-sink.channel = hdfs-channel ``` 在上面的配置文件中，我们使用Kafka作为Source，将数据写入到HDFS和Hive中。我们使用Memory Channel将数据缓存在内存中，然后将其写入到HDFS和Hive中。在Hive Sink中，我们还定义了一个分区，以便按日期对数据进行分区。 3. 最后，运行Flume代理以开始从Kafka读取数据并将其写入到HDFS和Hive中。您可以使用以下命令来启动Flume代理： ``` $ bin/flume-ng agent -n agent -c conf -f conf/flume-kafka-hdfs-hive.conf ``` 这样，Flume代理就会开始从Kafka读取数据，并将其写入到HDFS和Hive中。希望这些信息能够帮助您采集Kafka数据到HDFS和Hive中。如果您有任何其他问题，请随时问我。