Flume案例之监控某个文件的变化，把变化的内容存储的hdfs上

最新推荐文章于 2022-08-24 01:22:06 发布

小秦同学！！！

最新推荐文章于 2022-08-24 01:22:06 发布

阅读量784

点赞数

文章标签： flume hadoop

本文链接：https://blog.youkuaiyun.com/weixin_47068172/article/details/113871553

版权

本文详细介绍了如何使用Flume监控文件的变化，将变动内容存储到HDFS上。通过创建exec-hdfs.conf配置文件，设置相关采集方案，并编写shell脚本来模拟服务器日志，最终成功将数据上传至HDFS。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

前言
一、创建exec-hdfs.conf，进行配置
- 1、打开官网，有相关的采集方案
- 2、配置文件内容
二、写shell脚本，并监控它的变化，存储到hdfs上
总结

前言

下面主要介绍flume监控某个文件的变化，把变化的内容存储的hdfs上的案例。

提示：以下是本篇文章正文内容，下面案例可供参考

一、创建exec-hdfs.conf，进行配置

1、打开官网，有相关的采集方案

在这里插入图片描述

2、配置文件内容

在这里插入图片描述

二、写shell脚本，并监控它的变化，存储到h

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小秦同学！！！

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Flume04：【案例】使用Flume采集文件内容上传至HDFS

weixin_40612128的博客

03-03

8052

案例：采集文件内容上传至HDFS 接下来我们来看一个工作中的典型案例：采集文件内容上传至HDFS 需求：采集目录中已有的文件内容，存储到HDFS 分析：source是要基于目录的，channel建议使用file，可以保证不丢数据，sink使用hdfs 下面要做的就是配置Agent了，可以把example.conf拿过来修改一下，新的文件名为file-to-hdfs.conf 首先是基于目录的source，咱们前面说过，Spooling Directory Source可以实现目录监控来看一下这个Spoo

【Flume】使用Flume监控目录,并将数据存储至HDFS

HR的博客

03-09

2555

使用Flume监控目录,并将数据存储至HDFS conf文件 # 定义source、sinks、channels并且重命名 a1.sources = k1 a1.sinks = r1 a1.channels = c1 # 选择sources方法为spooldir来监控文件夹 a1.sources.r1.type = spooldir # 确定监控的文件夹 a1.sources.r1.spoolDir=/home/data/flume # 当文件背上传之后添加后缀 a1.sources.r1.fileSu

参与评论您还未登录，请先登录后发表或查看评论

Flink整合kafka实现Flume监控指定文件改动

bababuzaijia的博客

08-24

1032

Flink整合kafka实现Flume监控指定文件改动

Spark Streaming之：Flume监控目录下文件内容变化，然后Spark Streaming实时监听Flume，然后从其上拉取数据，并计算出结果

涂作权的博客

07-13

2550

1、安装flume 2、到Spark-Streaming官网下载poll方式的Sink 3、将sink放入到flume的lib包里面 4、先启动flume(多个)，然后在启动Streaming程序下载spark-flume http://spark.apache.org/documentation.html 到Spark-1.6.2中 http://spark.apache.org/do

Flume的下载，使用，采集测试以及监控文件夹的变化并将添加的文件存入hdfs

weixin_47068172的博客

02-19

432

文章目录前言一、Flume的下载和使用二、Flume入门使用三、flume采集数据测试四、监控某个文件夹的变化，将添加的文件存入hdfs总结前言下面主要介绍Flume的下载以及使用的过程，以及flume采集的测试，以及监控某个文件夹的变化并且将添加的文件存入hdfs。提示：以下是本篇文章正文内容，下面案例可供参考一、Flume的下载和使用 1、下载 2、上传到虚拟机 3、解压 4、改名 5、配置环境变量并且使生效添加生效查看版本 6、配置一些文件进入conf，查看

02 flume监听文件内容变化

张力的程序园

06-12

329

上一节我们使用flume去监听了一个端口的网络状态，本节将展示使用flume去监听一个静态文件。 1 系统、软件以及前提约束 CentOS 7 64 工作站作者的机子ip是192.168.100.200，请读者根据自己实际情况设置已完成flume安装并监听端口 https://www.jianshu.com/p/3e4f7db8080f xshell客户端为去除权限对操作...

Flume实时读取本地文件到HDFS案例

m0_63449353的博客

10-25

558

1.实时读取本地文件到HDFS案例需求分析实现步骤 1.Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包将commons-configuration-1.6.jar、 hadoop-auth-2.7.2.jar、 hadoop-common-2.7.2.jar、 hadoop-hdfs-2.7.2.jar、 commons-io-2.4.jar、 htrace-core-3.1.0-incubating.jar 拷贝到/opt/modul...

Flume应用案例之监控一个文件实时采集新增的数据输出到控制台

29DCH的博客

10-16

1010

紧接我的前两篇博客讲下来分布式日志收集框架Flume环境安装部署 Flume应用案例之从指定网络端口采集数据输出到控制台阅读这篇博客如有问题，可以先参考阅读我的这两篇博客相关内容 Agent选型:exec source + memory channel + logger sink 在conf目录下创建exec-memory-logger.conf文件 vi exec-memory-logge...

大数据之Flume：监控多个新文件

weixin_43597208的博客

01-27

415

1）案例需求：使用Flume监听整个目录的文件，并上传至HDFS 2）需求分析： 3）实现步骤：使用组件 spooldir source 1．创建配置文件flume-dir-hdfs.conf 创建一个文件 [hadoop@hadoop101 job]$ vim flume-dir-hdfs.conf 添加如下内容 a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure the source a3.sources.r3.

flume案例--实时采集文件的内容变化到hdfs

qq_36382679的博客

06-26

372

1 配置tail-hdfs.conf文件 # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail -F /root/logs/test.log # Describe the sink a1.sinks.k1.type = h

flume：如何使用flume将文件存到hdfs

随笔一记/**

06-09

7898

一、如何使用flume将文件存到hdfs简单例子：#set nameagent1.sources = source1agent1.channels = channel1agent1.sinks = sink1#link sources and sinksagent1.sources.source1.channels = channel1agent1.sinks.sink1.channel = ch...

通过flume实现将csv文件插入hive，或者放到hdfs中

mmdxbdz的博客

01-02

1985

最近开始接触hive，很粗糙的记录下踩过坑，欢迎大牛交流及指正一：hive的安装及配置修改 1，修改 hive-site.xml文件中的avax.jdo.option.ConnectionURL项，加入用mysql就配置mysql的连接地址例如jdbc:mysql://127.0.0.1:13306/hive?createDatabaseIfNotExist=true 这里一定要注意这个hiv...

Flume教程（一）Flume监听目录，将目录中的文件上传HDFS

Java朱老师博客

05-20

1841

在hp3上新建目录/test_flume，让flume监听该文件夹，实际工作中，该目录可以设置为应用系统服务端的日志文件夹。在flume的job文件夹下，新建： touch flume-dir-hdfs.conf 在里面填写内容： a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = spooldir #监听的目录位置 a1.sources.r1.spoo

Flume实战监听文件夹内文件变化

松门一枝花

03-23

9097

Flume官网有多种场景的source，sink，channel的配置 1、flume安装目录下新建文件夹 example 2、在example下新建文件 spooldir-logger.conf 内容如下： a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe

03 flume监听文件夹并将文件上传到HDFS

张力的程序园

06-13

425

我们已经了解了使用flume监听端口以及文件内容，本节将展示使用flume去监听一个文件夹并且上传其中的文件到HDFS。 1 系统、软件以及前提约束 CentOS 7 64 工作站作者的机子ip是192.168.100.200，请读者根据自己实际情况设置已完成flume安装并监听端口 https://www.jianshu.com/p/3e4f7db8080f 已完成HDF...

flume监控文件变化

xiaoliuxxs

09-12

617

第四讲

flume监听日志文件

成长加速度

03-20

950

控制台监听打印flume-exec.log文件写入数据 # Define a memory channel called ch1 on agent1 agent1.channels.ch1.type = memory agent1.channels.ch1.capacity = 1000 agent1.channels.ch1.transactionCapacity = 100 # Define an Avro source called avro-source1 on agent1 and tell

flume系列之：监控flume上个小时生成的HDFS文件是否有损毁，并发送告警信息

zhengzaifeidelushang的博客

03-31

2607

flume系列之：监控flume上个小时生成的HDFS文件是否有损毁，并发送告警信息一、查看HDFS文件状态背景知识二、登陆远程服务器代码三、获取当前时间和上个小时时间四、访问hdfs执行kerberos认证五、查找上个小时是否有损毁文件的命令六、执行查找损毁文件命令代码七、告警信息部分代码八、存在损毁文件发送告警信息九、完整详细注释代码如下所示一、查看HDFS文件状态背景知识相关背景知识参考博主下面两篇博客： Hdfs系列之：查看hdfs文件状态，判断文件是否损坏，修复hdfs损坏文件 flume系

Flume配置案例：数据同时输出到HDFS与Kafka

配置项如`tier1.sinks.sink1.hdfs.path`指定了HDFS上的输出路径，`hdfs.useLocalTimeStamp`启用本地时间戳，`fileType`、`writeFormat`、`rollCount`、`rollSize`、`rollInterval`等控制文件滚动和格式化规则。...