flume监听文件目录sink到hdfs配置

最新推荐文章于 2023-09-07 14:49:45 发布
原创 最新推荐文章于 2023-09-07 14:49:45 发布 · 749 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Flume作为一款分布式、可靠、高可用的日志聚合系统的特性，包括其架构组成（源-Source，接收器-Sink，通道-Channel）。通过配置文件示例，展示了如何设置Flume来收集特定目录下的日志文件，并将数据写入HDFS，策略为时间间隔或文件大小达到一定条件时触发。此外，还提供了启动Flume的命令示例。

一：flume介绍

Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

Flume架构分为三个部分 源-Source，接收器-Sink，通道-Channel。

二：配置文件

此配置文件source为一个目录，注意，该目录下的文件应为只读，不可写，且文件名不能相同，采用的channels为file，sink为hdfs，此处往hdfs写的策略是当时间达到3600s或者文件大小达到128M。

agent1.sources = spooldirSource

agent1.channels = fileChannel

agent1.sinks = hdfsSink

agent1.sources.spooldirSource.type=spooldir

agent1.sources.spooldirSource.spoolDir=/data/lwq/new_log

agent1.sources.spooldirSource.channels=fileChannel

agent1.sinks.hdfsSink.type=hdfs

agent1.sinks.hdfsSink.hdfs.path=hdfs://dev228:8020/raw/lwq/%y-%m-%d

agent1.sinks.hdfsSink.hdfs.filePrefix=lwq

agent1.sinks.sink1.hdfs.round = true

# Number of seconds to wait before rolling current file (0 = never

roll based on time interval)

agent1.sinks.hdfsSink.hdfs.rollInterval = 3600

# File size to trigger roll, in

最低0.47元/天 解锁文章
flume监听数据并上传到HDFS上
m0_60431736的博客
09-21 1409
flume监听数据到hdfs
Flume监听文件并上传到hdfs
元气满满的小白
03-11 1902
目标 监听hive日志，并上传到hdfs中/flume/[YYMMDDHH]/目录下，文件前缀为logs-，每一个小时新建重新创建一个文件夹，每接收10M数据落地一次，当数据不足10M时15分钟落地一次 导入相关依赖jar包 导入以下jar包到flume路径下的lib里，{}里为相应版本，在hadoop路径下share/hadoop下都能找到，我就添加了一个剩下的在flume/lib下都已经...
flume简介与监听文件目录并sink至hdfs实战
热门推荐
Memory of Mr.Snail
06-02 1万+
场景1. flume是什么1.1 背景　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后
Flume - HDFS Sink(数据的目的地为HDFS)
会飞的猪的 博客
07-08 2767
一：flume介绍        Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。，Flume架构分为三个部分 源-Source，接收器-Sink，通道-Channel。flume--------------------- agent(主件)： source :收...
Flume监听文件目录sink至hdfs配置
weixin_30677475的博客
06-18 174
一：flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。，Flume架构分为三个部分 源-Source，接收器-Sink，通道-Channel。 二：配置文件 此配置文件source为一个目录，注意，该目录下的文件应...
一百七十二、Flume——Flume采集Kafka数据写入HDFS中（亲测有效、附截图）
tiantang2renjian的博客
09-07 3703
Flume采集Kafka数据写入HDFS中
flume监控文件sink到hdfs
mianhuatang__的博客
01-25 1400
启动命令建议全路径 /home/mjxt/apache-flume-1.9.0-bin/bin/flume-ng agent -n a1 -f /home/mjxt/test_flume/flume-conf.properties -Dflume.root.logger=DEBUG,Console 配置如下 # 定义agent a1.sources = s1 a1.channels = c1 a1.sinks = k1 # sources类型 a1.sources.s1.type = taild
使用 Flume 监听整个目录的实时追加文件，并上传至 HDFS
W2398439780的博客
11-08 969
注意core-site.xml中配置的NameNode地址，确保映射没有出错，端口号保持一致。确保hadoop集群已经启动。
使用 Flume 监听整个目录的文件，并上传至 HDFS
W2398439780的博客
11-08 969
tmp 结尾的文件会被自动忽略，不会上传【配置文件中sources配置了相关的 ignorePattern】由于sources的type 指定的 spooldir ，上传完的文件会以 .COMPLETED 结尾。上传完成的文件会以.COMPLETED 结尾；注意core-site.xml中配置的NameNode地址，确保映射没有出错，端口号保持一致。
Flume-1.6.0学习笔记（五）sink到hdfs
weixin_34290096的博客
11-20 244
鲁春利的工作笔记，谁说程序员不能有文艺范？Flume从指定目录读取数据，通过memory作为channel，然后讲数据写入到hdfs。Spooling Directory Source（http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source）Memory Channel（http://flum...
使用flume读取数据，sink到kafka中及hdfs中
Messi的小迷弟
08-19 873
案例一：使用flume读取数据，sink到kafka中 users.sources = usersSource users.channels = usersChannel users.sinks = usersSink users.sources.usersSource.type = spooldir users.sources.usersSource.spoolDir = /data/flumeFile/users users.sources.usersSource.deserializer = LIN
Flume中的HDFS Sink配置
u012689336的专栏
09-30 4878
Flume中的HDFS Sink配置参数说明 type：hdfs path：hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/ filePrefix：默认值：FlumeData，写入hdfs的文件名前缀 fileSuffix：写入 hdfs 的文件名后缀，比如：.lzo .log等。 inUsePrefix：临时文件的文件名前
flume之HDFS Sink详解（转载）
weixin_42102379的博客
04-01 5128
原文地址：http://www.aboutyun.com/thread-21422-1-1.html 一、重要问题点 1.哪些配置影响着hdfs文件的关闭? 2.HDFS Sink中每次都会触发的事件是什么？ 3.HDFS Sink中参数的优先级是怎样的？ 二、HDFS Sink跟写文件相关配置 hdfs.path -> hdfs目录路径 hdfs.filePrefix -> 文件前缀...
Flume中的HDFS Sink配置参数说明
BlueSky
03-30 1万+
关键字：flume、hdfs、sink、配置参数 转自：http://lxw1234.com/archives/2015/10/527.htm Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。 channeltype hdfs path 写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/
Flume基础【Flume的几个小案例】
weixin_43923463的博客
04-08 1748
一 案例二 实时监控单个追加文件 需求：实时监控Hive日志，并上传到HDFS中 实现步骤 # Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source a2.sources.r2.type = exec a2.sources.r2.command = tail -F /opt/module/flume/demo/1.log a2
Flume 常见案例（2）
WandaZw的博客
11-07 280
Flume 采集案例 1：采集目录到 HDFS 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到 HDFS 中去。 采集源，即 source -- 监控文件目录 ： spooldir 下沉目标，即 sink  --HDFS文件系统 ：HDFS sink source 和 sink 之间的传递通道 -- channel ， 可用 file chan...
08_Flume之HDFS Sink 的参数解析及异常处理
weixin_40727028的博客
04-15 825
设置为0，如果flume程序突然宕机，就会导致 hdfs上的 .tmp后缀的文件无法会更改为完成的文件，造成一种假象，以为该文件正在写入。当程序重启时，就会有两个 .tmp文件。需要注意的是，这些jar包的版本要和你的Hadoop集群的版本保持一致，否则可能会出现不兼容等问题。rollInterval、rollSize、rollCount是基于文件的条件限制滚动生成文件的，基于文件而言的。rollInterval、rollSize、rollCount是基于文件的条件限制滚动生成文件的，基于文件而言的。
Flume 本地目录文件采集到 HDFS 详细操作步骤
最新发布
11-23
将Flume本地目录文件采集到HDFS可按以下步骤操作： 1. **创建配置文件**：创建一个后缀为.conf的配置文件，命名需遵循见名知意原则，如命名为flume-dir-hdfs.conf，该文件一般放在flume的job目录下，因为flume的每一个任务都要创建一个配置文件。可使用如下命令创建： ```bash vim flume-dir-hdfs.conf ``` 在配置文件中需完成相关配置信息的编写，不过引用中未提及具体配置内容，一般而言，配置文件中要对source（如监控本地目录）、channel（数据传输通道）、sink（将数据写入HDFS）进行详细配置。例如，简单示例配置如下： ```properties # 定义组件名称 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 配置source a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /your/local/directory # 本地监控目录 a1.sources.r1.fileHeader = true # 配置channel a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # 配置sink a1.sinks.k1.type = hdfs a1.sinks.k1.hdfs.path = hdfs://your-hdfs-namenode:port/your/hdfs/path # HDFS存储路径 a1.sinks.k1.hdfs.fileType = DataStream a1.sinks.k1.hdfs.writeFormat = Text # 绑定source、channel和sink a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 ``` 2. **启动监控**：完成配置文件编写后，启动Flume agent来监听本地目录文件变化并将文件上传到HDFS。启动命令格式通常为： ```bash bin/flume-ng agent -n <agent_name> -f <config_file_path> ``` 示例命令（假设agent名为a1，配置文件路径为flume-dir-hdfs.conf）： ```bash bin/flume-ng agent -n a1 -f flume-dir-hdfs.conf ``` 启动后，当本地目录有新文件增加时，Flume就会把文件上传到HDFS指定路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值