Flume的基本配置及多级配置学习

最新推荐文章于 2025-03-25 15:39:07 发布
最新推荐文章于 2025-03-25 15:39:07 发布
阅读量1.2k 收藏 6
点赞数
文章标签： flume 学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45488132/article/details/125295198
版权
本文档介绍了Apache Flume的基本配置和使用，包括创建data目录，配置不同的source（如avro, exec, http, spool）和sink（如logger, file, hdfs），并展示了多级数据流动的配置示例，通过netcat作为输入源，logger作为输出。在多级配置中，数据从hadoop01经由avro协议传递到hadoop02，再到hadoop03，最终在hadoop03上以logger形式输出。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

在flume目录下创建一个data目录，用来放置配置文件

mkdir data

1. 创建一个basic.conf作为初始的配置文件，采用avro作为source，logger作为sink

basic.conf

# 初始化一个agent
a1.sources=r1
a1.channels=c1
a1.sinks=s1

# 配置sources
# 使用netcat作为sources，代表的是发送TCP请求
a1.sources.r1.type=netcat
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定一个端口号
a1.sources.r1.port=8090

# 配置channel
a1.channels.c1.type=memory
# 每个channel最多存储一千条数据（对应的是1000个event事件）
a1.channels.c1.capacity=1000
# 每一次提供100条数据给sink进行输出
a1.channels.c1.transactionCapacity=100

# 配置sink
# 表示以logger的形式输出在控制台
a1.sinks.s1.type=logger

# channel sink source之间的绑定
# channels代表一个sources可以绑定多个channel
a1.sources.r1.channels=c1
# 给s1绑定一个通道
# channel代表一个sink只能由一个channel来提供
a1.sinks.s1.channel=c1

在flume的bin目录下输入

sh flume-ng agent -n a1 -c ../conf/ -f ../data/basic.conf -Dflume.root.logger=INFO,console

即可启动flume，看到a1, r1, s1都被启动则成功。此时在本机输入

nc localhost 8090 #这里的端口8090要和上述basic.conf中的a1.sources.r1.port对应，作为输入

即可作为flume的输入，可以在flume的控制台查看到输出。
在这里插入图片描述

输入端

在这里插入图片描述

输出端

2. 一些常用的source和sink配置 (对应的输入输出方法自行百度)

avrosource.conf
# a1是Agent的名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

# 配置Source
# NC代表的是发送TCP请求
a1.sources.r1.type=avro
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置channel
a1.channels.c1.type=memory
# 最多存储1000条数据（对应的1000个event事件）
a1.channels.c1.capacity=1000
# 每一次提供100条数据给sink
a1.channels.c1.transactionCapacity=100

# 配置sink
# 表示以日志的形式输出在控制台
a1.sinks.s1.type=logger

# channel和sink以及source之间的绑定
# 给r1的source绑定一个或多个通道
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
execsource.conf
# a1是Agent的名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

# 配置Source
# NC代表的是发送TCP请求
a1.sources.r1.type=exec
a1.sources.r1.command=ping hadoop02
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置channel
a1.channels.c1.type=memory
# 最多存储1000条数据（对应的1000个event事件）
a1.channels.c1.capacity=1000
# 每一次提供100条数据给sink
a1.channels.c1.transactionCapacity=100

# 配置sink
# 表示以日志的形式输出在控制台
a1.sinks.s1.type=logger

# channel和sink以及source之间的绑定
# 给r1的source绑定一个或多个通道
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
httpsource.conf
# a1是Agent的名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

# 配置Source
# NC代表的是发送TCP请求
a1.sources.r1.type=http
# 表示从本地获取数据
# a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置channel
a1.channels.c1.type=memory
# 最多存储1000条数据（对应的1000个event事件）
a1.channels.c1.capacity=1000
# 每一次提供100条数据给sink
a1.channels.c1.transactionCapacity=100

# 配置sink
# 表示以日志的形式输出在控制台
a1.sinks.s1.type=logger

# channel和sink以及source之间的绑定
# 给r1的source绑定一个或多个通道
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
spoolsource.conf
# a1是Agent的名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

# 配置Source
# NC代表的是发送TCP请求
a1.sources.r1.type=spooldir
# 指定spool坚挺的指定目录
a1.sources.r1.spoolDir=/home/flumedata
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置channel
a1.channels.c1.type=memory
# 最多存储1000条数据（对应的1000个event事件）
a1.channels.c1.capacity=1000
# 每一次提供100条数据给sink
a1.channels.c1.transactionCapacity=100

# 配置sink
# 表示以日志的形式输出在控制台
a1.sinks.s1.type=logger

# channel和sink以及source之间的绑定
# 给r1的source绑定一个或多个通道
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
filesink.conf
# a1是Agent的名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

# 配置Source
# NC代表的是发送TCP请求
a1.sources.r1.type=netcat
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置channel
a1.channels.c1.type=memory
# 最多存储1000条数据（对应的1000个event事件）
a1.channels.c1.capacity=1000
# 每一次提供100条数据给sink
a1.channels.c1.transactionCapacity=100

# 配置sink
# 表示以日志的形式输出在控制台
a1.sinks.s1.type=file_roll
# 指定sink输出日志到file的路径
a1.sinks.s1.sink.directory=/home/flumelog
# 每隔一个小时产生一个文件，防止文件过多，文件夹太庞大
a1.sinks.s1.sink.rollInterval=3600

# channel和sink以及source之间的绑定
# 给r1的source绑定一个或多个通道
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1
hdfssink.conf 
# a1是Agent的名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

# 配置Source
# NC代表的是发送TCP请求
a1.sources.r1.type=netcat
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置channel
a1.channels.c1.type=memory
# 最多存储1000条数据（对应的1000个event事件）
a1.channels.c1.capacity=1000
# 每一次提供100条数据给sink
a1.channels.c1.transactionCapacity=100

# 配置sink
# 表示以日志的形式输出在控制台
a1.sinks.s1.type=hdfs
# sink输出要写到分布式文件系统的路径
a1.sinks.s1.hdfs.path=hdfs://hadoop01:9000/flume
# 利用流的形式写到分布式文件系统
a1.sinks.s1.hdfs.fileType=DataStream

# channel和sink以及source之间的绑定
# 给r1的source绑定一个或多个通道
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1

2. 多级配置

基本结构如下图，用三个节点来进行多级的流动
在这里插入图片描述

flume多级流动

在三个节点的flume目录下写一个avrosink.conf的配置文件，其内容分别是：
在这里插入图片描述

  • 其中hadoop01的节点中，输入为netcat，可以设置为任意，输出为avro，指向hadoop02的8080端口

  • 然后hadoop02以8080端口接收的数据为输入，即avro输入，输出为avro格式，指向hadoop03的8070端口

  • 然后hadoop03以avro接收8070端口传来的数据，最后以logger打印在控制台，当然此时的输出可以为任意。

配置文件的具体内容

hadoop01下的avrosink.conf

# a1是Agent的名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

# 配置Source
# NC代表的是发送TCP请求
a1.sources.r1.type=netcat
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8090

# 配置channel
a1.channels.c1.type=memory
# 最多存储1000条数据（对应的1000个event事件）
a1.channels.c1.capacity=1000
# 每一次提供100条数据给sink
a1.channels.c1.transactionCapacity=100

# 配置sink
# 表示以日志的形式输出在控制台
a1.sinks.s1.type=avro
# 发送到哪个节点
a1.sinks.s1.hostname=hadoop02
a1.sinks.s1.port=8080

# channel和sink以及source之间的绑定
# 给r1的source绑定一个或多个通道
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1

hadoop01下的avrosink.conf

# a1是Agent的名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

# 配置Source
# NC代表的是发送TCP请求
a1.sources.r1.type=avro
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8080

# 配置channel
a1.channels.c1.type=memory
# 最多存储1000条数据（对应的1000个event事件）
a1.channels.c1.capacity=1000
# 每一次提供100条数据给sink
a1.channels.c1.transactionCapacity=100

# 配置sink
# 表示以日志的形式输出在控制台
a1.sinks.s1.type=avro
# 发送到哪个节点
a1.sinks.s1.hostname=hadoop03
a1.sinks.s1.port=8070

# channel和sink以及source之间的绑定
# 给r1的source绑定一个或多个通道
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1

hadoop01下的avrosink.conf

# a1是Agent的名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

# 配置Source
# NC代表的是发送TCP请求
a1.sources.r1.type=avro
# 表示从本地获取数据
a1.sources.r1.bind=0.0.0.0
# 绑定端口号
a1.sources.r1.port=8070

# 配置channel
a1.channels.c1.type=memory
# 最多存储1000条数据（对应的1000个event事件）
a1.channels.c1.capacity=1000
# 每一次提供100条数据给sink
a1.channels.c1.transactionCapacity=100

# 配置sink
# 表示以日志的形式输出在控制台
a1.sinks.s1.type=logger
# a1.sinks.s1.hdfs.path=hdfs://hadoop01:9000/flume
# a1.sinks.s1.hdfs.fileType=DataStream

# channel和sink以及source之间的绑定
# 给r1的source绑定一个或多个通道
a1.sources.r1.channels=c1
# 给s1绑定一个通道
a1.sinks.s1.channel=c1

配置完以上后，先在hadoop03中打开flume，再打开hadoop02的flume，最后打开hadoop01的flume，在hadoop中使用nc输入，在hadoop03中可以看到控制台打印。
在这里插入图片描述

hadoop01连接到hadoop02成功

在这里插入图片描述

hadoop02连接到hadoop03成功

在这里插入图片描述

hadoop01输入端

在这里插入图片描述

hadoop03输出端

完结撒花 😃

Flume配置
zjy15737869372的博客
12-10 1414
一、解压 将压缩包拉入software下，如图所示 切到software进行解压,解压至module下 注：空格及解压的路径不能出错，C要大写 cd /opt/software tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module/
flume教程及配置讲解共23页.pdf.zip
11-19
通过这份23页的Flume教程，你可能会了解到如何创建基本的Flume配置，理解Flume的工作原理，学习如何处理数据流中的错误，以及如何监控和优化Flume的性能。此外，还可能涉及实际案例分析，教你如何根据业务需求设计和...
Flume详细配置
weixin_36058293的博客
07-04 862
Flume： ===================== Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。 它有一个基于流数据的简单而灵活的体系结构。 它具有健壮性和容错能力，具有可调的可靠性机制和许多故障转移和恢复机制。 它使用一个简单的可扩展数据模型，允许在线分析应用程序。 source：源 ...
大数据学习（85）-Flume详解
最新发布
weixin_61006262的博客
03-25 1210
Flume采用分层、可扩展的架构设计，主要由以下核心组件构成：
Flume的配置与使用
大头皮鞋的博客
12-04 3338
前提条件： 安装好hadoop2.7.3（Linux系统下） 安装好Flume，参考：Flume安装配置 问题： AvroSource接收外部数据源，Logger作为sink，即通过AvroRPC调用，将数据缓存在channel中，然后通过Logger打印出数据。 实验步骤： 1.进入有权限的目录，例如~目录 $ cd ~ 2.创建配置文件avro.conf（关键） ...
Flume基础配置
youngyang_dz的博客
07-23 200
Flume 是一个分布式，高可用，高可靠，高效率的日志收集框架   Flume 由agent文件配置数据的采集与输出 agent 配置文件 由三个组件： Source    数据源     负责输入 Channel  渠道         负责传输 Sink        收集         负责输出 Logger Sink 控制台输出事件：Logs event at INFO level ...
flume 配置
m0_75237906的博客
02-05 528
【代码】flume 配置。
09.flume采集配置案例--多级agent串联.mp4
04-29
09.flume采集配置案例--多级agent串联.mp4
大数据采集技术-Flume级联配置.pptx
12-23
5. **Flume配置文件编辑**： 使用`vim`编辑配置文件，如`tail-avro-avro-logger.conf`和`avro-hdfs.conf`，根据实际需求设置Source、Channel和Sink的属性。 6. **开发数据生成脚本**： 在Node02上运行一个Shell...
Flume环境部署和配置详解及案例大全1
08-03
Agent 可以独立部署在每台机器上，而多个 Agent 可以通过配置实现多级流，支持 Fan-in（多源汇聚）、Fan-out（一源多发）、Contextual Routing（上下文路由）和 Backup Routes（备份路由）等复杂拓扑结构。...
flume安装配置
11-06
1.flume是什么？ 这里简单介绍一下，它是Cloudera的一个产品 2.flume是干什么的？ 收集日志的 3.flume如何搜集日志？ 我们把flume比作情报人员 （1）搜集信息 （2）获取记忆信息 （3）传递报告间谍信息
flume配置
我是泛滥
04-15 297
目录1. 下载解压2. 添加环境变量3.修改配置文件4. flume版本5. 测试flume6.telnet 1. 下载解压 $ sudo tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /usr/local/ $ sudo mv apache-flume-1.8.0-bin flume 2. 添加环境变量 vim /etc/profile export F...
Flume 的配置
汤小萌的博客
11-25 1895
Flume 的概述：  Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。  Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中  一般的采集需求，通过对flume的简单配置即可实现  Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日...
【flume 配置详解】
scott_bing的专栏
04-24 3126
在上面的配置中，我们可以看到agent1.sources、agent1.channels和agent1.sinks这些属性，它们分别对应了源、通道和目标组件的配置，而agent1.sources.source1.type、agent1.sources.source1.command、agent1.channels.channel1.type等则对应了各自的属性。在上面的配置中，我们使用了内存通道(Memory Channel)，它的容量设置为1000，即最多可以存储1000个Event事件。
Flume高级配置与实战指南
"Flume配置使用指南，涵盖了从基础到高级的配置方法，包括单节点快速启动、事件结构、分布式模式、故障转移策略、逻辑配置、安全集成等内容，旨在帮助用户深入理解和应用Flume." Flume是Apache开发的一款用于收集、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值