大数据 - Flume的安装及使用（三）

最新推荐文章于 2022-10-26 16:26:12 发布
原创 最新推荐文章于 2022-10-26 16:26:12 发布 · 370 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍Flume作为日志采集系统的使用方法，包括配置、启动及应用场景，如监听端口、监控日志、多路复用等，适用于大数据处理初学者。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

是什么

  1. Flume是一个分布式、高可靠、高可用的日志采集系统，可实现从不同来源的系统中将大容量的日志数据采集、汇总和搬移到一个集中式的数据存储中。

  2. Flume是流式大数据中的数据采集组件，可用于接收日志文件或报文数据。通过配置文件就可以定义各种数据路由方式，基本上不用编码。flume-ng agent命令是其中最主要的命令。

  3. Flume的Source、Channel和Sink都支持被配置为一个或多个，以实现数据分层或叠加。Source中的选择器（selector）可实现数据路由；Source中的拦截器（interceptor）可实现数据过滤。

怎么用

  1. 官网下载最新版本的flume，并解压到/home/hadoop/bigdata/flume目录下
  2. 添加FLUME的相关配置到路径
	export FLUME_HOME=/home/hadoop/bigdata/flume
	export FLUME_CONF_DIR=$FLUME_HOME/conf
	export PATH=$FLUME_HOME/bin:$PATH
  1. 在/home/hadoop/bigdata/flume/conf下，把flume-env.sh.template重命名为flume-env.sh，并修改文件的如下两处设定值：
export JAVA_HOME=/usr/local/java/jdk1.8.0_261
FLUME_CLASSPATH="/home/hadoop/bigdata/flume/lib/flume-ng-core-1.9.0.jar"

事实上，笔者只修改了FLUME_CLASSPATH，因为我的hadoop用户.bashrc里面已经有了JAVA_HOME的相关定义了。

  1. 在控制台输入“flume-ng version”，可看到flume的具体版本

  2. 模拟具体的应用场景

场景一：监听端口并打印收到的数据日志到控制台

#demo.conf: 单节点的Flume配置示例
# 定义Agent的名字是agent1，依次定义它的sources/sinks/channels
agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1

# 定义source1的信源类型为netcat，将服务绑定到本机的40404端口
agent1.sources.source1.type = netcat
agent1.sources.source1.bind = 0.0.0.0
agent1.sources.source1.port = 40404

# 定义sink1的类型是logger，即Flume的控制台日志
agent1.sinks.sink1.type = logger

# 定义channel1的类型为把Event放到内存
agent1.channels.channel1.type = memory

# 将Source和Sink绑定到channel1上
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1

运行命令：

flume-ng agent --conf-file=/home/hadoop/demo.conf --name agent1

在这里插入图片描述

场景二：监控某nginx日志，同步到另外一个文件目录

# 定义3种组件的名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 配置数据源
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /data/logs/nginx/xxx.xxxx.com-access.log

# 设定Sink类型为文件类型
a1.sinks.k1.type = file_roll
a1.sinks.k1.sink.directory = /home/hadoop/flume-log/
a1.sinks.k1.sink.pathManager.extension = dat
a1.sinks.k1.sink.pathManager.prefix = 931
a1.sinks.k1.sink.rollInterval = 30

# 设定Channel类型为内存类型
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 把Source和Sink绑定到Channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

场景三：Sink的多路复用，Flume的Agent支持多个Sink，Sink支持同时把Channel中的数据写入文件和HDFS
在这里插入图片描述

# 定义3种组件的名称
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1

# 配置Event源
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /data/logs/nginx/xxx.xxxx.com-access.log
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

# 定义文件类型的k1 Sink
a1.sinks.k1.type = file_roll
a1.sinks.k1.sink.directory = /home/hadoop/flume-log/
a1.sinks.k1.sink.pathManager.extension = dat
a1.sinks.k1.sink.pathManager.prefix = 932
a1.sinks.k1.sink.rollInterval = 0

# 定义HDFS类型的k2 Sink
a1.sinks.k2.type = hdfs
a1.sinks.k2.hdfs.path=hdfs://localhost/flume-log/%y-%m-%d
a1.sinks.k2.hdfs.userLocalTimeStamp = false
a1.sinks.k2.hdfs.rollSize = 10240000
a1.sinks.k2.hdfs.fileType = DataStream
a1.sinks.k2.hdfs.batchSize = 100

# 设定Channel类型为内存类型
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 把Source和Sink绑定到Channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1

场景四：Channel的多路复用，Flume中的Source、Sink和Channel都可以多路复用。下面是一个Channel多路复用的例子
在这里插入图片描述

# 定义3种组件的名称
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2

# 将Event源配置为HTTP报文类型的
a1.sources.r1.type = org.apache.flume.source.http.HTTPSource
a1.sources.r1.host = localhost
a1.sources.r1.port = 50000
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.channels = c1 c2

# 配置多路复用选择器（selector）
a1.sources.r1.selector.header = city
a1.sources.r1.selector.mapping.BJ = c1
a1.sources.r1.selector.mapping.SH = c2
a1.sources.r1.selector.default = c1

# 配置k1 Sink的类型为文件类型
a1.sinks.k1.type = file_roll
a1.sinks.k1.sink.directory = /home/hadoop/flume-log/
a1.sinks.k1.sink.pathManager.extension = dat
a1.sinks.k1.sink.pathManager.prefix = http
a1.sinks.k1.sink.rollInterval = 0
a1.sinks.k1.channel = c1

#配置k2 logger类型
a1.sinks.k2.type = logger
a1.sinks.k2.channel = c2

# 配置c1和c2的类型为内存类型
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100

运行命令：

flume-ng agent --conf /home/hadoop/bigdata/flume/conf/ --f /home/hadoop/934.conf --name a1 -Dflume.root.logger=INFO,console

模拟请求：

curl -X POST -d '[{"headers" :{"city" : "BJ"},"body" :"test from Beijing"}]' http://49.235.66.205:50000
curl -X POST -d '[{"headers" :{"city" : "SH"},"body" :"test from Beijing"}]' http://49.235.66.205:50000

场景五：合并两个网站的日志。Flume Agent也支持多个Source。合并网站日志的数据流图如下图所示，这里分别把slave01和slave02上的Apache日志Event以Avro方式发送到master Agent上，再落地到文件中
在这里插入图片描述
slave01：

# Name the components on this agent
a1.sources = r1
a1.sinks = avrosink
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = sudo tail -F /var/log/apache2/access.log

# Describe the avro sink
a1.sinks.avrosink.type = avro
a1.sinks.avrosink.hostname = master
a1.sinks.avrosink.port = 41414

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.avrosink.channel = c1

slave02：

# Name the components on this agent
a1.sources = r1
a1.sinks = avrosink
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = sudo tail -F /var/log/apache2/access.log

a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = regex_filter
a1.sources.r1.interceptors.i1.regex = .html
a1.sources.r1.interceptors.i1.excludeEvents = false

# Describe the avro sink
a1.sinks.avrosink.type = avro
a1.sinks.avrosink.hostname = master
a1.sinks.avrosink.port = 41414

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.avrosink.channel = c1

master

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = master
a1.sources.r1.port = 41414
# Describe the sink
a1.sinks.k1.type =file_roll
a1.sinks.k1.sink.directory=/home/hadoop/flume-log/
a1.sinks.k1.sink.pathManager.extension=dat
a1.sinks.k1.sink.pathManager.prefix=avro
a1.sinks.k1.sink.rollInterval=3000
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.channels.c1.keep-alive = 60

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
Flume自定义文件命名格式(RollFileSink)
sharkdoodoo
12-09 3289
Flume自带的本地文件Sink进行存储即RollingFileSink，其主要的官网参数如下 其中sink.rollInterval表示每个多久另起一个文件，比数据以每小时(sink.rollInterval=3600)写一个文件，那么flume就会自启动起开始每小时生成一个新文件，而且文件的名称是以时间戳的的方式命名的，非常不直观友好，比如在2019-12-01 00:00:00开始那第一个...
Flume滚动文件输出时文件名格式化为yyyyMMddHHmmss
银河小分队的博客
11-02 855
前言 Flume的sink 本地文件存储使用File Roll Sink时，默认文件格式是启动当前的时间戳+数字，不方便观察。于是查看源码，发现一个新大陆。Flime的RollingFileSink有PathManager（路径管理器）中找到了答案。 一、如何配置？ 直接上结果:在配置文件中加入这个参数 # 这是路径按照时间格式yyyyMMddHHmmss 滚动文件 sink.pathManager = ROLLTIME # 完整版 a1.sinks.k1.type = file_roll a1.sink
flume在windows10上运行
wateryouyo的博客
08-26 9475
1. 直接下载官网flume1.8，解压到本地F盘 2. 在conf目录下复制flume-env.ps1.template改为flume-env.ps1，改下FLUME_CLASSPATH    $FLUME_CLASSPATH="F:\kafka\apache-flume-1.8.0-bin\lib"   flume-env.sh操作同上 3.检查安装是否成功：  bin\flume-...
最全Flume常用配置文件详情解析
选择大于努力，所以你的选择是什么？
05-08 3193
最全Flume常用配置文件详情解析 Alienware^ 于 2020-08-19 21:08:09 发...
Flume(一)：flume安装配置
SingingFisher的博客
12-02 753
版本 本文档及相关的其他flume文档，均基于1.9.0版本的flume 下载 本文档编写时，flume1.9.0下载地址为http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz 如果链接失效，自行到flume官网下载 安装 安装的路径仅为例子，不是必须 Win10 将flume解...
flume自定义file sink,实现按时间创建文件夹，分隔文件以及自定义文件名
u013432112的专栏
10-25 5173
1.flume版本：1.8 2.配置文件： agent.sinks.csvSink.type = com.xxx.xxx.RollingFileSink agent.sinks.csvSink.sink.directory = /data #此处配置不使用flume默认的滚动 agent.sinks.csvSink.sink.rollInterval = 0 agent.sinks.csvS...
(5) flume ---- 工作记录2015年01月
pandaj的专栏
01-14 3044
1、修改flume-conf.properties文件，将sink的类型改成File Roll Sink，把格式化后的数据保存到本地               [/data/logs/flume/{type}/%Y%m%d/] 文件命名规则不需要修改，文件滚动由每隔10分钟生成一个新文件修改为每300MB生成一个新文件； 2、/data/logs/flume/{type}/%Y%m%d/ 中
Flume-ng生产环境实践（三）实现文件sink，按照固定格式目录输出
冷峰的空间
12-29 443
应用场景：需要实时收集多台服务器的nginx日志到一台机器。收集完成结果存放需要按天生成文件夹，按每5分钟生成文件，比如2012年12月29日12点26分的日志，需要放到/data/log/20121229/log-1225-对应的文件中。自己实现了类似flume-og和flume-ng的hdfs-sink的文件sink。 使用的时候配置如下： agent.sources = s...
hadoop-flume
qq_40659767的博客
03-28 294
source类型： 1.avro 监听Avro端口，从Avro client streams接收events。当与另一个（前一跳）Flume agent内置的Avro Sink配对时，它可以创建分层收集拓扑。 2.thrif ThriftSource 与Avro Source 基本一致。 监听Thrift端口并从外部Thrift客户端流接收事件。 当与另一（前一跳）Flume代理上的...
flume--网络日志收集
suojie的博客
01-21 213
#channels  内存 #sink 本地 a1.sources = s1 a1.channels=c1 a1.sinks=k1 #tcp协议 #a1.sources.s1.type =  syslogtcp #a1.sources.s1.port= 5140 #a1.sources.s1.host= wangfutai #a1.sources.s1.channels = c1...
【Flume】（一）Flume 高可用的、高可靠的、分布式日志收集系统
云祁QI
02-08 2636
文章目录一、初识 Flume二、安装 Flume三、简单案例实现(单节点实现)四、Flume Source1、netcat 源2、avro 源3、exec 源4、JMS 源5、Spooling Directory 源 一、初识 Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统， Flume支持在日志系统中定制各类数据发送方，用于收集数据；...
prometheus、influxdb2.2安装及flume_export下载编译使用
05-15 1825
prometheus安装 influxdb2.2安装 flume_exporter下载编译安装
Grafana+Prometheus监控Flume
PengDQ12的博客
10-26 3022
其中-Dflume.monitoring.type=http -Dflume.monitoring.port=36001 就是开启的被监听端口，给flume_exporter监控。修改flume_exporter下的config.yml文件，端口号改成自己设置的，如上36001，可监控多个flume，但也需在prometheus增加对应的配置参数。下载完成后，再次执行go install，如果没有go get输出，就会开始编译了。把结果中含有go get …如果下载过程中出现网络错误，go添加国内镜像源。
Flume环境部署和配置详解及案例大全
yjl33的专栏
07-21 4428
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 一、什么是Flume? 　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为
Flume单机安装与配置
weberhuangxingbo的博客
04-30 600
下载 apache-flume-1.6.0-bin.tar.gz 解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz 配置 cp conf/flume-conf.properties.template conf/flume-conf.properties cp conf/flume-env.sh.template conf/flume-e...
flume笔记（一）
亡の剑指
07-10 2170
从不同的源收集，聚合日志，传输到存储系统。       source用来读取数据，可以是各种客户端，或者来自另一个agent，存入channel，sink来消费，整个过程是异步的。   event只有在被成功存入下一个agent的channel里（多个agent）或最终目的地（单个agent）时才删除，确保可靠性。   Channel 有文件和内存两种。   多个实例要指
Flume + HDFS Sink采集数据及如何添加第三方JAR
iteye_14970的博客
11-19 494
Flume默认情况下是没有引入HDFS，Kafka，Elasticsearch，Hbase等sink的相关jar包，如果使用，需要自行添加相关jar包。 下面我以使用HDFS Sink为例，在Flume中加入第三方JAR包。 Flume支持一种特殊的目录结构：plugins.d，它有特殊的格式，可以很方面的管理第三方JAR。当然我们可以直接把第三方JAR丢掉$FLUME_HOME/lib目录，...
flume运行错误收集
热门推荐
竹叶青 的专栏
11-14 1万+
1）hostname错误： 2011-11-14 11:44:55,497 ERROR com.cloudera.util.NetUtils: Unable to get canonical host name! test: test java.net.UnknownHostException: test: test at java.net.InetAddress.get
大数据平台运维-flume安装
最新发布
04-25
### 关于大数据平台中 Flume 的安装配置与运维 Flume 是一种分布式、可靠且高可用的日志收集系统，广泛应用于大数据平台中的日志数据采集和传输场景。以下是关于 Flume 在大数据平台中的安装、配置以及运维的一些关键点： #### 1. **Flume 的基本概念** Flume 主要由三个核心组件组成：Source（源）、Channel（通道）和 Sink（目标）。 - Source 负责接收事件并将其传递到 Channel 中。 - Channel 是一个临时缓冲区，用于存储来自 Source 的事件直到它们被传送到 Sink。 - Sink 将事件写入外部存储或发送到下一个 Flume Agent[^3]。 #### 2. **Flume 的安装过程** 在 Linux 环境下安装 Flume 可以通过以下方式完成： - 下载 Apache Flume 的官方版本包，并解压至指定目录。 - 设置环境变量 `FLUME_HOME` 和 `PATH` 来简化命令调用。 - 使用如下命令验证 Flume 是否成功安装： ```bash [root@master conf]# flume-ng version ``` 如果显示 Flume 版本号，则说明安装成功[^3]。 #### 3. **Flume 的配置方法** Flume 的配置主要依赖于其配置文件（通常是 `.conf` 文件），该文件定义了 Source、Channel 和 Sink 的具体实现及其参数设置。例如，下面是一个简单的 Flume 配置示例： ```properties agent.sources = netcat-source agent.sinks = logger-sink agent.channels = memory-channel agent.sources.netcat-source.type = netcat agent.sources.netcat-source.bind = localhost agent.sources.netcat-source.port = 44444 agent.sinks.logger-sink.type = logger agent.channels.memory-channel.type = memory agent.channels.memory-channel.capacity = 1000 agent.channels.memory-channel.transactionCapacity = 100 agent.sources.netcat-source.channels = memory-channel agent.sinks.logger-sink.channel = memory-channel ``` 此配置表示 Flume 接收网络输入并通过内存通道将数据记录到控制台日志中[^3]。 #### 4. **Flume 的运维实践** 为了确保 Flume 在生产环境中稳定运行，可以采取以下措施： - **性能优化**：调整 Channel 的容量 (`capacity`) 和事务大小 (`transactionCapacity`) 参数来适应不同的流量负载[^3]。 - **监控机制**：利用 Cloudera Manager 或 Ambari 等工具对 Flume 实时监控，查看吞吐量、延迟等指标[^4]。 - **错误恢复策略**：启用 Flume 的内置重试机制，在发生短暂连接失败时自动尝试重新发送数据[^3]。 #### 5. **常见问题排查** 当遇到 Flume 故障时，可以通过检查日志文件定位问题原因。一些典型的错误可能包括但不限于： - 数据丢失：可能是由于 Channel 缓存不足或者 Sink 写入速度过慢引起。 - 性能瓶颈：通常表现为 CPU 占用率过高或磁盘 I/O 延迟增加。 --- ### 示例代码 启动 Flume Agent 的命令如下所示： ```bash flume-ng agent --name agent --conf $FLUME_CONF_DIR --conf-file example.conf -Dflume.root.logger=INFO,console ``` 其中 `$FLUME_CONF_DIR` 表示 Flume 配置文件所在的路径，而 `example.conf` 则是具体的配置文件名称[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值