Flume基础入门

最新推荐文章于 2024-10-13 14:12:46 发布
原创 最新推荐文章于 2024-10-13 14:12:46 发布 · 341 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flume基础

本文详细介绍Flume的日志采集机制，包括netcat、exec、spool dir、Avro、Kafka、taildir等source类型，memory、file、Kafka等channel类型，以及HDFS、Avro等sink类型。深入探讨每种类型的特性和配置参数。

1.Flume简介

flume是一个日志采集工具，使用Event在中间传输，event可以携带headers，以byte数组的形式发送。为了保证一定传输成功，flume每个agent都有俩个事务，一个是source和channel之间的事务，一个是channel和sink之间的事务。
在数据传输的过程中，在到目的地之前会先缓存数据，直至成功以后才会删除数据

2.source类型

  • netcat source

工作机制

启动一个socket服务，监听一个端口；将端口上收到的数据，转成event写入channel

配置文件

a1.sources = s1
a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 44444
a1.sources.s1.channels = c1

  • exec source

工作机制

启动一个用户所指定的linux shell命令；
采集一个用户指定的linux shell命令的输出，作为收集到的数据，转为event写入channel；

配置文件

a1.sources = s1
a1.sources.s1.channels = c1
a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /root/weblog/access.log 
a1.sources.s1.batchSize = 100

a1.channels = c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 200
a1.channels.c1.transactionCapacity = 100

a1.sinks = k1
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1

缺点

当宕机以后，不会记录宕机前数据采集的偏移量，容易造成数据的丢失

  • spool dir source

工作机制

监视一个指定的文件夹，如果文件夹下有没采集过的新文件，则将这些新文件中的数据采集，并转成event写入channel；
注意：spooling目录中的文件必须是不可变的，而且是不能重名的！否则，source会loudly fail！

配置文件

a1.sources = s1
a1.sources.s1.channels = c1
a1.sources.s1.type = spooldir
a1.sources.s1.spoolDir = /root/weblog 
a1.sources.s1.batchSize = 200

a1.channels = c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 200
a1.channels.c1.transactionCapacity = 100

a1.sinks = k1
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1

spooling在宕机以后会记录宕机前数据采集的便宜量，所以是一个安全的采集source

  • avro source

工作机制

启动一个服务，监听一个端口，收集端口上收到的avro序列化数据流！
该source中拥有avro的反序列化器，能够将收到的二进制流进行正确反序列化，并装入一个event写入channel！

配置文件

a1.sources = r1
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141


a1.channels = c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 200
a1.channels.c1.transactionCapacity = 100

a1.sinks = k1
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1

  • kafka source

工作机制

Kafka source的工作机制：就是用kafka consumer连接kafka，读取数据，然后转换成event，写入channel

配置文件

a1.sources = s1
a1.sources.s1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.s1.channels = c1
a1.sources.s1.batchSize = 100
a1.sources.s1.batchDurationMillis = 2000
a1.sources.s1.kafka.bootstrap.servers = c701:9092,c702:9092,c703:9092
a1.sources.s1.kafka.topics = TAOGE
a1.sources.s1.kafka.consumer.group.id = g1

a1.channels = c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 200
a1.channels.c1.transactionCapacity = 100

a1.sinks = k1
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1

  • taildir source

工作机制

监视指定目录下的一批文件，只要某个文件中有新写入的行，则会被tail到
它会记录每一个文件所tail到的位置，记录到一个指定的positionfile保存目录中，格式为json（如果需要的时候，可以人为修改，就可以让source从任意指定的位置开始读取数据）
它对采集完成的文件，不会做任何修改（比如重命名，删除……）

配置文件

a1.sources = r1
a1.sources.r1.type = TAILDIR
a1.sources.r1.channels = c1
a1.sources.r1.positionFile = /root/flumedata/taildir_position.json
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /root/weblog/access.log
a1.sources.r1.fileHeader = true
a1.sources.ri.maxBatchCount = 1000

a1.channels = c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 200
a1.channels.c1.transactionCapacity = 100

a1.sinks = k1
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1

注意

taildir是一个可靠的source，采集数据的时候一般选择使用taildir

3.channel

  • memory channel

特性

事件被存储在实现配置好容量的内存（队列）中。
速度快，但可靠性较低，有可能会丢失数据

配置参数

a1.channels = c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 10000
a1.channels.c1.byteCapacityBufferPercentage = 20
a1.channels.c1.byteCapacity = 800000

  • file channel

特性

event被缓存在本地磁盘文件中
可靠性高，不会丢失
但在极端情况下可能会重复数据

配置参数

a1.sources = r1
a1.sources.r1.type = TAILDIR
a1.sources.r1.channels = c1
a1.sources.r1.positionFile = /root/taildir_chkp/taildir_position.json
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /root/weblog/access.log
a1.sources.r1.fileHeader = true
a1.sources.ri.maxBatchCount = 1000


a1.channels = c1
a1.channels.c1.type = file
a1.channels.c1.capacity = 1000000
a1.channels.c1.transactionCapacity = 100
a1.channels.c1.checkpointDir = /root/flume_chkp
a1.channels.c1.dataDirs = /root/flume_data

a1.sinks = k1
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1

  • kafka channel

特性

agent利用kafka作为channel数据缓存
kafka channel要跟 kafka source、 kafka sink区别开来
kafka channel在应用时，可以没有source | 或者可以没有sink

配置参数

a1.sources = r1
# 配置两个channel,为了便于观察
# c1 是kafkachannel ,c2是一个内存channel
a1.channels = c1 c2
a1.sinks = k1

a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /root/logs/a.log
a1.sources.r1.channels = c1 c2

# kafka-channel具体配置，该channel没有sink
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = h1:9092,h2:9092,h3:9092
a1.channels.c1.parseAsFlumeEvent = false

# 内存channel 配置,并对接一个logger sink来观察
a1.channels.c2.type = memory
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c2

4.sink

  • hdfs sink

特性

数据被最终发往hdfs
可以生成text文件或 sequence 文件，而且支持压缩；
支持生成文件的周期性roll机制：基于文件size，或者时间间隔，或者event数量；
目标路径，可以使用动态通配符替换，比如用%D代表当前日期；

配置参数

## 定义
a1.sources = r1
a1.sinks = k1
a1.channels = c1

## source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /root/logs/a.log
a1.sources.r1.channels = c1
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

## channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 100000000

## sink
a1.sinks.k1.channel = c1
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://h1:8020/doitedu/%Y-%m-%d/%H-%M
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute

a1.sinks.k1.hdfs.filePrefix = doit_
a1.sinks.k1.hdfs.fileSuffix = .log.gz

a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.rollSize = 102400
a1.sinks.k1.hdfs.rollCount = 0

a1.sinks.k1.hdfs.fileType = CompressedStream
a1.sinks.k1.hdfs.codeC = gzip
a1.sinks.k1.hdfs.writeFormat = Text

  • avro sink

特性

avro sink用来向avro source发送avro序列化数据，这样就可以实现agent之间的级联

配置参数

a1.sources = s1
a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /root/weblog/access.log
a1.sources.s1.channels = c1

a1.channels = c1
a1.channels.c1.type = memory

a1.sinks = k1
a1.sinks.k1.type = avro
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = c701
a1.sinks.k1.port = 4545

5.总结

flume是一个开箱即用的工具，使用的时候配置好参数即可，可以在任何服务器安装flume。

Flume系列2-Flume 入门
只是甲的博客
12-24 2327
文章目录一. Flume 安装部署二. Flume 入门案例2.1 监控端口数据官方案例2.1.1 安装netcat2.1.2 创建 Flume Agent 配置文件2.1.3 先开启 flume 监听端口2.1.4 开启netcat2.1.5 在 Flume 监听页面观察接收数据情况2.2 实时监控单个追加文件2.2.1 创建 flume配置文件2.2.2 运行Flume2.2.3 开启Hive 并操作 Hive 产生日志2.3 实时监控目录下多个新文件2.3.1 创建配置文件2.3.2 启动监控文件夹命
记录一下flume中因为taildir_position.json因位置不对导致数据无法从kafka被采到hdfs上的问题
yuanlaishidahuaa的博客
04-19 700
最后发现是我的taildir_position.json之前在/opt/module/flume/jobs/collectionProject路径下（4.JSONObject.class（flume/lib中也已经导入），我需要用flume将kafka上的数据采集到hdfs上，发现数据怎么到不了hdfs。），导致flume读不到这个文件的位置，所以无法从kafka将数据读到hdfs。MySQL数据库的增量数据已从kafka成功同步到hdfs~2.我的flume配置文档（没问题），3.时间拦截器（没问题），
Flume常用配置参数
Realoyou的博客
08-08 9277
概述 本篇文章是根据Flume官网对Flume组件（Source,Channel,Sink）的常用配置参数做一个主要介绍，如有表达意思错误希望不吝指出。 Sources Flume中常用的Source有NetCat，Avro，Exec，Spooling Directory，Taildir，也可以根据业务场景的需要自定义Source,具体介绍如下。 NetCat Source ...
Flume简介以及案例测试
weidajiangjiang的博客
09-21 661
参考借鉴： 用户文档： http://flume.apache.org/FlumeUserGuide.html 开发文档： http://flume.apache.org/FlumeDeveloperGuide.html Flume原理解析： https://www.cnblogs.com/zhangyinhua/p/7803486.html 参考原文地址：https://blog.csdn.ne...
Flume 入门（安装部署+入门案例）
mengxianglong123的博客
10-01 988
Flume 入门（安装部署+入门案例）一、Flume安装部署1.1 安装地址1.2 安装部署二、Flume入门案例2.1 监控端口数据官方案例1）案例需求：2）需求分析：3）实现步骤：2.2 实时监控单个追加文件1）案例需求：实时监控Hive日志，并上传到HDFS中2）需求分析：3）实现步骤：2.3 实时监控目录下多个新文件1）案例需求：2）需求分析：3）实现步骤：2.4 实时监控目录下的多个追加文件1）案例需求：2）需求分析： 一、Flume安装部署 1.1 安装地址 （1） Flume官网地址：http
flume入门教程
洛云凡
10-27 696
参考借鉴： 用户文档： http://flume.apache.org/FlumeUserGuide.html 开发文档： http://flume.apache.org/FlumeDeveloperGuide.html Flume原理解析： https://www.cnblogs.com/zhangyinhua/p/7803486.html 参考原文地址：https://blog.csdn.ne...
Flume入门--万字详解
qq_73181349的博客
04-22 1767
Flume基础架构、安装部署、入门案例、断点续传源码修改
【数据采集工具】Flume从入门到深入学习总结
不积跬步，无以至千里
10-13 2057
数据采集工具 -- Flume 内容学习整理，如有错误，欢迎评论区交流指出。
Flume入门知识
weixin_42455459的博客
12-23 693
1. Flume基础知识 Flume是一个分布式、高可靠的、高可用的海量日志数据采集、聚合和传输服务。Flume由Agent组成（表现为一个jvm进程），每个agent含有source、channel、sink三个部分。 Agent以event形式将数据从source送至sink。Event含有Header和Body两部分。 2. Flume事务 为保证数据可靠传输，Flume内部采用事务机制实现source和channel、channel和sink间数据安全传输。 ...
Flume入门到实践--Flume的安装与基础概念与安装实战
天冬忘忧的博客
09-28 1472
Apache Flume 是一个高可用、高可靠的分布式系统，用于有效收集、聚合和移动大量日志数据。本文将从Flume的基础概念讲起，逐步深入到安装配置，并提供几个实用的案例。
（一）Flume概述及快速入门
fseast的博客
09-29 3174
目录一、Flume概述1. Flume定义2. Flume基础架构2.1 Agent2.2 Source2.3 Sink2.4 Channel2.5 Event二、Flume快速入门1. Flume安装部署1.1 安装地址1.2 安装部署2. Flume入门案例2.1 监控端口数据案例 一、Flume概述 1. Flume定义   Flume是Cloudera提供的一个高可用的，高可靠的，分布式的...
Flume入门
taoy86的博客
05-02 357
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。一个独立的Flume进程称之为Agent,包含组件Source、Channel、Sink Source。Flume OG:Flume original generation ，即Flume 0.9.x版本 ；...
Flume最简单使用
lydms的博客
09-23 1万+
Flume最简单使用教程
flume简单入门
weixin_43167990的博客
10-09 1019
Flume 介绍 概述 Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume 支持定制各类数据发送方，用于收集各类型数据；Flume 支持定制各类数据发送方，用于收集各类型数据；同时， Flume 提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 一般的采集需求，通过对 flume 的简单配置即可实现。 针对特殊场景也具备良好的自定义扩展能力。 ...
Flume 入门教程（超详细）
热门推荐
西门催学不吹雪
03-10 2万+
文章目录1. Flume 概述1.1 Flume 定义 1. Flume 概述 1.1 Flume 定义   
flume简介和入门使用
erbadao123的博客
12-11 476
flume简介和入门使用flume简介和入门使用flume 简介flume 角色介绍1.总体架构图2.详细架构逻辑图3.Agent3.1 Source3.2 Channel3.2 Sink3.Eventflume 初步使用1.Flume安装地址2.安装部署3.简单案例flume 和kafka 集成 flume简介和入门使用 flume简单介绍和初步使用 flume 简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 f
大数据学习——Flume入门
5akura's Blog
08-06 3208
文章目录一、Flume概述1.1、Flume定义1.2、Flume基础架构二、Flume快速入门2.1、安装Flume部署2.2、入门案例2.2.1、监控端口数据（官方案例）Describe the sinkUse a channel which buffers events in memoryBind the source and sink to the channel2.2.2、实时监控单个追加文件2.2.3、监控文件 升级版2.2.4、监控文件夹变化2.2.5、断点续传——实时监控目录文件追加修改三、
Flume教程(一) Flume入门教程
yuan_xw的专栏
04-13 1万+
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。
【Flume】Flume入门解析（一）
Together
12-05 6469
1. 什么是flume? apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中 2. 安装步骤 1.将Flume安装包上传至集群 2.解压 tar...
头歌Flume入门
最新发布
03-24
### Apache Flume 入门教程 #### 什么是 Apache Flume？ Apache Flume 是一个分布式、可靠且高可用的日志收集系统，主要用于从多个数据源高效地采集日志并将其传输到集中存储系统中。它支持多种数据源输入方式以及灵活的目标输出配置[^1]。 #### Flume 的核心概念 Flume 的架构基于事件驱动模型，其主要组成部分包括以下几个方面： - **Source**：负责接收外部系统的数据流，并将这些数据转换成 Flume 中的标准 Event 形式。 - **Channel**：作为临时缓冲区，用于暂存来自 Source 的 Events，直到它们被传递给 Sink。 - **Sink**：负责将 Channel 中的 Events 转发至目标存储位置（如 HDFS 或 Kafka）。 此外，Flume 还可以扩展其他功能模块，例如拦截器（Interceptors）和选择器（Selectors），以便实现更加复杂的数据处理需求[^2]。 #### 安装与基本配置 以下是安装 Apache Flume 并完成基础配置的具体方法： 1. 下载官方发布的二进制版本压缩包 `apache-flume-1.9.0-bin.tar.gz`，并将该文件上传至 Linux 系统中的任意目录下。 2. 使用命令解压此压缩包到指定路径 `/opt/module/` 下： ```bash tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module/ ``` 3. 对解压后的文件夹进行重命名操作以简化后续调用过程： ```bash mv apache-flume-1.9.0-bin flume ``` 4. 修改默认模板脚本名称为实际使用的环境变量设置文件名： ```bash cd /opt/module/flume/conf && mv flume-env.sh.template flume-env.sh ``` 5. 编辑上述生成的新文件，在其中定义好 Java 开发工具链所在的位置参数值： ```bash export JAVA_HOME=/usr/local/java/jdk1.8.0_151 ``` #### 启动简单监控端口示例 为了验证当前部署是否成功运行起来，可以通过创建一个小例子来观察效果——即监听某个特定 TCP/IP 协议上的流量情况。 编辑一个新的配置文件命名为 test.conf ，内容如下所示： ```properties agent.sources = netcat-source agent.sinks = logger-sink agent.channels = memory-channel # Describe/configure the source agent.sources.netcat-source.type = netcat agent.sources.netcat-source.bind = localhost agent.sources.netcat-source.port = 44444 # Describe the sink agent.sinks.logger-sink.type = logger # Use a channel which buffers events in memory agent.channels.memory-channel.type = memory agent.channels.memory-channel.capacity = 1000 agent.channels.memory-channel.transactionCapacity = 100 # Bind the source and sink to the channel agent.sources.netcat-source.channels = memory-channel agent.sinks.logger-sink.channel = memory-channel ``` 保存之后执行启动指令即可开始工作模式： ```bash ./bin/flume-ng agent --conf conf/ --name agent --conf-file ./test.conf -Dflume.root.logger=INFO,console ``` 此时如果向本地机器开放的服务地址发送消息，则应该能够在终端窗口看到打印出来的相应记录信息[^3]。 #### 结合 Maven 构建项目实例 当需要通过编程手段接入 Flume 功能时，通常会借助于流行的构建管理框架之一 —— Maven 来组织整个工程结构及其依赖关系。下面给出一段典型的 POM.XML 片段描述如何引入必要的库资源： ```xml <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.9.0</version> </dependency> <!-- 如果需要用到 Avro 组件 --> <dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId> <version>1.11.0</version> </dependency> ``` 另外还有一种常见场景就是把 Flume 和 Log4J 日志框架结合起来使用，这样能够方便开发者捕获应用程序内部产生的各种调试提示或者错误警告等内容，并进一步转发出去做统一分析处理[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值