Flume实战(1)—single agent flow的实现

最新推荐文章于 2025-06-25 00:23:38 发布
原创 最新推荐文章于 2025-06-25 00:23:38 发布 · 890 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Flume #Single Agent #Agent

1.理论基础

Data Flow Model

# 列出agent的 sources, sinks and channels 
<Agent>.sources = <Source>
<Agent>.sinks = <Sink>
<Agent>.channels = <Channel1> <Channel2>

# 设置source的channel
<Agent>.sources.<Source>.channels = <Channel1> <Channel2> ...

# 设置sink的channel
<Agent>.sinks.<Sink>.channel = <Channel1>

需要注意的是：
- 一个source可以对接多个channel
- 一个sink只能对接一个channel

实现一个数据流的需求关键点就在于source和sink类型的选择

最低0.47元/天 解锁文章

200万优质内容无限畅学
Flume Interceptor原理与代码实例讲解
AI天才研究院
06-01 842
1. Background Introduction Apache Flume is a distributed, reliable, and scalable data collection and streaming platform. It is designed to collect, aggregate
Flume面试整理-多种数据流配置
不务正业的猿
10-14 652
不同的数据流配置适用于不同的数据传输需求和场景，了解这些配置可以帮助你在实际项目中选择最合适的方案。描述：类似于复合流，数据从一个Source被同时发送到多个Channel，但每个Channel的Sink会分别处理这些数据。不同的事件类型可以根据内容或元数据的不同，被发送到指定的Channel。描述：一个Source的数据可以同时被写入多个Channel，而每个Channel可以有一个或多个Sink进行数据输出。使用场景：适用于需要根据事件的特性（如日志级别、来源等）将数据路由到不同的处理路径的场景。
Flume实践
sinat_35403904的博客
01-24 2151
一、简介： 采集、收集数据 二、安装 1.      解压 2.      在conf下复制一份flume-conf.properties.template就可以开始玩flume了 三、概念 source：源数据（你从哪里来） sink：源数据落地点（要到哪里去） channel：信道，用于连接source和sink（来时的路） 四、几个应用场景介绍 1.      多级age
大数据离线阶段Day4之Flume实战案例
qq_39581763的博客
09-11 920
1． 日志的采集和汇总1.1． 案例场景 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在要求： 把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 但是在hdfs中要求的目录为： /source/logs/access/20160101/** /source...
手把手教你 Flume 安装：从环境搭建到第一个数据管道（附避坑指南）
最新发布
gtf212的博客
06-25 1120
🌟 飞哥彩蛋：生产级配置模板下载 关注我的 优快云 博客「小飞敲代码」，私信回复 “Flume 安装” 获取： 《Flume 安装避坑手册》（含 10 大常见问题解决方案） 生产级配置模板（Flume+Kafka+HDFS 完整链路配置） 一键安装脚本（支持 CentOS/Ubuntu，自动检测环境） 安装过程中遇到任何问题，欢迎在评论区留言 “飞哥救命”，我会挑 5 个典型问题录制手把手解决视频！觉得有用的话，别忘了点赞 + 收藏 + 关注，下次带你揭秘 Flume 性能优化的 “葵花宝典”～
Flume-实战
li1019865596的博客
07-13 432
Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚 合、传输的系统。 Flume支持在日志系统中定制各类数据发送方，用于采集数据； Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 简单的说，Flume是实时采集日志的数据采集引擎。 Flume有3个重要组件：Source、Channel、Sink 特点： 分布式：flume分布式集群部署，扩展性好 可靠性好: 当节点出现故障时，日志能够被传送到其...
Flume 实战案例
hni_94的博客
03-31 338
采集目录到 HDFS 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到 HDFS 中去 根据需求，首先定义以下 3 大要素 数据源组件，即 source ——监控文件目录：spooldir spooldir 特性： 1、 监视一个目录，只要目录中出现新文件，就会采集文件中的内容 2、 采集完成的文件，会被 agent 自动添加一个后缀：.COMPLETE...
Flume实践案例
m0_55834564的博客
09-17 918
将commons-configuration-1.6.jar、hadoop-auth-2.7.3.jar、hadoop-common-2.7.3.jar、hadoop-hdfs-2.7.3.jar、commons-io-2.4.jar、htrace-core-3.1.0-incubating.jar拷贝到/opt/module/flume/lib文件夹下。采集源: 即是source--监控文件内容的更新: exec 'tail -F file'3.启动Flume采集命令(测试阶段下使用)
Flume详解（包括flume框架，flume安装测试等内容）
wudidahuanggua的博客
09-26 2078
flume详细介绍
一次flume exec source采集日志到kafka因为单条日志数据非常大同步失败的踩坑带来的思考
HuaZi_Myth的博客
11-07 4723
本次遇到的问题描述，日志采集同步时，当单条日志（日志文件中一行日志）超过2M大小，数据无法采集同步到 kafka，分析后，共踩到如下几个坑。 1、flume采集时，通过shell+EXEC（tail -F xxx.log 的方式） source来获取日志时，当单条日志过大超过1M时，source端无法从日志中获取到Event。 2、日志超过1M后，flume的kafka sink 作为生产者发送给...
【ETL工具】Flume 入门案例实战
康师傅没有眼泪
11-14 2104
Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到 指定的目的地(sink)。但是以上的这些拦截器，不能改变原有日志数据的内容或者对 日志信息添加一定的处理逻辑，当一条日志信息有几十个甚至上百个字段的时候， 在传统的 Flume 处理下，收集到的日志还是会有对应这么多的字段，也不能对你 想要的字段进行对应的处理。同个节点内，Source写入数据到Channel,数据在一个批次内的数据出现异常，则不写入到Channel，已接收到的部分数据直接抛弃，靠上一个节点重发数据。
Flume之项目实战
lslslslslss的博客
12-27 808
目录 一、多路复用及拦截器的使用 二、复制 三、聚合 一、多路复用及拦截器的使用 需求：使用Flume采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。（区分数字和字母，将其发往不同的系统） 一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume的channelselecter中的Multiplexing结构，Multiplexing的原理是，根据event中Header的某个key的值...
flume实践
谢谢俊东的博客
04-29 354
flume是Java写的，需要依赖jvm，首先安装jre或jdk 统一使用cdh5.7.0版本apache-flume-1.6.0-cdh5.7.0-bin，到cdh5下载 加入环境变量 export FLUME_HOME=/home/hadoop/app/flume export PATH=$FLUME_HOME/bin:$PATH source下让其配置生效 拷贝$FLUM...
flume实战案例
06-28 298
目录实战1实战2实战3实战4 单数据源多出口案例(选择器)实战5 单数据源多出口案例(Sink组)实战6 多数据源汇总案例 实战1 首先启动Flume任务，监控本机44444端口，服务端； 然后通过netcat工具向本机44444端口发送消息，客户端； 最后Flume将监听的数据实时显示在控制台。 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost
大数据日志收集框架之Flume实战
星辰大数据的博客
11-13 1372
一、环境准备 1、安装包下载 jdk1.8：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html flume1.9.0：http://flume.apache.org/download.html 2、安装flume 解压flume到 /usr/lcoal目录下 tar zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/ 创建软连接 ln -s..
flume使用示例
FAN15378785757的博客
05-15 238
flume的特点： flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Ev...
数据采集-flume-实战
epitomizelu的专栏
11-24 1049
一，安装 1，下载 http://archive.apache.org/dist/flume/ 2，解压即安装 3，删除一个jar包，这个包和hadoop中的包冲突 rm /module/flume/lib/guava-11.0.2.jar 删除之后要配置Hadoop_Home的环境变量 4，配置文件 将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置flume-env.sh文件 mv flume-env.sh.template flume-e
Flume系列二之案例实战
留歌__36的博客
11-21 1583
Flume案例实战写在前面 通过前面一篇文章http://blog.youkuaiyun.com/liuge36/article/details/78589505的介绍我们已经知道flume到底是什么？flume可以用来做什么？但是，具体怎么做，这就是我们这篇文章想要介绍的。话不多说，直接来案例学习。实战一：实现官网的第一个简单的小案例-从指定端口采集数据输出到控制台如何开始呢？ 看官网！！！！
Flume 实战开发指南
jast
03-17 3088
Flume 文章目录FlumeFlume介绍Flume核心概念Flume NG的体系结构SourceChannelSinkFlume的部署类型单一流程多代理流程（多个agent顺序连接）流的合并（多个Agent的数据汇聚到同一个Agent ）多路复用流（多级流）load balance功能Flume组件选型SourceChannelFileChannel和MemoryChannel区别FileChannel优化SinkHDFS小文件处理案例：日志采集发送到KafkaFlume配置日志采集流程配置如下Flum
flume实战配置flume agent
03-14
### Flume Agent 的实战配置教程 Flume 是一个分布式、可靠且高可用的日志收集系统，主要用于大规模日志数据的采集和聚合。以下是关于如何进行 Flume Agent 配置的具体说明。 #### 1. 基本概念理解 Flume 中的核心组件包括 Source、Channel 和 Sink。 - **Source**: 数据源，负责接收外部输入的数据流。 - **Channel**: 缓冲区，用于临时存储来自 Source 的数据。 - **Sink**: 输出目标，将 Channel 中的数据写入到最终目的地（如 HDFS 或 Kafka）。 此外，在实际应用中可以利用 Interceptor 对数据进行预处理[^2]。 --- #### 2. Flume Agent 配置文件结构 Flume 使用 `conf` 文件来定义其运行参数。以下是一个典型的 Flume 配置文件示例： ```properties # 定义Agent名称及其组成组件 agent.sources = source1 agent.sinks = sink1 agent.channels = channel1 # 配置source1 (Netcat Source作为例子) agent.sources.source1.type = netcat agent.sources.source1.bind = localhost agent.sources.source1.port = 44444 # 添加Interceptor (可选部分) agent.sources.source1.interceptors = i1 agent.sources.source1.interceptors.i1.type = timestamp # 配置channel1 (Memory Channel作为例子) agent.channels.channel1.type = memory agent.channels.channel1.capacity = 1000 agent.channels.channel1.transactionCapacity = 100 # 配置sink1 (Logger Sink作为例子) agent.sinks.sink1.type = logger # 将source连接至channel, 并将channel连接至sink agent.sources.source1.channels = channel1 agent.sinks.sink1.channel = channel1 ``` 上述配置展示了如何通过 NetCat 接收数据并将其记录到 Logger Sink 中。如果需要更复杂的场景，比如将数据发送到 HDFS 或 Kafka，则需调整相应的 Sink 类型[^1]。 --- #### 3. 插件化扩展：使用 Interceptor 进行数据增强 为了实现更加灵活的功能需求，可以通过自定义或者内置的 Interceptor 来修改原始事件的内容。例如时间戳插件会在每条消息上附加当前的时间戳信息；主机名插件则会标记该条目所属服务器的信息等。 下面展示了一个简单的 HostInterceptor 示例： ```properties agent.sources.source1.interceptors = i1 agent.sources.source1.interceptors.i1.type = host agent.sources.source1.interceptors.i1.preserveExisting = false agent.sources.source1.interceptors.i1.useIP = false agent.sources.source1.interceptors.i1.hostHeader = hostname ``` 此设置将会把接收到的消息打上对应的机器hostname标签以便后续分析时区分不同的节点来源。 --- #### 4. 调试工具集成 对于开发环境下的调试工作来说，引入 Django Debug Toolbar 可极大地方便开发者定位问题所在位置以及观察内部状态变化情况。具体操作如下所示: 编辑项目的 urls.py 文件加入如下代码片段即可启用它: ```python if settings.DEBUG: import debug_toolbar urlpatterns.insert(0, path('__debug__/', include(debug_toolbar.urls))) ``` 这样就可以方便地查看请求路径、SQL查询次数等各种性能指标了. --- ### 总结 以上就是有关于 Apache Flume Agent 实战配置的相关介绍。从基础架构搭建到高级功能定制都有所涉及，希望能够帮助读者更好地理解和运用这一强大的开源框架！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值