Flume例子：使用netcat和exec作为信源，logger和file作为信宿，并分别为每对信源和信宿实现一个信道

最新推荐文章于 2024-09-04 23:05:17 发布
最新推荐文章于 2024-09-04 23:05:17 发布
阅读量2.1k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据hadoop开发 文章标签： hadoop集群 flume netcat exec
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dalaoadalaoa/article/details/42419501
本文详细介绍了如何使用Flume配置netcat和exec作为数据来源，logger和file作为数据接收器。通过创建两个不同的信道，实现了从netcat接收数据并输出到logger，同时从exec读取数据写入到file。在实际操作中，通过telnet远程连接并发送数据，验证了配置的有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一展身手：使用netcat和exec作为信源，logger和file作为信宿，并分别为每对信源和信宿实现一个信道：

（1）程序如下：保存为agentx.conf文件：

agentx.sources = netsource execsource

agentx.sinks = logsink filesink

agentx.channels = memorychannel1  memorychanne2

 

agentx.sources.netsource.type = netcat

agentx.sources.netsource.bind = 172.16.2.17

agentx.sources.netsource.port = 3000

最低0.47元/天 解锁文章

200万优质内容无限畅学
使用Flume exec读取数据并读入HDFS
QYHuiiQ
05-04 875
官方文档： https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 实现的大致思路是使用exec读取一个命令的执行结果，并将该结果发送至HDFS中。 创建conf文件 [root@hadoop01 test_conf]# pwd /usr/local/wyh/apache-flume-1.8.0-bin/test_conf [root@hadoop01 test_conf]# cat test-exec-hdfs.con
1.netcat和exec source方式
飞少fly的博客
05-31 558
1.使用官方的组件， 搭配一个 从 netcat source -> memory channel -> logger sink 的 demo 启动agent： ]# ./bin/flume-ng agent --conf conf --conf-file ./conf/1.flume_netcat.conf --name a1 -Dflume.root.logger=INFO,console 发数据： ]# telnet master 44444 flume_netcat.conf文
【Flume】【源码分析】flume中ExecSource源码的详细分析——执行终端命令获取数据
三也_攻城狮
02-05 4394
我们直接看该Source的start方法吧 public void start() { logger.info("Exec source starting with command:{}", command); executor = Executors.newSingleThreadExecutor(); runner = new ExecRunnable(shell
Flume(五) Exec Source
技术博客
08-05 305
Exec Source会运行指定的命令，然后收集这个命令的执行结果。可以利用这个Source来完成部分场景的监控，例如对方是否有返回，文件是否有新增等， 适用于监控一个实时追加的文件，但不能保证数据不丢失；举例：要实时监听test.log文件的变化，如果文件有变化，要实时指导。编辑配置文件添加如下内容。会发现监控到了日志的变化。
flume使用之exec source收集各端数据汇总到另外一台服务器
赶路人儿
09-29 6613
一、场景一描述： 线上api接口服务通过log4j往本地磁盘上打印日志，在接口服务器上安装flume，通过exec source收集日志，然后通过avro sink发送到汇总服务器上的flume；汇总服务器上的flume通过avro source接收日志，然后通过file_roll sink写到本地磁盘。 假设：api接口服务器两台 10.153.140.250和10.153.140.25...
大数据-Flume(三)：案例、配置文件编写【案例①：netcat--＞logger】【案例②：taildir--＞hdfs】
u013250861的博客
04-02 531
使用Flume监听一个，收集该端口数据，并打印到。
Flume配置（NetCatSource，ExecSource，SqoolingDirectory，MemoryChannel， FileChannel，LoggerSink，HDFS Sink ）
May_J_Oldhu的博客
11-30 504
Flume组件的配置示例一.Flume组件的配置示例1.NetCat TCP Source，Memory Channel,Logger Sink1）NetCat TCP Source2）Memory Channel3）Logger Link2.Exec Source，Memory Channel,Logger Sink1）Exec Source2）Memory Channel3.Spooling Directory Source,File Channel,Logger Link1）Spooling Dire
Flume系列：案例-Flume负载均衡和故障转移
wester的博客
05-28 1381
系统环境：centos7Java环境：Java8案例只演示通道流程，其中Source，channel，Sink的种类按需调整故障转移配置与负载均衡两个选一个，不能同时配置。
Flume系列：案例-Flume复制(Replicating)和多路复用(Multiplexing)
wester的博客
05-28 1118
系统环境：centos7Java环境：Java8案例只演示通道流程，其中Source，channel，Sink的种类按需调整。
Flume 使用exec及avro方式实现数据收集
harvey的博客
10-26 5152
导读：       本篇博客笔者主要介绍如何使用exec实现数据收集到HDFS、使用avro方式实现数据收集及整合exec和avro实现数据收集。Flume 官方文档：http://flume.apache.org/FlumeUserGuide.html1.使用exec实现数据收集到HDFS需求：监控一个文件，将文件中新增的内容收集到HDFS Agent选型：exec source + memo
Flume的UDP源 com.whitepages.flume.plugins.source.udp.UDPSource
05-07
由于Flume的netcatudp为sources，avro为sink时，udp数据发送会报null of map in field headers of org.apache.flume.source.avro.AvroFlumeEvent of array。但是此类解决了这个问题。只需要将此类放在Flume安装的lib目录下，然后sources的type写com.whitepages.flume.plugins.source.udp.UDPSource即可使用
Flume 的应用1（exec source、memory channel、hdfs sink）
weixin_48067943的博客
08-17 570
Flume 之exec source、memory channel、hdfs sink 文章目录Flume 之exec source、memory channel、hdfs sink2.2 实时监控单个追加文件 2.2 实时监控单个追加文件 1）案例需求：实时监控 Hive 日志，并上传到HDFS中 注意：tail -f (失败后不重试) tail -F （失败后重试一般3次） 2）需求分析： 3）实现步骤： （1）Flume 需要依赖 Hadoop 相关的 jar包，才能将数据输出到 HDFS
3.Flume简单应用-netcat
百年一梦
05-02 1527
1.安装netcat rpm -ivh ./*.rpm重启xineted./etc/rc.d/init.d/xineted restart2.使用flume命令$ bin/flume-ng Usage: bin/flume-ng <command> [options]...commands: agent run a Flume agentglobal
Flume
weixin_32229529的博客
05-05 347
1.1 Flume定义 Flume是Cloudera（云纪元（公司名））提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 Flume，实时读取本地磁盘的数据==》flume是步署在日志产生的位置，本地磁盘 ， 1.2 Flume基础架构 Flume组成架构如图1-1所示： 图1-1 Flume组成架构 source收集采集数据==》chann...
Flume NetCat UDP Source 获取客户端IP
四月的水的博客
12-30 849
Flume-ng version: 1.9.0 Flume 官方文档：http://flume.apache.org/ - 官方文档中关于 NetCat UDP Source 的说明如下： 其中 remoteAddressHeader 这一项就是指定一个 key 用于再header中存放客户端IP，但实际使用中发现存在出入。 - 先编写一个自定义拦截器，将接收的event header和body在debug模式下打印出来看下，拦截器代码如下： package com.mit.DC; i.
Flume（3）source组件之NetcatSource使用介绍
01-22 564
一、概述： 本节首先提供一个基于netcat的source+channel（memory）+sink（logger）的数据传输过程。然后剖析一下NetcatSource中的代码执行逻辑。 二、flume配置文件： 下面的配置文件netcat.conf中定义了source使用netcat，它会监听44444端口。 # Name the components on this a...
flume 使用 exec 采集容器日志，转储磁盘
花菜回锅肉的博客
09-04 893
flume 使用 exec 采集容器日志，转储磁盘 在该场景下，docker 服务为superset，flume 的sources 选择 exec ， sinks选择 file roll 。
FLUME总结
weixin_41995893的博客
08-08 1359
一、简介： Flume是一个分布式，可靠可用性高的日志收集系统，能够采集，集合和传输数据，采用数据流模式。核心概念有事件与进程，事件由数据单元，消息头与消息体组成。进程由source，channel与sink组成。 Flume的优势在于它可以将数据发送到任何集中存储器上，其次当数据收集速度超过数据写入速度时，系统会自行做出调整，在数据生产者与数据收容器之间形成平衡。一共有三种级别的可靠性保障以...
flume入门及在windows环境中启动运行
程序员Monkey的专栏
06-30 3804
最近公司项目需求，要研究flume技术，近段时间研究了一下，给它来做个小小滴总结！ 一、什么是Flume? 　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件
编写flume测试文件 sources使用netcat channels使用memory sinks使用logger
最新发布
10-15
在Flume中，如果你打算使用`NetCat`作为Source（源），`Memory Channel`作为数据通道，以及`Logger Sink`作为目的地，那么你的测试配置可能会看起来像这样： ```yaml agent { channel { type = memory capacity = 10000 maxFileSize = 1MB } source { name = netcat-source type = netcat port = 9999 # 指定NetCat监听的端口 host = localhost } sink { name = logger-sink type = logger } source -> channel -> sink } # 运行测试 bin/flume-ng agent start -Dflume.root.logger=DEBUG,console -c conf -f flume-test.conf # 启动NetCat服务器接收Flume数据 nc -lk 9999 << EOF # 你也可以在这里插入一些数据，格式需符合Flume的要求，比如JSON或CSV {"message": "This is a test message from Flume"} EOF # 检查LoggerSink的日志，确认数据是否已正确记录 bin/flume-ng log-viewer --server localhost --port 11000 --filter "source=netcat-source" --format json ``` 在这个例子中，NetCat Source会接收外部数据并通过Flume管道传递给Logger Sink。`Logger Sink`通常用于测试目的，因为它不会真正地持久化数据，而是直接打印到控制台或日志中。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值