Flume应用案例之从指定网络端口采集数据输出到控制台

最新推荐文章于 2024-01-03 10:31:32 发布

29DCH

最新推荐文章于 2024-01-03 10:31:32 发布

阅读量551

点赞数

CC 4.0 BY-SA版权

分类专栏：分布式日志收集框架Flume Spark大数据生态圈学习总结及项目实战文章标签： Flume应用实例

本文链接：https://blog.youkuaiyun.com/CowBoySoBusy/article/details/83064943

紧接我的上一篇博客分布式日志收集框架Flume环境安装部署
这里开始实践，讲一下flume的应用案例
从指定网络端口采集数据输出到控制台
还是先参考一下万能的官网
https://flume.apache.org/FlumeUserGuide.html

a1:agent名称
r1:数据源的名称
k1:sink的名称
c1:channel的名称

example.conf

#Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#Describe/configure the source
a1.sources.r1.type

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

29DCH

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Flume-A：从网络端口采集数据输出到控制台

weixin_42656794的博客

06-28

438

1概述了解一个框架就去它的官网上看 http://flume.apache.org/ Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and f...

Flume:（三）FLUME使用（监听端口输出信息到控制台）

x670667585的博客

11-10

471

打开官网， documentation目录下，user guide setup中的例子拷贝出来修改 FLUME使用主要是写配置文件：配置Source 配置Channel 配置Sink 串联Source、Chanel、Sink a1:agent的名称 r1：Source的名称 c1：Channel的名称 k1：Sink的名称 # example.conf: A single-no...

参与评论您还未登录，请先登录后发表或查看评论

Flume实战案例一，从指定网络端口采集数据输出到控制台

璀璨下的一点星辰

11-07

1756

flume新建任务就是在写配置文件配置example.conf 在conf下新建文件example.conf 加入 # example.conf: A single-node Flume configuration 需要配置agent a1 source r1 channel k1 sinks c1 然后将source，channel，sinks关联起来 # Name t...

Flume使用之监听指定端口并打印到控制台

FlatTiger的博客

02-23

1270

本案例端口监听使用的是netcat，如果使用虚拟机模拟实现，可以先执行yum -y install nc。自定义flume的配置文件，注意文件名要以.conf结尾。 # 定义agent名字 a1 # 定义sources、channels、sinks 都可以有多个，空格隔开 a1.sources = r1 a1.channels = c1 a1.sinks = k1 # 定义source类型 a1.sources.r1.type = netcat # 绑定source地址 a1.sources.r1.

flume案例--监听本地网络端口 把网络端口的数据采集到输出到console控制台上

qq_36382679的博客

06-26

487

1 在node-1 上配置vim netcat-logger.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = node-1 a1.sources.r1.port = 44444 # Describe the sink

Flume监听端口数据

qq_70085330的博客

08-16

983

Flume监听端口数据

Flume采集数据：从指定网络端口和实时监控新增数据

lbship的博客

12-06

2723

一、从指定端口采集数据 1.配置flume文件创建一个文件叫ip.conf，自己随便取的名字。 a1.sources=r1 a1.sinks=k1 a1.channels=c1 #描述和配置source，这里的a表示agent的名字 #第一步:配置source a1.sources.r1.type=netcat a1.sources.r1.bind=192.168.116.10 a1.s...

flume入门案例之监控端口数据

weixin_46122692的博客

11-22

457

1、需求：使用Flume监听一个端口，收集该端口数据，并打印到控制台。 2、安装netcat工具 yum -y install nc 3、判断44444端口是否被占用 netstat -tunlp | grep 44444 4、创建flume agent配置文件flume-netcat-logger.conf cd /data/flume/apache-flume mkdir job cd job/ vim flume-netcat-logger.conf 添加： # flume配置的例子 # Nam

Flume 自定义 Sink

weixin_44966780的博客

12-15

943

Flume 自定义 Sink 1）介绍 Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。Sink 是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统或下一个 lume Agent，Sink 就利用 Channel 提交事务。事务一旦被提交，该 Channel 从自己的内部缓冲区删除事件。 Sink 组件目的地包括 hdfs、l

Sink Processor—负载均衡配置以及配置文件正常，控制台无输出解决办法

bbrry的博客

04-14

1552

如何配置Sink Processor—负载均衡，以及配置文件正常，logger控制台上无法输出，解决办法

由离散数据内插出规则格网数据的程序

12-09

地理信息系统(gis)中由一些离散点,通过此程序生成所有规则格网点的高程.采用中心点移动拟合法.

Flume1.10及以上版本实现控制台打印输出

三水清来

03-24

2067

flume1.10及以上版本怎么样才能像1.9版本那样正常在控制台打印输出数据呢，目前有2种方法可以参考。

Flume基础知识（三）：Flume 实战监控端口数据官方案例

最新发布

zuodingquan666的博客

01-03

1185

（5）在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。：flume 本次启动读取的配置文件是在 job 文件夹下的 flume-telnet.conf 文件。（3）创建 Flume Agent 配置文件 flume-netcat-logger.conf。（6）在 flume-netcat-logger.conf 文件中添加如下内容。（4）在 flume 目录下创建 job 文件夹并进入 job 文件夹。（1）安装 netcat 工具。

Flume1.9自定义Source和Sink实战

hu10131013的博客

06-15

736

Flume1.9自定义Source和Sink实战

（二十）大数据实战——Flume数据采集的基本案例实战

厉害哥哥的博客

08-30

2640

本节内容我们主要介绍几个Flume数据采集的基本案例，包括监控端口数据、实时监控单个追加文件、实时监控目录下多个新文件、实时监控目录下的多个追加文件等案例。完成flume数据监控的基本使用。

Flume系列2-Flume 入门

只是甲的博客

12-24

2206

文章目录一. Flume 安装部署二. Flume 入门案例2.1 监控端口数据官方案例2.1.1 安装netcat2.1.2 创建 Flume Agent 配置文件2.1.3 先开启 flume 监听端口2.1.4 开启netcat2.1.5 在 Flume 监听页面观察接收数据情况2.2 实时监控单个追加文件2.2.1 创建 flume配置文件2.2.2 运行Flume2.2.3 开启Hive 并操作 Hive 产生日志2.3 实时监控目录下多个新文件2.3.1 创建配置文件2.3.2 启动监控文件夹命

【三】Flume的使用：从指定的网络端口采集数据输出到控制台

Sid小杰的博客

07-13

2594

官网介绍官网配置介绍agent配置文件：# example.conf: A single-node Flume configuration# Name the components on this agent# a1是agent的名称# r1是source的名称# k1是sink的名称# c1是channel的名称a1.sources = r1a1.sinks = k1a1.channels = ...

Flume 学习 —— 案例一：Flume 监听端口，在控制台输出端口数据

wangyang163wy的博客

03-04

2471

案例一：Flume 监听端口，在控制台输出端口数据创建配置文件 1.在 flume 的 conf 同级目录下创建 job 文件夹，并在 job 文件夹内创建 flume-telnet-logger.conf cd /usr/wang/flume mkdir job cd job vim flume-telnet-logger.conf 将下方文件拷贝到 flume-telnet-logger....

【四】Flume使用：监控文件实时采集新增数据输出到控制台

Sid小杰的博客

07-13

8667

agent选择：exec source + memory channel + logger sinkexec source 运行一个给定的unix命令memory channel channel中的数据放在内存中logger sink 最终把采集到的数据打印到控制台上创建测试用的日志文件mkdir /app/flume/testDatacd /app/flume/testDatatouch tes...