Flume应用案例之从指定网络端口采集数据输出到控制台

最新推荐文章于 2024-01-03 10:31:32 发布
最新推荐文章于 2024-01-03 10:31:32 发布
阅读量551 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 分布式日志收集框架Flume Spark大数据生态圈学习总结及项目实战 文章标签： Flume应用实例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/CowBoySoBusy/article/details/83064943

紧接我的上一篇博客 分布式日志收集框架Flume环境安装部署
这里开始实践，讲一下flume的应用案例
从指定网络端口采集数据输出到控制台
还是先参考一下万能的官网
https://flume.apache.org/FlumeUserGuide.html

a1:agent名称
r1:数据源的名称
k1:sink的名称
c1:channel的名称

example.conf

#Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#Describe/configure the source
a1.sources.r1.type
最低0.47元/天 解锁文章

200万优质内容无限畅学
Flume-A：从网络端口采集数据输出到控制台
weixin_42656794的博客
06-28 438
1概述 了解一个框架就去它的官网上看 http://flume.apache.org/ Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and f...
Flume应用案例之监控一个文件实时采集新增的数据输出到控制台
29DCH的博客
10-16 1026
紧接我的前两篇博客讲下来 分布式日志收集框架Flume环境安装部署 Flume应用案例之从指定网络端口采集数据输出到控制台 阅读这篇博客如有问题，可以先参考阅读我的这两篇博客相关内容 Agent选型:exec source + memory channel + logger sink 在conf目录下创建exec-memory-logger.conf文件 vi exec-memory-logge...
Flume实战案例一，从指定网络端口采集数据输出到控制台
璀璨下的一点星辰
11-07 1757
flume新建任务就是在写配置文件   配置example.conf   在conf下新建文件example.conf   加入 # example.conf: A single-node Flume configuration 需要配置agent a1 source r1 channel k1 sinks c1 然后将source，channel，sinks关联起来 # Name t...
Flume使用之监听指定端口并打印到控制台
FlatTiger的博客
02-23 1270
本案例端口监听使用的是netcat，如果使用虚拟机模拟实现，可以先执行yum -y install nc。 自定义flume的配置文件，注意文件名要以.conf结尾。 # 定义agent名字 a1 # 定义sources、channels、sinks 都可以有多个，空格隔开 a1.sources = r1 a1.channels = c1 a1.sinks = k1 # 定义source类型 a1.sources.r1.type = netcat # 绑定source地址 a1.sources.r1.
flume案例--监听本地网络端口 把网络端口的数据采集到 输出到console控制台上
qq_36382679的博客
06-26 490
1 在node-1 上配置vim netcat-logger.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = node-1 a1.sources.r1.port = 44444 # Describe the sink
Flume监听端口数据
qq_70085330的博客
08-16 983
Flume监听端口数据
flume 采集指定端口的日志
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-06 508
本实验任务主要完成基于ubuntu环境使用flume的采集某个端口的日志信息。通过完成本实验任务，要求学生初步了解flume对端口信息的采集语法格式，为深度学习flume知识做基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。熟悉Flume概述，Flume架构   熟悉Flume基本组件Source,Sink,Channel   理解Avro Source将数据输出到Console本次环境是：Ubuntu16.04+flume-ng-1.5.0-cdh5.3.6Flume
Flume学习-采集端口数据存入kafka
HaveAGoodDay428的博客
03-15 3464
Flume学习-采集端口数据存入kafka
数据采集入门——Flume应用
m0_47396944的博客
04-29 2328
Flume应用 Flume是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统。 Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。一个agent内部有三个组件： · Source：采集源，用于跟数据源对接，以获取数据； · Channel：agent内部的数据传输通道，用于从source将数据传递到sink； · Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据 在整个数据的传输的过程中，流动的是event
Flume:（三）FLUME使用（监听端口输出信息到控制台）
x670667585的博客
11-10 473
打开官网， documentation目录下，user guide setup中的例子拷贝出来修改 FLUME使用主要是写配置文件： 配置Source 配置Channel 配置Sink 串联Source、Chanel、Sink a1:agent的名称 r1：Source的名称 c1：Channel的名称 k1：Sink的名称 # example.conf: A single-no...
由离散数据内插出规则格网数据的程序
12-09
地理信息系统(gis)中由一些离散点,通过此程序生成所有规则格网点的高程.采用中心点移动拟合法.
Flume采集数据：从指定网络端口和实时监控新增数据
lbship的博客
12-06 2724
一、从指定端口采集数据 1.配置flume文件 创建一个文件叫ip.conf，自己随便取的名字。 a1.sources=r1 a1.sinks=k1 a1.channels=c1 #描述和配置source，这里的a表示agent的名字 #第一步:配置source a1.sources.r1.type=netcat a1.sources.r1.bind=192.168.116.10 a1.s...
flume入门案例之监控端口数据
weixin_46122692的博客
11-22 457
1、需求：使用Flume监听一个端口，收集该端口数据，并打印到控制台。 2、安装netcat工具 yum -y install nc 3、判断44444端口是否被占用 netstat -tunlp | grep 44444 4、创建flume agent配置文件flume-netcat-logger.conf cd /data/flume/apache-flume mkdir job cd job/ vim flume-netcat-logger.conf 添加： # flume配置的例子 # Nam
Flume 自定义 Sink
weixin_44966780的博客
12-15 943
Flume 自定义 Sink 1）介绍 Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。Sink 是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统或下一个 lume Agent，Sink 就利用 Channel 提交事务。事务一旦被提交，该 Channel 从自己的内部缓冲区删除事件。 Sink 组件目的地包括 hdfs、l
Sink Processor—负载均衡配置以及配置文件正常，控制台无输出解决办法
bbrry的博客
04-14 1552
如何配置Sink Processor—负载均衡，以及配置文件正常，logger控制台上无法输出，解决办法
Flume1.10及以上版本实现控制台打印输出
三水清来
03-24 2070
flume1.10及以上版本怎么样才能像1.9版本那样正常在控制台打印输出数据呢，目前有2种方法可以参考。
Flume基础知识（三）：Flume 实战监控端口数据官方案例
最新发布
zuodingquan666的博客
01-03 1186
（5）在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。：flume 本次启动读取的配置文件是在 job 文件夹下的 flume-telnet.conf 文件。（3）创建 Flume Agent 配置文件 flume-netcat-logger.conf。（6）在 flume-netcat-logger.conf 文件中添加如下内容。（4）在 flume 目录下创建 job 文件夹并进入 job 文件夹。（1）安装 netcat 工具。
Flume1.9自定义Source和Sink实战
hu10131013的博客
06-15 736
Flume1.9自定义Source和Sink实战
（二十）大数据实战——Flume数据采集的基本案例实战
厉害哥哥的博客
08-30 2640
本节内容我们主要介绍几个Flume数据采集的基本案例，包括监控端口数据、实时监控单个追加文件、实时监控目录下多个新文件、实时监控目录下的多个追加文件等案例。完成flume数据监控的基本使用。
Flume采集数据到Kafka，然后从Kafka存储到HDFS的实践指南
"Flume采集数据到Kafka，然后从kafka取数据存储到HDFS的方法思路和完整步骤" 在大数据处理中，Flume、Kafka和HDFS是三个常用的技术栈，分别负责数据采集、数据传输和数据存储。下面是使用Flume采集数据到Kafka，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值