大数据学习笔记48：Flume Sources（Flume源）

最新推荐文章于 2021-02-22 18:21:04 发布
最新推荐文章于 2021-02-22 18:21:04 发布
阅读量783 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/104274127
本文详细介绍了Flume的多种数据源，包括NetCat TCP Source、Avro Source、Exec Source、HTTP Source、Sequence Generator Source和Spooling Directory Source。通过实例展示了如何配置和使用这些数据源，便于理解Flume如何从不同来源接收数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、Flume Sources用户指南

http://flume.apache.org/FlumeUserGuide.html#flume-sources
在这里插入图片描述
本节我们准备学习下述Flume源：

  1. NetCat TCP Source
  2. Avro Source
  3. Exec Source
  4. HTTP Source
  5. Sequence Generator Source
  6. Spooling Directory Source

二、NetCat TCP Source

（一）用户指南网址

http://flume.apache.org/releases/content/1.9.0/Fl

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据学习笔记49：Flume Sinks（Flume接收器）
howard2005的专栏
02-13 693
文章目录一、Flume Sinks用户指南二、Logger Sink（一）用户指南网址（二）通过Logger Sink在控制台显示收集到的数据1、在master节点上flume配置目录创建sink-logger.conf2、在master节点上启动flume的agent进程3、在slave1节点通过nc向master节点发送信息4、切换到master节点查看接收信息三、File Roll Sink...
大数据学习笔记47：Flume - 下载、安装与配置
howard2005的专栏
02-12 660
文章目录一、下载Flume二、安装Flume1、上传apache-flume-1.8.0-bin.tar.gz到虚拟机 基于大数据学习笔记30：搭建高可用Hadoop集群里创建的高可用Hadoop集群安装与配置Flume。 一、下载Flume 下载链接：https://pan.baidu.com/s/13s1SYZELAcGuB9qr2n8yjw 提取码：wdgl 二、安装Flume 1、上传a...
（二）数据采集——Flume
点滴记录IT技术进程
12-22 1469
文章目录一、Flume概述1. 引言2. 数据源二、Flume架构1. 架构图2. 组件及其功能3. Flume运行流程4. Flume核心组件SourceChannelSink三、Flume安装1. 运行环境2. 安装步骤四、Flume使用入门1. 配置文件2. 启动Flume五、Flume和log4j集成1. 依赖2. 配置日志文件3. 配置flume配置文件4. 启动运行5. 查看结果六、多...
自定义flume的source源
weixin_43020373的博客
01-04 428
import org.apache.commons.io.FileUtils; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.EventDrivenSource; import org.apache.flume.channel.ChannelProcessor; imp...
大数据学习_数据采集工具 Flume
qq_41612830的博客
02-22 1105
目录1 Flume概述1.1 Flume的定义1.2 Flume体系结构1.3 Flume拓扑结构2 1 Flume概述 1.1 Flume的定义 Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。 Flume支持在日志系统中定制各类数据发送方，用于采集数据； Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 简单的说，Flume是实时采集日志的数据采集引擎。 Flume有3个重要组件：Source、Channel、Sink 特点： 分布
flume的Source(数据源)
古龙
12-18 6009
source学习网址： http://flume.apache.org/FlumeUserGuide.html 一、Avro类型的Source 监听Avro 端口来接收外部avro客户端的事件流。和netcat不同的是，avro-source接收到的是经过avro序列化后的数据，然后反序列化数据继续传输。所以，如果是avro-source的话，源数据必须是经过avro序列化后的数据。而netcat...
Flume笔记(一) flume工作原理以及数据源获取
leeyu的博客
12-08 1552
flume 特点： 分布式、可靠、高可用的海量日志采集、聚合和传输的系统 在生产者和消费者中间起协调作用 flume工作原理： flume的数据流由事件（event）贯穿始终。事件是flume的基本单位，它携带日数据并且携带带有头信息， 这些event由agent外部的source生成，当source捕获事件后会进行特定的格式化，然后source会把事件推入channel中， 保存事...
大数据学习笔记50：Flume Channels（Flume通道）
howard2005的专栏
02-14 751
文章目录一、Flume Channels用户指南二、Memory Channel（内存通道）（一）用户指南网址（二）案例演示（三）应用场景三、JDBC Channel（JDBC通道）（一）用户指南网址（二）案例演示（三）应用场景四、Spillable Memory Channel（内存溢出通道）（一）用户指南网址（二）案例演示（三）应用场景五、FileChannel （文件通道）（一）用户指南网址...
大数据学习笔记51：Flume Channel Selectors（Flume通道选择器）
howard2005的专栏
02-14 861
文章目录一、Flume Channel Selectors用户指南二、多路复用通道选择器（一）用户指南网址（二）master节点接收数据，按路由规则发送到slave1与slave2节点1、在master节点上flume配置目录创建selector-multiplexing.conf2、在slave1节点上flume配置目录创建selector-multiplexing.conf3、在slave2节...
flume中几种常见的source、channel、sink
喜上眉梢
11-14 2万+
flume中几种source、channel、sink的区别 一、source 1、avro source 侦听Avro端口并从外部Avro客户端流接收事件。 当与另一个（上一跳）Flume代理上的内置Avro Sink配对时，它可以创建分层集合拓扑。  channels –   type – The component type na
如何编译及运行flume源码
zhujianlin1990的专栏
02-17 4702
一、从源码开始编译 1、github(https://github.com/apache/flume)上fork分支，下载到本地 2、编译 mvn clean package -DskipTests=true  ，要求JDK7及以上版本，maven3及以上版本 编译过程中，可能有很多jar下载不了，建议用google搜索，相应的jar，下载到本地仓库(本人反复下载缺失jar，拷贝到maven
Flume 1.7 源码分析（二）整体架构
Lnho的专栏
02-27 4239
Flume 1.7 源码分析（一）源码编译 Flume 1.7 源码分析（二）整体架构 3 整体架构Flume有三大组件：Source、Channel、Sink。 Source就是数据来源，例如Web Server产生日志后，可使用ExecSource执行tail -F命令后不断监听日志文件新生成的数据，然后传给Channel。 Channel就是一个缓存队列，由于读取数据和写入数据的速
flume收集日志的几种sources的收集实例
jiaoshenmo的博客
05-03 5501
实例1 ：类型avro，在flume的conf里面创建一个avro.conf用来测试，如下： a1.sources = r1 a1.sinks = k1 a1.channels = c1# Describe/configure the source a1.sources.r1.type = avro a1.sources.r1.channels = c1 a1.sources.r1.bi
Flume 官方文档翻译 Flume 1.8.0 User Guide（一）
啊左的专栏
02-09 2469
Introduction简述 OverView 综述 System Requirements系统要求 Architecture架构 Data flow model数据流动模型 Complex flows复杂流 Reliability可靠性 Recoverability可恢复性 Setup设置 Setting up an agent配置Agent Configuring individu...
Flume 案例实操 - 单数据源多出口案例(一)
热门推荐
小杨的技术博客
05-19 2万+
拓扑结构 案例需求 使用flume-1监控文件变动， flume-1将变动内容传递给flume-2，flume-2负责存储到HDFS flume-1将变动内容传递给flume-3，flume-3负责输出到local filesystem。 实现步骤 创建配置文件 准备工作 在/opt/module/flume-1.7.0/job目录下创建group1文件夹 mkdir group1 cd ...
[Flume基础]-- 使用Kafka与Flume
欢迎来到我的博客，一起探索代码里的世界！
11-22 8021
一、描述       在CDH 5.2及更高版本中，Flume包含Kafka源和sink。 使用这些从Kafka到Hadoop或从任何Flume源到Kafka的流数据。 二、条件       在CDH 5.7及更高版本中，Kafka的Flume连接器仅适用于Kafka 2.0及更高版本。 三、要点       不要配置Kafka源以将数据发送到Kafka接收器。 如果这样做，Kafka源...
flume日志抓取设计
然月 枕流君
10-21 1万+
近期实在没有什么可写的了, docker遇到很多的坑, 只能先写一点其他的东西, flume用的公司很多, 不过一般成熟的一二线的公司基本是很少使用, 他的性能和网络传输一直是有提升空间的, 对于我们这些小公司出身的人,曾经还是靠他混饭吃的. 设计是两年前的实现, 现在觉得很多不是很合理的地方,特别是在分流的设计上,不过flume的传输占带宽的问题也一直没有解决,曾经对flume做了部分优化,写
Flume ——自定义Source采集源（Java代码）
我的博客
10-27 860
Flume ——自定义Source采集源
Flume的avro源配置
实践求真知
01-19 2017
一 配置文件r_avro.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = avro a1.sources.r1.bind =0.0.0.0 a1.sources.r1.port= 4141 a1.sinks.k1.type = logger a1.channels.c1.type = memo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值