大数据学习笔记49：Flume Sinks（Flume接收器）

最新推荐文章于 2024-05-19 18:23:00 发布
最新推荐文章于 2024-05-19 18:23:00 发布
阅读量693 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/104290492
本文详细介绍了Flume的Sinks，包括Logger Sink、File Roll Sink、Avro Sink和HDFS Sink的使用。通过实例展示了如何配置和使用这些Sinks，如在控制台显示数据、定时保存到本地文件、多级流动、扇入和扇出流，以及将数据写入HDFS。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、Flume Sinks用户指南

http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#flume-sinks
在这里插入图片描述
本节我们准备学习下述Flume接收器：

  1. Logger Sink
  2. File Roll Sink
  3. Avro Sink
  4. HDFS Sink

二、Logger Sink

（一）用户指南网址

http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#logger-sink

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据学习笔记48：Flume Sources（Flume源）
howard2005的专栏
02-12 780
文章目录一、Flume Sources用户指南二、NetCat TCP Source（一）用户指南网址（二）利用Source组件接收NetCat数据1、在slave1节点上安装NetCat2、在master节点上配置flume3、在master节点上启动flume的agent进程4、在slave1节点上通过nc发布信息5、切换到master节点查看接收信息6、在浏览器里访问http://maste...
大数据学习笔记51：Flume Channel Selectors（Flume通道选择器）
howard2005的专栏
02-14 861
文章目录一、Flume Channel Selectors用户指南二、多路复用通道选择器（一）用户指南网址（二）master节点接收数据，按路由规则发送到slave1与slave2节点1、在master节点上flume配置目录创建selector-multiplexing.conf2、在slave1节点上flume配置目录创建selector-multiplexing.conf3、在slave2节...
Flume系列：Flume Sink使用
wester的博客
05-10 1065
Flume系列：Flume Sink使用
flume1.8 Sinks类型介绍（三）
Swordfall的博客
01-01 328
1. Flume Sinks 1.1 HDFS Sink 该sink把events写进Hadoop分布式文件系统（HDFS）。它目前支持创建文本和序列文件。它支持在两种文件类型压缩。文件可以基于数据的经过时间或者大小或者事件的数量周期性地滚动。它还通过属性（如时间戳或发生事件的机器）把数据划分为桶或区。 agent a1的示例： 上述配置会将时间戳降到最后10分钟。例如，带有1...
9.Flume Sinks
sun
06-13 1192
1.Hdfs Sink a1.channels = c1 a1.sinks = k1 a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S a1.sinks.k1.hdfs.filePrefix = events- a1.sinks.k1.
Flume Sink
happy19870612's blog
11-21 887
一 HDFS Sink 将event写入HDFS. 1.1  RequiredProperties channel:从哪一个channelpull数据 type:hdfs hdfs.path:HDFSdirectory path 比如hdfs://hadoop09-linux:8020/user/ hadoop/flume/hive/log   1.2  OptionalPrope
Flume 入门--几种不同的Sinks
天青色等烟雨 而我在等你
03-27 1413
主要介绍几种常见Flume的Sink--汇聚点1.Logger Sink 记录INFO级别的日志，一般用于调试。前面介绍Source时候用到的Sink都是这个类型的Sink必须配置的属性：属性说明：            !channel    –                 !type    –    The component type name, needs to be logger  ...
【大数据生态】Flume学习笔记
m0_64280569的博客
03-30 1471
如果正在写入新行，则该源将在等待写入完成时重试读取它们。Multiplexing的原理是，根据 event 中 Header 的某个 key 的值，将不同的 event 发送到不同的 Channel中，所以我们需要自定义一个 Interceptor，为不同类型的 event 的 Header 中的 key 赋予不同的值。在该案例中，我们以端口数据模拟日志，以数字（单个）和字母（单个）模拟不同类型的日志，我们需要自定义 interceptor 区分数字和字母，将其分别发往不同的分析系统（Channel）。
大数据日志收集框架之Flume实战
2401_84181731的博客
04-27 834
五、Flume 通道。
Flume学习_接收器
weixin_34216196的博客
11-11 300
2019独角兽企业重金招聘Python工程师标准>>> ...
Flume 根据字段进行路由插入 ES
04-26
基于Flume-1.8.0，ES-5.6.11 ， 根据某个字段创建 type ,进行路由批量插入 ES，使用redis 缓存已从MySQL 查出的转换数据
2-Flume之Sink与Channel
m0_73450879的博客
03-25 1480
自定义Sink的时候，需要定义一个类继承，实现Sink接口，最好还要实现接口来获取配置。注意，自定义Sink的过程中，需要关注事务问题。依赖和笔记1中用的一样。//打印流，打印到文件或者Flume的窗口。sout调用的就是这个类中的方法@Override//从flume中的格式文件中获取路径信息@Overrideif(!Event e;
Flume(7) flume自定义Sinks实现
热门推荐
cowbin2012的专栏
05-07 1万+
源码地址 前言 接上一篇Flume(6) flume自定义Sources实现，我们总结了一下自定义source的流程，这次我们实现一个自己的Sink，将数据Sink到Mysql数据库中。 创建数据库相关 CREATE TABLE `flume` ( `content` varchar(255) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=u...
Flume 总结（四）sinks类型-1.9.0新版
xiaohu21的博客
10-10 502
Flume 总结（四）sinks类型-1.9.0新版 1. sinks HDFS Sink 注意，日志数据放到hdfs或者其他地方，一般都是根据时间进行文件管理分类，一般都是天，也有以小时进行存储的 当以时间进行存放时，可以时间建立目录，这时候时间可以从日志中取（需要在拦截器中取出时间戳放进event的header中） 当以时间进行文件命名或者参与命名时，可以对时间进行的间隔进行设计，例如以小时，则可以设计10小时建立下一个目录 由于日志较多，存入hdfs时，可以设计以存入条数，存入文件大小，存
flume sink 简介及官方用例
最新发布
v15220的博客
05-19 981
https://flume.apache.org/FlumeUserGuide.html#source-and-sink-batch-sizes-and-channel-transaction-capacities
Flume1.7 Sinks 支持 Elasticsearch 6.5.4 历险记
大数据云计算人工智能小兵
05-13 1054
ElasticSearch升级到6.5.4版本后，flume1.7自带的es sinks连ElasticSearch报错。 ElasticSearch报错日志如下： java.lang.IllegalStateException: Received message from unsupported version: [1.0.0] minimal compatible version is: ...
flume自定义sink写入es
lvhong1234的博客
07-21 1286
flume elasticsearch sink
flume
weixin_45401571的博客
07-16 469
flume 知识点总结
FLume 常用Sink配置说明
GCH6969的博客
09-02 4021
1.Sink 常用的Sink类型 HDFS Sink 这个Sink将Event写入Hadoop分布式文件系统（也就是HDFS）。 目前支持创建文本和序列文件。 它支持两种文件类型的压缩。 可以根据写入的时间、文件大小或Event数量定期滚动文件（关闭当前文件并创建新文件）。 它还可以根据Event自带的时间戳或系统时间等属性对数据进行分区。 存储文件的HDFS目录路径可以使用格式转义符，会由HDFS Sink进行动态地替换，以生成用于存储Event的目录或文件名。 使用此Sink需要安装hadoop， 以便
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值