Flume 总结（四）sinks类型-1.9.0新版

最新推荐文章于 2024-05-19 18:23:00 发布
最新推荐文章于 2024-05-19 18:23:00 发布
阅读量488 收藏
点赞数
分类专栏： flume 行为日志 大数据 文章标签： flume 大数据 分布式 scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaohu21/article/details/109005438
版权
本文总结了Flume 1.9.0版本中的各种Sink类型，包括HDFS Sink用于按时间管理日志文件，Hive Sink，Logger Sink，Avro Sink支持agent级联，Thrift Sink，IRC Sink，File Roll Sink，Null Sink，HBase和HBase2 Sink，AsyncHBaseSink，MorphlineSolrSink，ElasticSearchSink，Kite Dataset Sink，Kafka Sink，HTTP Sink以及自定义Sink。这些Sink在大数据处理和分布式系统中扮演着重要角色。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flume 总结（四）sinks类型-1.9.0新版

1. sinks

在这里插入图片描述

  1. HDFS Sink在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

注意，日志数据放到hdfs或者其他地方，一般都是根据时间进行文件管理分类，一般都是天，也有以小时进行存储的
当以时间进行存放时，可以时间建立目录，这时候时间可以从日志中取（需要在拦截器中取出时间戳放进event的header中）
当以时间进行文件命名或者参与命名时，可以对时间进行的间隔进行设计，例如以小时，则可以设计10小时建立下一个目录
由于日志较多，存入hdfs时，可以设计以存入条数，存入文件大小，存入时间间隔进行文件滚动规则设置

最低0.47元/天 解锁文章
大数据学习笔记49：Flume Sinks（Flume接收器）
howard2005的专栏
02-13 642
文章目录一、Flume Sinks用户指南二、Logger Sink（一）用户指南网址（二）通过Logger Sink在控制台显示收集到的数据1、在master节点上flume配置目录创建sink-logger.conf2、在master节点上启动flume的agent进程3、在slave1节点通过nc向master节点发送信息4、切换到master节点查看接收信息三、File Roll Sink...
flume-ng-elasticsearch-sink-1.9.0.jar
09-19
flume1.9 sink支持elasticsearch6.x；采用源码重构的方式；个人测试功能完善，但未投入生产使用，请读者自行考虑慎重使用
flume1.8 Sinks类型介绍（三）
Swordfall的博客
01-01 321
1. Flume Sinks 1.1 HDFS Sink 该sink把events写进Hadoop分布式文件系统（HDFS）。它目前支持创建文本和序列文件。它支持在两种文件类型压缩。文件可以基于数据的经过时间或者大小或者事件的数量周期性地滚动。它还通过属性（如时间戳或发生事件的机器）把数据划分为桶或区。 agent a1的示例： 上述配置会将时间戳降到最后10分钟。例如，带有1...
Flume Sink
happy19870612's blog
11-21 877
一 HDFS Sink 将event写入HDFS. 1.1  RequiredProperties channel:从哪一个channelpull数据 type:hdfs hdfs.path:HDFSdirectory path 比如hdfs://hadoop09-linux:8020/user/ hadoop/flume/hive/log   1.2  OptionalPrope
9.Flume Sinks
sun
06-13 1181
1.Hdfs Sink a1.channels = c1 a1.sinks = k1 a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S a1.sinks.k1.hdfs.filePrefix = events- a1.sinks.k1.
Flume 入门--几种不同的Sinks
天青色等烟雨 而我在等你
03-27 1383
主要介绍几种常见Flume的Sink--汇聚点1.Logger Sink 记录INFO级别的日志，一般用于调试。前面介绍Source时候用到的Sink都是这个类型的Sink必须配置的属性：属性说明：            !channel    –                 !type    –    The component type name, needs to be logger  ...
apache-flume-1.9.0-bin.tar.gz
07-28
标题 "apache-flume-1.9.0-bin.tar.gz" 暗示这是 Apache Flume 的 1.9.0 版本的二进制分发包，以 tar.gz 格式压缩。这个版本的 Flume 已经预先编译完成，用户下载后可以直接进行安装和使用，无需自行编译源代码。 ...
apache-flume-1.9.0-bin.tar.zip
10-07
Apache Flume 1.9.0 版本是该软件的一个稳定版本，包含了若干改进和修复。 在Flume的架构中，数据流动通过三个核心概念：源头（Sources）、通道（Channels）和接收器（Sinks）。这些组件协同工作，确保数据的高效...
flume-1.9.0.tgz
10-24
"flume-1.9.0.tgz" 是 Flume 的一个版本压缩包，包含了该版本的所有源码、库文件和必要的配置文档。 **Flume 的基本概念和架构** Flume 主要由三个核心组件构成：Sources、Channels 和 Sinks。Sources 负责接收...
Flume的Sink类型
围城客的专栏
11-13 6428
1、HDFS Sink 该sink把events写进Hadoop分布式文件系统（HDFS）。它目前支持创建文本和序列文件。它支持在两种文件类型压缩。文件可以基于数据的经过时间或者大小或者事件的数量周期性地滚动。它还通过属性（如时间戳或发生事件的机器）把数据划分为桶或区。 上述配置会将时间戳降到最后10分钟。例如，带有11:54:34 AM，June 12，2012时间戳的event将会造成...
2-Flume之Sink与Channel
m0_73450879的博客
03-25 1460
自定义Sink的时候，需要定义一个类继承，实现Sink接口，最好还要实现接口来获取配置。注意，自定义Sink的过程中，需要关注事务问题。依赖和笔记1中用的一样。//打印流，打印到文件或者Flume的窗口。sout调用的就是这个类中的方法@Override//从flume中的格式文件中获取路径信息@Overrideif(!Event e;
Flume：source和sink
weixin_30730053的博客
08-13 216
Flume – 初识flume、source和sink 目录基本概念常用源 Source常用sink 基本概念  什么叫flume？ 　　分布式，可靠的大量日志收集、聚合和移动工具。  events 　　事件，是一行数据的字节数据，是flume发送文件的基本单位。  flume配置文件 　　重命名flume-env.sh.template为flume-env.sh，并添加[e...
Flume--常用Sink及应用案例
qq_46893497的博客
12-12 684
1、功能 负责从Channel中取出所有的数据event，将数据发送到目标地中 2、logger sink 功能：将event写入日志 应用场景：用于测试 3、hdfs sink http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.14.0/FlumeUserGuide.html#hdfs-sink 功能：将输入写入HDFS，这是工作中主要使用的 应用场景 实时采集到HDFS，提供离线架构 Flume属于数据采集层 | | HDF
flume之常用sink详解
赶路人儿
09-30 9217
1、Logger Sink  记录INFO级别的日志，一般用于调试。前面介绍Source时候用到的Sink都是这个类型的Sink 必须配置的属性：                 type    logger             maxBytesToLog    16    Maximum number of bytes of the Event body to log
Flume(7) flume自定义Sinks实现
cowbin2012的专栏
05-07 1万+
源码地址 前言 接上一篇Flume(6) flume自定义Sources实现，我们总结了一下自定义source的流程，这次我们实现一个自己的Sink，将数据Sink到Mysql数据库中。 创建数据库相关 CREATE TABLE `flume` ( `content` varchar(255) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=u...
Flume系列：Flume Sink使用
wester的博客
05-10 1048
Flume系列：Flume Sink使用
Flume中sources、channels、sinks的常用配置（多个案例）
ddzzz_的博客
03-12 3079
Flume中sources、channels、sinks的常用配置（多个案例） 文章目录Flume中sources、channels、sinks的常用配置（多个案例）Flume基础及架构案例1：netcat -> memory -> logger案例2：exec -> file -> logger案例3：spooldir -> memory -> hdfs读取目录文件到HDFS案例4：选择器selector，两种类型 replicating（副本）、multiplexin
flume sink 简介及官方用例
最新发布
v15220的博客
05-19 969
https://flume.apache.org/FlumeUserGuide.html#source-and-sink-batch-sizes-and-channel-transaction-capacities
Flume(0)Flume1.9安装部署
热门推荐
cowbin2012的专栏
05-06 2万+
系统要求 Java运行时环境 - Java 1.8或更高版本 内存 - 源，通道或接收器使用的配置的足够内存 磁盘空间 - 通道或接收器使用的配置的足够磁盘空间 目录权限 - 代理使用的目录的读/写权限 下载及安装 1.下载 到Flume官网上http://flume.apache.org/download.html下载软件安装包，如图： 2. 解压 mkdir -p /usr/lo...
Cannot resolve org.apache.flume:flume-ng-sinks:1.9.0
06-10
这错误通常是由于依赖库无法从Maven中央仓库下载而引起的。你可以尝试以下几种方法来解决这个问题： 1. 确认你的网络环境没有问题，可以访问Maven中央仓库。 2. 检查你的pom.xml文件是否正确，确保你的依赖库的版本号和名称是正确的。 3. 尝试通过Maven命令行强制更新依赖库：mvn clean install -U 4. 如果你使用的是私有的Maven仓库，确保Maven配置文件中定义的仓库地址是正确的。 如果上述方法无法解决问题，请提供更多的错误信息和上下文，以便更好地帮助你解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值