
Flume1.6
11号车厢
生活就是熬
展开
-
Flume介绍、安装部署、如何使用
文章目录1、Flume介绍1.1 下载的版本1.2 Flume特性1.3 Flume Agent框架2、安装3、 单节点Source:NetCat,Sink:Logger3.1 配置3.2 启动、测试1、Flume介绍1.1 下载的版本本章我们介绍的是CDH版本的Flume,不是Apache版本的。附上下载和User Guide地址:http://archive.cloudera.com...原创 2019-08-09 08:39:02 · 389 阅读 · 0 评论 -
Flume多Agent串联,单Source多Chanel/Sink使用、单Source到HDFS和Kafka
文章目录1、两个Agent串联2、单Source多Chanel/Sink1、两个Agent串联串联的Agent中间要采用Avro Sink和 Avro Source方式进行数据传输案例:Agent的结构:source -> channel -> sink -> source -> channel -> sinkAgent,Source选择:exec->...原创 2019-08-09 10:21:22 · 571 阅读 · 0 评论 -
Flume之Taildir Source二次开发实现迭代读取目录下文件
文章目录1、下载源码包2、导入IDEA3、修改源码4、上传到服务器,编译5、新建conf文件,测试TaildirSource1、下载源码包注意这是源码文件flume-ng-1.6.0-cdh5.7.0-src.tar.gz解压到Windows目录下2、导入IDEA就这里注意下倒入哪个目录,后面都是next就行了。3、修改源码找到 getMatchFiles 方法注释完后在...原创 2019-08-22 23:02:32 · 915 阅读 · 0 评论