ITgagaga的博客

Flume–高可用部署 文章目录Flume--高可用部署hadoop01中采集access.log的agent配置文件:hadoop01中采集nginx.log.log的agent配置文件:hadoop03中agent配置信息:hadoop02agent配置信息： 防止flume的agent采集数据的时候宕机，造成数据丢失,对agent做一个备份的agent，宕机的时候可以切换为备份agent。架...

Flume–source,channel,sink配置 文章目录Flume--source,channel,sink配置一：source1）exec source2）Spooling Directory Souce3）avro source4）netcat source5）kafka source二：channel1）memory channel2）kafka channel三：sink1）HDF...

Flume–拦截器 文章目录Flume--拦截器1）Timestamp Interceptor 时间戳拦截器1.输出到控制台2.sink是hdfs，使用过滤器2）主机名拦截器1.输出到控制台2.指定两个拦截器，sink是hdfs3）静态拦截器4）综合案例题目：分析：具体实现:监听A机器的agent配置文件监听B机器的agent配置文件监听C机器的agent配置文件A,B,C进行汇总的Collec...

Flume–简介以及安装 文章目录Flume--简介以及安装一：Flumen是什么？数据采集面临的挑战二：Flume的架构1.OG(old generation)架构Flume og 的特点是：2.NG(new generation)架构Flume ng 的特点是：3.Flume OG和Flume NG的区别？三：FLume中的核心概念1.event的概念以及格式四：Flume的经典部署1）单个a...