大数据之flume
关注
分享
扫一扫
文章平均质量分 75
njyuxinag
这个作者很懒，什么都没留下…
展开
-
(大数据之flume)flume常用的几种配置
配置一：主要是从目录获取数据并将数据写入hdfs #定义agent名， source、channel、sink的名称 a4.sources = r1 a4.channels = c1 a4.sinks = k1 #具体定义source a4.sources.r1.type = spooldir a4.sources.r1.spoolDir = /home/hadoop/log原创 2015-05-31 11:21:06 · 682 阅读 · 0 评论 -
(大数据之flume)Flume(NG)架构设计要点及配置实践
Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。 架构设计要点转载 2015-05-31 11:57:24 · 416 阅读 · 0 评论