ITBOY_ITBOX博客

Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。为什么选用Flume？Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。Flume的优点可以和任意存储进程集成。 输入的的数据速率大于写入目的存储的速率，flume会进行缓冲，减小h...

Flume组成架构AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成，Source、Channel、Sink。SourceSource是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling direc...

Flume的拓扑结构 FlumeAgent连接目的存储系统。此模式不建议桥接过多的flume数量，flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点flume宕机，会影响整个传输系统。 单source，多channel、s...

1） Flume官网地址http://flume.apache.org/2）文档查看地址http://flume.apache.org/FlumeUserGuide.html3）下载地址http://archive.apache.org/dist/flume/安装部署1）将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/sof...

Ganglia的安装与部署1) 安装httpd服务与php[atguigu@hadoop102 flume]$ sudo yum -y install httpd php2)安装其他依赖[atguigu@hadoop102 flume]$ sudo yum -y install rrdtool perl-rrdtool rrdtool-devel[atguigu@hado...

1.Source增加Source个数（使用Tair Dir Source时可增加FileGroups个数）可以增大Source的读取数据的能力。例如：当某一个目录产生的文件过多时需要将这个文件目录拆分成多个文件目录，同时配置好多个Source 以保证Source有足够的能力获取到新产生的数据。batchSize参数决定Source一次批量运输到Channel的event条数，适当调大这个...