wang_ying_198的专栏

概念是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。分为两个版本，Flume OG和Flume NG。架构Event   由消息头和消息内容组成，消息头是可选的，是flume的基本数据单元，flume使

安装1、下载tar包，可以使用wget +url或者到官方网站上下载tar包2、解压到指定目录，使用tar命令3、进入到配置文件中，进行简单的配置即可使用即可进行使用简单测试进入到flume配置文件，配置flume.confa1.sources = r1a1.sinks = k1a1.channels = c1#sourcea1.sources.

flume内置了大量的source，其中avro source、thrift source、spooling directory source、kafka source具有较好的性能和较广泛的使用场景。avro sourceAvro Source监听Avro端口，接收外部Avro客户端发送过来的Avro Event数据。在多级流中，Avro Source可以和前一个Flume Ag

1、配置文件case2_avro.conf#配置内容#name the component on this agenta1.sources = r1a1.channels= c1a1.sinks = k1#describe/configure the sourcea1.sources.r1.type = avroa1.sources.r1.bind = 0.

7、hdfs实例case8_hdfs.conf#配置内容#name the component on this agenta1.sources = r1a1.channels= c1a1.sinks = k1#describe/configure the sourcea1.sources.r1.type = syslogtcpa1.sources.r

11、复制：同一份数据，发送给两个sink1个source、2个channel、2个sinkcase12_replicate_sink.conf#配置内容#name the component on this agenta1.sources = r1a1.channels= c1 c2a1.sinks = k1 k2#describe/configure

sink group允许组织多个sink到一个实体上，sink processors能够提供在组内所有sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个sink到另外一个sink1、default sink processor 接收单一的sink，不强制用户为sink创建processor2、failover sink processor其维护了一个优先级列表

Kafka与flume1）准备jar包1、将Kafka主目录lib下的如下jar拷贝至Flume的lib目录下kafka_2.10-0.8.2.1.jar、kafka-clients-0.8.2.1.jar、jopt-simple-3.2.jar、metrics-core-2.2.0.jar、scala-library-2.10.4.jar、zkclient-0.3.jar等