
Flume
lds_include
在职人员
展开
-
Flume案例-Avro&Exec&Exec&Syslogtcp&JSONHandler&HDFS sink&File Roll Sink&channels
flume案例-Avro、Exec、Exec、Syslogtcp、JSONHandler、HDFS sink、File Roll Sink、channels1、AvroAvro可以发送一个给定的文件给Flume,Avro 源使用AVRO RPC机制。创建agent配置文件在flume_home/conf目录下创建一个名为avro.conf的文件,内容如下a1.sources = r1...原创 2019-03-31 09:29:11 · 532 阅读 · 0 评论 -
flume原理
flume原理1、Flume OGFlume逻辑上分三层架构:Agent,Collector,Storage。Flume OG采用了多Master的方式。为了保证配置数据的一致性,Flume引入了ZooKeeper,用于保存配置数据,ZooKeeper本身可保证配置数据的一致性和高可用,另外,在配置数据发生变化时,ZooKeeper可以通知Flume Master节点。Flume ...原创 2019-03-31 09:34:05 · 532 阅读 · 0 评论