WandaZw的博客

Flume 介绍 1：概述 Flume 是 Cloudera 提供的一个分布式、高可靠、和高可用的海量日志采集、聚合和传输系统。 Flume 可以采集文件，socket 数据包、文件夹等各种形式源数据，又可以将采集到的数据输出到 HDFS、hbase、hive、kafka 等众多外部存储系统中。 一般的采集需求，通过对 flume 的简单配置即可实现。 Flume 针对特殊场景也具备良好...

Flume 采集案例 1：采集目录到 HDFS 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到 HDFS 中去。 采集源，即 source -- 监控文件目录 ： spooldir 下沉目标，即 sink  --HDFS文件系统 ：HDFS sink source 和 sink 之间的传递通道 -- channel ， 可用 file chan...