小明

一、概述 flume是分布式的，可靠的，用于从不同的来源有效收集 聚集 和 移动 大量的日志数据用以集中式的数据存储的系统，最初由Cloudra公司开发，现为Apache基金会的顶级项目之一。二、 概念、模型 1. Flume Event Flume事件 - 被定义为一个具有有效荷载的字节数据流和可选的字符串属性集。 2. Flume Agent： F

1.创建配置文件 基本配置如下： #source a1.sources = sysSrc a1.sources.sysSrc.type=avro a1.sources.sysSrc.bind=0.0.0.0 a1.sources.sysSrc.port=33333 a1.sources.sysSrc.channels=fileChannel #channel a1.

#-------agent------ # 定义sources agent.sources = kafkaSource # 定义channels agent.channels = memoryChannel # 定义sinks agent.sinks = hdfsSink agent.sources.kafkaSource.channels = memoryC