####################### System唯一标识在集群中的ID，要求是正数。broker.id=0服务端口，默认9092port=9092监听地址，不设为所有地址host.name=debugo01处理网络请求的最大线程数num.network.threads=2处理磁盘I/O的线程数num.io.threads=8一些后台线程数background.threads = 4等待I

一） 安装好flume-ng集群（四台cdh2,cdh3,cdh4 172.17.199.107为远程日志文件所在的主机）二） 安装好kafka集群（三台cdh1,cdh2,cdh3）三） 自定义flume kafka sink,打jar包放到flume安装目录的lib目录下四） 配置flume-ng的配置文件 Cdh2的配置文件fm_kfk.conf如下： producer.sour

1.Kafka文件存储机制 Kafka部分名词解释如下： • Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。 • Topic：一类消息，例如page view日志、click日志等都可以以topic的形式存在，Kafka集群能够同时负责多个topic的分发。 • Partition：topic物理上的分组，一