二锅头的博客

flume-kafka数据采集概述数据生产阶段（采集日志到kafka）数据消费阶段（消费kafka中的数据，并将其存储到hdfs） 概述 今天来给大家展示一下，日常数据收集中，我们flume和kafka是如何协同工作的。 我们先来看一下整体集群情况。 hadoop102 hadoop103 hadoop104 zk zk zk namenode resourcemanager secondarynamenode datanode datanode datanode kafka

大数据之Flume（二）3. Flume进阶3.1 Flume 事务3.2 Flume Agent 内部原理3.3 Flume 拓扑结构3.3.1 简单串联3.3.2 复制和多路复用3.3.3 负载均衡和故障转移3.3.4 聚合3.4 Flume企业开发案例3.4.1 复制和多路复用3.4.2 负载均衡和故障转移3.3.4 聚合3.5 自定义Interceptor3.6 Flume 数据流监控3.6.1 Ganglia的安装与部署3.6.2 操作Flume测试监控 之前一节分享是基础的内容，今天来讲解一下

大数据之Flume（一1. Flume 概述1.1 Flume定义1.2 Flume基础框架1.2.1 Agent1.2.2 Source1.2.3 Sink1.2.4 Channel1.2.5 Event2. Flume 入门2.1 Flume 安装部署2.1.1 安装地址2.1.2 安装部署2.2 Flume 入门案例2.2.1 监听端口数据官方案例2.2.2 实时监控单个追加文件2.2.3 实时监控目录下多个新文件2.2.3 实时监控目录下的多个追加文件 今天的日志收集框架Flume是我认为的一个很