黑白影的博客

一、Flume简介 Apache Flume是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前)两个版本，NG在OG的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的介绍均以NG为基础。 二、Flume架构和基本概念 下图为Flume的基本架构图： 2.1 基本架构 外...

一、前置条件 Flume需要依赖JDK 1.8+，JDK安装方式见本仓库： Linux环境下JDK安装 二 、安装步骤 2.1 下载并解压 下载所需版本的Flume，这里我下载的是CDH版本的Flume。下载地址为：http://archive.cloudera.com/cdh5/cdh/5/ # 下载后进行解压 tar -zxvf flume-ng-1.6.0-cdh5.15.2.tar....

一、背景 先说一下，为什么要使用 Flume + Kafka？ 以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将Flume聚合后的数据输入到Storm等分布式计算框架中，可能就会超过集群的处理能力，这时采用Kafka就可以起到削峰的作用。Kafka天生为大数据场景而设计，具有高吞吐的特性，能很好地抗住峰值数据的冲击。 二、...