——Flume
关注
分享
扫一扫
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据
脸ル粉嘟嘟
BigDate.我命由我！
展开
-
Flume简介及基本使用
Flume 简介及基本使用一、Flume简介二、Flume架构和基本概念 2.1 基本架构 2.2 基本概念 2.3 组件种类三、Flume架构模式四、Flume配置格式五、Flume安装部署六、Flume使用案例一、Flume简介Ap...原创 2019-10-28 17:22:15 · 265 阅读 · 0 评论 -
Linux下Flume的安装
Linux下Flume的安装一、前置条件Flume 需要依赖 JDK 1.8+，JDK 安装方式见本仓库：Linux 环境下 JDK 安装二 、安装步骤2.1 下载并解压下载所需版本的 Flume，这里我下载的是 CDH 版本的 Flume。下载地址为：http://archive.cloudera.com/cdh5/cdh/5/# 下载后进行解压tar -zxvf flum...原创 2019-10-28 17:14:47 · 375 阅读 · 0 评论 -
Flume分析
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-...原创 2018-11-23 19:33:20 · 242 阅读 · 0 评论 -
Flume结合场景讲解
flume 使用简单使用flume 场景1： 1、通过netcat发布消息 2、用flume接收netcat发布的消息，最终显示在终端 3、flume的channels是用内存存储的先定义flume-conf.properties.log 这样的文件#定义agent的配置 定义sources 定义channels 定义sinksa1.sources = r1a1.sink...转载 2019-01-28 16:02:28 · 223 阅读 · 0 评论 -
Flume整合Kafka
Flume 整合 Kafka一、背景先说一下，为什么要使用 Flume + Kafka？以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中，可能就会超过集群的处理能力，这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计，具有高吞吐的特...原创 2019-08-05 22:44:16 · 222 阅读 · 0 评论