Hadoop之flume

目录

1、Flume 定义

2、Flume 基础架构

2.1 Agent

2.2 Source

2.3 Sink

2.4 Channel

2.5 Event

3、Flume 安装部署

3.1.1 安装地址

3.1.2 安装部署

4、监控端口数据官方案例

4.1 案例需求：

4.2 需求分析：

4.3.1 安装 netcat 工具

4.3.2 判断 44444 端口是否被占用

4.3.3 创建 Flume Agent 配置文件 flume-netcat-logger.conf

        4.3.3.1 在 flume 目录下创建 job 文件夹并进入 job 文件夹。

        4.3.3.2 在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。

        4.3.3.3在 flume-netcat-logger.conf 文件中添加如下内容。

4.3.4 先开启 flume 监听端口

4.3.5使用 netcat 工具向本机的 44444 端口发送内容

4.3.6 我们能在启动页面看到如下内容说明运行成功

---

1、Flume 定义

        Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的 海量日志采集、聚合和传输的系统 。 Flume 基于流式架构，灵活简单。

        Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到 HDFS。

2、Flume 基础架构

Flume 组成架构如下图所示。 

2.1 Agent

        Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。

        Agent 主要有 3 个部分组成， Source 、 Channel 、 Sink 。

2.2 Source

        Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种 格式的日志数据，包括 avro 、thrift、 exec 、jms、 spoolingdirectory 、 netcat 、 taildir 、 sequence generator、syslog、http、legacy。

2.3 Sink

        Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储 或索引系统、或者被发送到另一个 Flume Agent。 Sink 组件目的地包括 hdfs 、 logger 、 avro 、thrift、ipc、 file 、 HBase 、solr、自定义。

2.4 Channel

        Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运作在不同的速率上。Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个Sink 的读取操作。

        Flume 自带两种 Channel：