Hadoop之flume

目录

1、Flume 定义

2、Flume 基础架构

2.1 Agent

2.2 Source

2.3 Sink

2.4 Channel

2.5 Event

3、Flume 安装部署

3.1.1 安装地址

3.1.2 安装部署

4、监控端口数据官方案例

4.1 案例需求:

4.2 需求分析:

4.3.1 安装 netcat 工具

4.3.2 判断 44444 端口是否被占用

4.3.3 创建 Flume Agent 配置文件 flume-netcat-logger.conf

        4.3.3.1 在 flume 目录下创建 job 文件夹并进入 job 文件夹。

        4.3.3.2 在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。

        4.3.3.3在 flume-netcat-logger.conf 文件中添加如下内容。

4.3.4 先开启 flume 监听端口

4.3.5使用 netcat 工具向本机的 44444 端口发送内容

4.3.6 我们能在启动页面看到如下内容说明运行成功


1、Flume 定义

        Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的 海量日志采集、聚合和传输的系统 Flume 基于流式架构,灵活简单。
        Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到 HDFS

2、Flume 基础架构

Flume 组成架构如下图所示。 

2.1 Agent

        Agent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的。
        Agent 主要有 3 个部分组成, Source Channel Sink

2.2 Source

        Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种 格式的日志数据,包括 avro 、thrift、 exec 、jms、 spoolingdirectory netcat taildir 、 sequence generator、syslog、http、legacy。

2.3 Sink

        Sink 不断地轮询 Channel 中的事件且批量地移除它们,并将这些事件批量写入到存储 或索引系统、或者被发送到另一个 Flume Agent。 Sink 组件目的地包括 hdfs logger avro 、thrift、ipc、 file HBase 、solr、自定义。

2.4 Channel

        Channel 是位于 Source 和 Sink 之间的缓冲区。因此,Channel 允许 Source 和 Sink 运作在不同的速率上。Channel 是线程安全的,可以同时处理几个 Source 的写入操作和几个Sink 的读取操作。
        Flume 自带两种 Channel:
### 如何在Hadoop环境中配置并启动Flume #### 配置Flume环境变量 为了确保Flume能够在Hadoop环境中正常运行,首先需要正确设置Flume的环境变量。可以通过编辑`/etc/profile`文件来完成此操作: ```bash vim /etc/profile ``` 在文件末尾添加以下内容以定义Flume的路径[^3]: ```bash export FLUME_HOME=/opt/module/apache-flume-1.9.0-bin export PATH=$PATH:$FLUME_HOME/bin ``` 保存并退出后,执行以下命令使环境变量生效: ```bash source /etc/profile ``` #### 安装和初始化Flume 假设已经下载了Flume压缩包,将其解压至指定目录。例如,可以将Flume解压到`/opt/module`目录下: ```bash tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module/ ``` 确认解压成功后,进入Flume安装目录验证版本信息: ```bash cd /opt/module/apache-flume-1.9.0-bin ./bin/flume-ng version ``` 如果显示Flume的版本号,则说明安装成功。 #### 启动Flume代理 Flume通过代理(agent)的方式工作,因此需要编写一个简单的Flume配置文件。例如,在`/opt/module/apache-flume-1.9.0-bin/conf`目录下创建名为`flume-conf.properties`的文件,并写入以下内容作为示例[^4]: ```properties # Define a memory channel named 'ch1' agent.channels.ch1.type = memory # Define an Avro source that listens on port 41414 and binds to localhost agent.sources.r1.type = avro agent.sources.r1.bind = 0.0.0.0 agent.sources.r1.port = 41414 # Define a logger sink (writes events to the console) agent.sinks.k1.type = logger # Bind the source, channel, and sink together agent.channels = ch1 agent.sources = r1 agent.sinks = k1 agent.sources.r1.channels = ch1 agent.sinks.k1.channel = ch1 ``` 保存配置文件后,使用以下命令启动Flume代理: ```bash /opt/module/apache-flume-1.9.0-bin/bin/flume-ng agent --conf /opt/module/apache-flume-1.9.0-bin/conf --name agent --conf-file /opt/module/apache-flume-1.9.0-bin/conf/flume-conf.properties -Dflume.root.logger=INFO,console ``` 此时,Flume将在端口`41414`上监听数据输入,并将接收到的数据打印到控制台。 #### 测试FlumeHadoop集成 为了让Flume能够将日志数据传输到HDFS中,需修改配置文件中的sink部分。例如,替换为HDFS Sink: ```properties agent.sinks.k1.type = hdfs agent.sinks.k1.hdfs.path = hdfs://namenode:8020/user/flume/logs/%Y%m%d agent.sinks.k1.hdfs.fileType = DataStream agent.sinks.k1.hdfs.writeFormat = Text agent.sinks.k1.hdfs.rollInterval = 30 ``` 重新启动Flume代理即可实现日志数据向HDFS的传输。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值