Flume的安装与使用

一、简介

1.1、概念

Apache Flume 是一个分布式、可靠且可用的系统，专为收集、聚合和移动大量日志数据而设计。它的架构基于流式数据流模型，允许开发者通过简单的配置实现从多个来源收集数据，通过简单的配置文件，用户即可完成复杂的数据流定义，大大降低了使用门槛。Flume 最常见的应用场景是从 Web 服务器或其他服务的日志文件中实时收集数据，并将这些数据传输到一个或多个目标位置，如HDFS（Hadoop分布式文件系统）、关系数据库、消息队列等。

1.2、特点

高可用性：Flume 设计有故障恢复机制，能够自动重试失败的操作，确保数据的可靠传输。
可扩展性：用户可以根据数据流量的变化动态调整Agent的数量，轻松应对数据增长的需求。
灵活性：支持多种数据源和目的地，可以通过配置文件轻松定制数据流，满足不同业务场景的需求。
易用性：提供了丰富的插件和配置选项，无需编程即可实现复杂的数据收集和传输任务。

二、安装

2.1、上传解压重命名

上传到  /opt/moudles  下

解压到  /opt/installs  下

tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/installs

重命名

cd /opt/installs

mv apache-flume-1.9.0-bin/ flume

2.2、修改配置文件

来到  /opt/instals/flume/conf  下

cp flume-env.sh.template flume-env.sh

将JAVA_HOME路径修改为自己的jdk路径

修改环境变量

vi /etc/profile

 

export FLUME_HOME=/opt/installs/flume
export PATH=$PATH:$FLUME_HOME/bin

刷新一下：  source /etc/profile

三、使用(以案例形式)

参考网址：