hadoop生态 apache-Flume-1.8.0 的安装和 使用

hadoop生态 怎么 安装 apache-Flume-1.8.0

Flume 1.8.0 是 Apache Flume 的一个版本，Flume 是一个分布式、可靠且可用的服务，用于高效地收集、聚合和传输大量日志数据到 Hadoop 存储。Flume 主要用于大数据生态系统中，尤其是与 Apache Hadoop 结合使用，来处理大规模的流数据。

主要常见的应用场景：
日志收集： Flume 常被用来收集应用程序日志、服务器日志等，并将其传输到 Hadoop 存储系统中进行进一步分析。
实时数据流： 它还可以用于实时流数据的处理和分析，广泛应用于日志分析、监控系统等场景。
总的来说，Flume 1.8.0 是一个高效的、可靠的数据传输系统，特别适用于处理大规模的流数据，并且与 Hadoop 生态中的其他工具（如 HDFS、HBase）无缝集成。

---

---

Flume安装部署

安装apache-flume-1.8.0

第一步
下载好 apache-flume-1.8.0-bin.tar.gz

第二步 解压

tar -zxvf apache-flume-1.8.0-bin.tar.gz

第三步 修改 权限

chmod 777 apache-flume-1.8.0-bin

进⼊apache-flume-1.8.0-bin的⽬录

第四步 重命名flume-env.sh.template ⽂件

mv flume-env.sh.template flume-env.sh

第五步 配置 flume-env.sh

vi flume-env.sh

第六步

升级替换 guava jar包

cp /opt/module/hadoop-3.3.0/share/hadoop/hdfs/lib/guava-27.0-jre.jar /opt/m
odule/apache-flume-1.8.0-bin/lib/

示例 1

1、先在f