Flume-安装Flume

最新推荐文章于 2025-08-06 12:42:18 发布
最新推荐文章于 2025-08-06 12:42:18 发布
阅读量278 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Code-Flume 文章标签： apache flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhangdong2012/article/details/53065493
本文介绍了Flume的下载、安装及配置流程，并通过具体步骤验证了安装的成功。Flume是一款高可用的分布式日志收集系统，适用于大量数据的采集工作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flume最初是由Cloudera开发的，后来被纳入Apache软件基金会。

下载Flume

下载地址
选择对于版本的Flume压缩包下载到本地

安装Flume

  • 解压
>tar -xvzf apache-flume-1.7.0-bin.tar.gz
  • 配置Flume运行环境
>cd flume1.7.0/conf
>cp flume-env.sh.template flume-evn.sh
>vim flume-env.sh

export JAVA_HOME=/usr/develop-env/jdk1.7.0_65
  • 验证安装是否成功
>cd ../bin
>./flume-ng version
Flume 1.7.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 511d868555dd4d16e6ce4fedc72c2d1454546707
Compiled by bessbd on Wed Oct 12 20:51:10 CEST 2016
From source with checksum 0d21b3ffdc55a07e1d08875872c00523

出现以上信息，说明安装Flume成功

flume---安装与配置
飞机的博客
03-10 1203
​ Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
hadoop生态 apache-Flume-1.8.0 的安装和 使用
小 tom的博客
02-06 1346
Flume 1.8.0 是 Apache Flume 的一个版本，Flume 是一个分布式、可靠且可用的服务，用于高效地收集、聚合和传输大量日志数据到 Hadoop 存储。Flume 主要用于大数据生态系统中，尤其是与 Apache Hadoop 结合使用，来处理大规模的流数据。主要常见的应用场景：日志收集： Flume 常被用来收集应用程序日志、服务器日志等，并将其传输到 Hadoop 存储系统中进行进一步分析。
flume安装配置 flume-1.11.0
2303_76807610的博客
05-08 385
1.解压2.配置。
flume----初步安装与配置
ahyyyjj的博客
04-29 1879
Flume 是一个开源的。
Flume-1.9.0的安装部署
Knight
02-17 2544
安装地址 （1） Flume官网地址：http://flume.apache.org/ （2）文档查看地址：http://flume.apache.org/FlumeUserGuide.html （3）下载地址：http://archive.apache.org/dist/flume/ 安装部署 （1）将apache-flume-1.9.0-bin.tar.gz上传到linux的/export/software目录下 （2）解压apache-flume-1.9.0-bin.tar.gz到/export/se
flume-1.9.0下载安装教程
xiaoliuxxs
09-10 3987
第一讲
Flume之flume-ng
我的博客
10-27 867
Flume之flume-ng
2-网站日志分析案例-日志采集:Flume-Kafka-Flume-HDFS
IT从业者的成长历程
01-02 3110
本文主要实现了基于flume+kafka+flume的完整日志采集过程，并针对一些必备的安装过程和使用命令进行简单介绍。
FLUME-NG 使用总结
weixin_44387652的博客
04-20 1600
FLUME-NG 使用总结1、Flume-NG 概述2、Flume-NG 架构设计要点3、Flow Pipeline4、Flume NG 三个组件概要4.1、FlumeSource4.2、FlumeChannel4.3、FlumeSink5、入门应用5.1、flume-ng 通过网络端口采集数据5.2、flume-ng 通过Exec tail采集数据5.3、可能遇到的问题 1、Flume-NG 概述 Flume-NG 是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，
【大数据】Flume-1.10.0/1.9.0安装➕入门案例
YG15165的博客
09-30 1296
大数据解决的无非是海量数据的采集、存储、计算，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。flume能保证数据的可靠性，但不能保证数据的重复性Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS✍出bug多看看flume目录下的flume`.log文件查看错误信息，问问al轻松解决！👇罪魁祸首（-f）！✍下一节，flume事务！
apache-flume-1.9.0-bin.tar.gz
07-28
安装完成后，你可以通过命令行启动 Flume Agent，如 `flume-ng agent --conf conf --conf-file conf/flume.conf --name agent -Dflume.root.logger=INFO,console`。 总的来说，Apache Flume 1.9.0 是一个强大的工具...
flume-ng-sql-source:Flume Source从SQL数据库导入数据
05-12
flume-ng-sql-source 该项目用于与sql数据库进行通信 当前支持SQL数据库引擎 在最后一次更新之后，该代码已与hibernate集成在一起，因此该技术支持的所有数据库均应正常工作。 编译与包装 $ mvn package 部署方式 ...
flume-interceptor-1.0.0-jar-with-dependencies.jar
01-03
flume拦截器 保留binlog es、data、database、table、type字段 分区字段名称: eventDate 放入 /opt/cloudera/parcels/CDH/lib/flume-ng/lib目录重启flume即可
flume-ng-sql-source-release-1.5.2.zip
06-26
Flume-ng-sql-source是Apache Flume的一个扩展插件，主要功能是允许用户从各种数据库中抽取数据并将其传输到其他目的地，如Apache Kafka。在本案例中，我们讨论的是版本1.5.2的发布包，即"flume-ng-sql-source-...
Flume-ng-1.6.0-cdh.zip
04-08
Flume-ng-1.6.0-cdh.zip 内压缩了 3 个项目，分别为：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz 和 flume-ng-1.6.0-cdh5.10.1.tar.gz，选择你需要的版本。
Apache Flink 的详细介绍
最新发布
不辉放弃的博客
08-06 471
摘要：Apache Flink是一款开源的分布式流处理框架，采用"流优先"的设计理念，统一处理实时流和批处理数据。核心特性包括毫秒级低延迟、Exactly-Once语义、完善的时间语义（事件时间/处理时间）、强大的状态管理和灵活的窗口机制。架构采用主从模式，支持多种部署方式（Standalone/YARN/K8s），提供多层级API（从ProcessFunction到SQL）。Flink拥有丰富的连接器生态，适用于实时ETL、监控告警、欺诈检测等场景，在吞吐量、延迟和一致性方面优于Spa
Apache Shenyu 本地启动及快速入门
yuluo的博客
08-03 574
本文中使用 MySQL 来作为 ShenYu 数据库，使用 Docker Compose 部署 MySQL。或者使用本地 MySQL 数据库也可，使用本地数据库时跳转到 1.3 配置数据库表。
Apache OFBiz Scrum 组件命令注入漏洞
murphysec的博客
08-05 486
Apache OFBiz Scrum组件存在命令注入漏洞（CVE-2025-54466），OFBiz版本<24.09.02受影响。ScrumServices.java中repository和revision参数未经严格校验直接拼接至命令字符串并执行，拥有Scrum模块权限的攻击者可利用此漏洞实现任意命令执行。修复版本24.09.02通过参数格式校验（URL/整数验证）及命令执行参数分离机制（exec(String[])）防御。建议受影响用户升级至安全版本或应用官方补丁。
Apache Doris数据库——大数据技术
qq_48721706的博客
08-02 962
Apache Doris 是一款基于MPP 架构的高性能、实时分析型数据库。它以高效、简单和统一的特性著称，能够在亚秒级的时间内返回海量数据的查询结果。Doris 既能支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。MPP（Massively Parallel Processing，大规模并行处理）架构通过将任务分解为多个子任务，分配到独立的计算节点并行执行，显著提升数据处理效率。其核心特点是节点间无共享资源（Shared-Nothing），每个节点拥有独立的CPU、内存和存储，通过网络互联协同工作。
flume-1.11.0安装配置
07-09
<think>我们参考多个引用，特别是引用[1]、[3]、[4]和[5]，来指导Flume 1.11.0的安装和配置。 主要步骤包括：下载解压、环境变量配置、解决依赖冲突（特别是guava包）等。 注意：根据引用[2]和[4]，如果Hadoop版本与Flume自带的guava版本不一致，需要删除Flume中的guava包并使用Hadoop的版本。但引用[5]指出在Hadoop3.1.0之后可能不需要删除。因此，我们需要根据实际Hadoop版本判断。 安装步骤： 1. 下载并解压Flume 2. 配置环境变量 3. 解决guava依赖冲突（根据Hadoop版本决定） 4. 验证安装 详细步骤：</think>### Flume 1.11.0 安装与配置指南 #### 一、安装前准备 1. **环境要求**： - Java 1.8+（验证命令：`java -version`） - Hadoop 集群（如需集成HDFS） - 服务器：CentOS 7.x 或兼容Linux系统 2. **下载安装包**： ```bash wget --no-check-certificate https://dlcdn.apache.org/flume/1.11.0/apache-flume-1.11.0-bin.tar.gz ``` --- #### 二、安装步骤 1. **解压安装**： ```bash # 创建安装目录 mkdir -p /opt/flume # 解压并重命名 tar -zxvf apache-flume-1.11.0-bin.tar.gz -C /opt/flume mv /opt/flume/apache-flume-1.11.0-bin /opt/flume/flume-1.11.0 ``` 2. **配置环境变量**： ```bash vim /etc/profile ``` 添加以下内容： ```shell export FLUME_HOME=/opt/flume/flume-1.11.0 export PATH=$PATH:$FLUME_HOME/bin ``` 生效配置： ```bash source /etc/profile ``` 3. **解决依赖冲突**（关键步骤）： ```bash # 检查guava版本 ls $FLUME_HOME/lib/guava-*.jar # 若Hadoop版本≥3.1.0（如3.2.4），需替换guava包： rm -f $FLUME_HOME/lib/guava-11.0.2.jar cp $HADOOP_HOME/share/hadoop/common/lib/guava-*.jar $FLUME_HOME/lib/ ``` > **注意**：根据引用[2][4]，此步骤可避免Hadoop与Flume的guava版本冲突 --- #### 三、配置文件示例 1. **创建Agent配置**（示例：Netcat→Logger）： ```bash vim $FLUME_HOME/conf/netcat.conf ``` 内容： ```properties # 定义Agent组件 agent.sources = netcat-source agent.channels = memory-channel agent.sinks = logger-sink # 配置Source（监听44444端口） agent.sources.netcat-source.type = netcat agent.sources.netcat-source.bind = 0.0.0.0 agent.sources.netcat-source.port = 44444 # 配置Channel（内存通道） agent.channels.memory-channel.type = memory agent.channels.memory-channel.capacity = 1000 # 配置Sink（日志输出） agent.sinks.logger-sink.type = logger # 绑定组件 agent.sources.netcat-source.channels = memory-channel agent.sinks.logger-sink.channel = memory-channel ``` 2. **启动测试**： ```bash flume-ng agent \ --conf $FLUME_HOME/conf \ --conf-file $FLUME_HOME/conf/netcat.conf \ --name agent \ -Dflume.root.logger=INFO,console ``` 测试数据发送： ```bash telnet localhost 44444 # 输入测试数据 ``` --- #### 四、验证安装 1. **检查版本**： ```bash flume-ng version # 应输出：Flume 1.11.0 ``` 2. **集成HDFS**： 修改Sink配置（引用[1][4]）： ```properties agent.sinks.hdfs-sink.type = hdfs agent.sinks.hdfs-sink.hdfs.path = hdfs://namenode:8020/flume/data/%Y%m%d agent.sinks.hdfs-sink.hdfs.fileType = DataStream ``` > **重要提示**： > - 若使用Hadoop 3.x，必须执行guava包替换（引用[4]） > - 防火墙需开放Agent端口（如44444） > - 完整配置参考[官方文档](https://flume.apache.org/releases/content/1.11.0/FlumeUserGuide.html)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值