Flume安装部署

最新推荐文章于 2025-12-03 17:29:49 发布

原创最新推荐文章于 2025-12-03 17:29:49 发布 · 213 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#flume #大数据

Flume 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了如何从ApacheFlume官网下载1.9.0版本，进行Linux部署，包括上传、解压、重命名文件，移除不兼容的guava.jar以及配置log4j.properties以指定日志路径，确保与Hadoop3.1.3兼容。

1.安装地址

（1） Flume官网地址：Welcome to Apache Flume — Apache Flume

（2）文档查看地址：Flume 1.11.0 User Guide — Apache Flume

（3）下载地址：http://archive.apache.org/dist/flume/

2.安装部署

（1）将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下

（2）解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下

[wzw@hadoop102 software]$ tar -zxf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/

（3）修改apache-flume-1.9.0-bin的名称为flume

[wzw@hadoop102 module]$ mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume

（4）将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3

[wzw@hadoop102 module]$ rm /opt/module/flume/lib/guava-11.0.2.jar

注意：删除guava-11.0.2.jar的服务器节点，一定要配置hadoop环境变量。否则会报如下异常。

Caused by: java.lang.ClassNotFoundException: com.google.common.collect.Lists

at java.net.URLClassLoader.findClass(URLClassLoader.java:382)

at java.lang.ClassLoader.loadClass(ClassLoader.java:424)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)

at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

... 1 more

（5）修改conf目录下的log4j.properties配置文件，配置日志文件路径

[wzw@hadoop102 conf]$ vim log4j.properties

flume.log.dir=/opt/module/flume/logs

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

kevin-wzw

关注关注

8
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

flume安装部署

更深兼春远的博客

08-16

1227

## kafka.bootstrap.servers = master:9092：指定 Kafka 集群的地址和端口（master 是 Kafka 服务器的主机名，9092 是默认端口）### type = org.apache.flume.sink.kafka.KafkaSink：指定数据目的地类型为 KafkaSink，即数据最终会发送到 Kafka。### kafka.topic = order：指定数据要发送到 Kafka 中的哪个主题（topic），这里是 "order" 主题。

Flume安装部署及使用

xtsheng123456的博客

10-27

846

Aapche Flume是由Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件，网址： http://flume.apache.org/Apache Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel)，待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。

1 条评论您还未登录，请先登录后发表或查看评论

flume安装部署及使用

qq_45952294的博客

06-13

1026

文章目录前言一、Flume定义二、Flume安装部署1.上传压缩包2.解压、修改配置文件2.1解压2.2修改配置文件三、Flume简单使用3.1 使用 Flume 监听一个端口，收集该端口数据，并打印到控制台*也可以使用telnet工具* 前言本文对flume进行简单的介绍，及对flume进行安装和使用一、Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供

6、Flume安装部署

赞的心路历程

07-05

939

按照规划，需要采集的用户行为日志文件分布在hadoop102，hadoop103两台日志服务器，故需要在hadoop102，hadoop103两台节点配置日志采集Flume。（1）将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下。修改/opt/module/flume/conf/flume-env.sh文件，配置如下参数（虚拟机环境暂不配置）（2）解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下。

Flume 安装部署

撕得失败的标签的博客

12-02

551

Flume（Apache Flume）是一个开源的分布式日志收集、聚合和传输系统，属于 Apache 软件基金会的项目之一。其主要目标是简化大规模数据处理中日志数据的采集、移动和处理过程。Flume 的设计灵感来自于 Google 的 Chubby 论文和 Facebook 的 Scribe 系统。架构模型： Flume 采用了分布式、可扩展的架构。它的基本架构包括多个组件，其中关键组件包括代理（Agent）、通道（Channel）和收集器（Collector）等。

Flume安装部署以及操作

qq_36461480的博客

12-18

483

通过使用拦截器实现过滤掉不需要的数据,并指定一个字段进行加密,然后上传到hdfs中。

Flume安装部署以及简单案例入门

花&败

10-07

3268

注：Linux 中储存文件元数据的区域就叫做 inode，每个 inode 都有一个号码，操作系统用 inode 号码来识别不同的文件，Unix/Linux 系统内部不使用文件名，而使用 inode 号码来识别文件。若遇到文件定期更改文件名，并且重新创建一个新原始文件的名字的文件，监控到并上传的数据将是累积的文件内容，并不是更新的内容数据，导致数据重复。修改源码中更新和读取的操作，然后将修改好的文件打包下载到本地，再上传到lib目录下进行源码替换，重新启动监控文件夹命令。要想读取 Linux。

大数据：Flume安装部署和配置

梁辰兴的博客

11-16

5003

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。数据采集我们使用Flume。

Flume学习文档(2){Flume安装部署、Flume配置文件}.docx

07-27

在本文档中，我们将深入探讨Flume的安装部署以及配置文件的使用。首先，要安装Flume，你需要访问官方网站http://flume.apache.org/下载最新版本的Flume。在下载完成后，解压缩文件到你的服务器或开发环境中。安装...

flume拦截器的自定义

2301_80954266的博客

11-23

255

Flume 拦截器（Interceptor）是 Flume 数据处理流程中的一个插件点。它允许你在事件（Event）被 Source 捕获后、放入 Channel 之前，对事件进行拦截、检查、修改或增强。自动添加事件时间戳。添加事件来源主机信息。根据正则表达式过滤事件。添加静态的键值对到事件头部（Headers）。当这些标准拦截器无法满足你的特定需求时，就需要自定义拦截器。自定义拦截器需要实现 Flume 提供的接口。

【Zookeeper】ZAB协议

qq_43494013的博客

11-28

700

【Zookeeper】ZAB协议

共享出行数字化转型：车辆调度 AI 优化与用户体验数据化迭代实践

九河智造云的内容中心

12-02

377

某头部共享出行企业的实践显示，AI 调度系统上线后，车辆应答率提升 40%，用户平均候车时间从 12 分钟缩短至 6.5 分钟，车辆日均周转率提高 32%，运营效率显著提升。车辆调度 AI 优化与用户体验数据化迭代的实践，不仅解决了传统运营中的效率低、体验差等问题，更构建了以数据为核心的竞争优势。随着 AI、物联网、5G 等技术的持续迭代，未来将实现车辆调度、服务优化、安全管控的全链路智能升级，为用户提供更便捷、安全、个性化的出行服务，同时为城市交通可持续发展注入持久动能。

大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12

minhuan的专栏

12-03

717

本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。

n8n实战营Day3：电商订单全流程自动化·需求分析与流程拆解

陈奕昆的博客

11-29

1256

本文详细拆解了电商订单处理全流程自动化方案，针对手动操作存在的三大核心痛点：多平台订单整合效率低、库存同步滞后风险高、物流信息推送不及时。通过n8n工作流设计，将流程划分为6大环节（订单抓取、数据清洗、订单去重、库存处理、物流对接、信息推送），并给出节点选型建议和关键配置要点。重点强调数据标准化的重要性，包括字段映射规范和传递规则，为后续实操提供清晰的"施工蓝图"。下节将进入实操阶段，重点讲解多平台订单抓取和ERP对接的具体实现。

RocketMQ消息可靠性实战：从发送到消费的全流程保障

最新发布

喜欢炒股的码农

12-03

387

业务场景RabbitMQ问题RocketMQ优势支付系统网络抖动导致12%消息丢失SYNC_FLUSH + 自动重试 = 0%丢失订单系统消费端重试风暴Broker内置熔断 = 恢复时间20秒金融交易1000万条/天丢失12万条RocketMQ实测丢失率=0%

挣值管理中引入ES——更准确的用时间维度监控项目执行

qiyong的专栏

12-02

712

传统挣值管理虽然能同时监控成本和进度，但其进度指标(如进度偏差SV和进度绩效指数SPI)均以货币价值为单位，导致项目后期评估失真，且难以区分关键路径与非关键路径任务的进度影响。ES指标通过引入"计划完成速度(PAR)"这一关键参数，将已完成工作量的预算价值(EV)转换为时间单位，使进度评估更加直观和可靠。本文将深入探讨ES指标的理论基础、计算方法及其在弥补传统挣值管理局限方面的价值，为项目管理者提供更全面的绩效评估工具。

运维hbase服务重启，导致应用查询异常 hbase:meta

SUPER5266的博客

12-03

HBase 中所有数据都是存放在 Region（分片）里的，而 Region 是动态拆分、移动、负载均衡的。hbase:meta 是 HBase 中最核心、最关键的系统表（metadata 表）。Region 当前由哪个 RegionServer 负责？这个 row key 属于哪个 Region？记录集群中所有用户表的 Region 分布情况。检查hbase服务稳定性，做好运维保证即可。这些信息都在 hbase:meta 里。在服务调用时发生了错误。

flume安装部署实验生成一个实验报告

04-02

<think>好的，我现在需要帮助用户找到关于Flume安装部署的实验报告模板或示例。首先，我要理解用户的具体需求。用户提到他们正在寻找实验报告的模板或示例，可能是在进行Flume的安装和部署实验，需要参考如何组织报告结构和内容。接下来，我需要回忆Flume的相关知识。Flume是Apache的一个分布式、可靠和高可用的日志收集系统，常用于大数据领域的数据采集。安装部署通常包括环境准备、安装步骤、配置Agent、启动测试等步骤。实验报告一般需要包含实验目的、环境、步骤、结果分析等内容。然后，我应该考虑用户可能需要的结构。实验报告模板通常包括以下几个部分：实验目的、实验环境、安装步骤、配置示例、运行测试、常见问题及解决、结果分析等。用户可能需要具体的步骤和示例配置，特别是Agent的配置文件和启动命令。另外，用户提到的引用中有关于分布式系统的内容，引用[3]提到了分布式系统理论，这可能与Flume的分布式特性相关，可以在报告中适当引用，说明Flume在分布式环境中的应用。同时，引用[2]提到的异常检测方法也可能在实验报告中用于监控Flume的运行状态，比如设置阈值检测资源使用率。我需要确保提供的模板示例详细且符合实际操作流程。例如，安装步骤应包括下载Flume、解压、环境变量配置，特别是JAVA_HOME的设置，因为Flume依赖Java。配置部分需要给出一个具体的Agent配置示例，定义Source、Channel、Sink，并说明如何启动Agent。此外，常见问题部分可以帮助用户应对安装过程中可能遇到的错误，比如Java环境问题、端口冲突或权限不足。结果分析部分应指导用户如何验证Flume是否正常运行，比如检查日志文件和数据传输情况。最后，相关问题部分需要生成与Flume安装部署相关的问题，例如性能优化、高可用配置、与其他框架集成等，这些能帮助用户进一步深入学习和应用Flume。</think>### Flume安装部署实验报告模板示例 #### 一、实验目的 1. 掌握Apache Flume的核心组件与数据流模型 2. 完成单节点Flume环境部署 3. 验证基于文件源的日志采集传输功能 #### 二、实验环境 | 项目 | 配置说明 | |----------|-----------------------| | 操作系统 | CentOS 7.6 (64位) | | Java版本 | OpenJDK 1.8.0_382 | | Flume版本 | apache-flume-1.11.0 | | 网络环境 | NAT模式/桥接模式 | #### 三、安装步骤 1. **前置条件验证** ```shell $ java -version # 验证Java环境[^3] $ echo $JAVA_HOME # 确认环境变量配置 ``` 2. **软件包部署** ```shell wget https://archive.apache.org/dist/flume/1.11.0/apache-flume-1.11.0-bin.tar.gz tar -zxvf apache-flume-1.11.0-bin.tar.gz -C /opt/ mv /opt/apache-flume-1.11.0-bin /opt/flume ``` 3. **环境变量配置** ```shell # 在/etc/profile末尾添加 export FLUME_HOME=/opt/flume export PATH=$PATH:$FLUME_HOME/bin ``` #### 四、配置文件示例创建`file-to-console.conf`： ```properties # 定义Agent组件 agent.sources = filesrc agent.channels = memchan agent.sinks = logsink # 配置Source agent.sources.filesrc.type = exec agent.sources.filesrc.command = tail -F /var/log/sample.log # 配置Channel agent.channels.memchan.type = memory agent.channels.memchan.capacity = 1000 # 配置Sink agent.sinks.logsink.type = logger # 连接组件 agent.sources.filesrc.channels = memchan agent.sinks.logsink.channel = memchan ``` #### 五、运行验证 ```shell flume-ng agent \ --conf $FLUME_HOME/conf \ --conf-file file-to-console.conf \ --name agent \ -Dflume.root.logger=INFO,console ``` #### 六、常见问题处理 | 现象 | 解决方案 | |---------------------|----------------------| | 启动时报JAVA_HOME未设置 | 检查/etc/profile环境变量配置 | | 端口冲突 | 使用netstat -tunlp排查占用 | | 文件权限不足 | 使用chmod 755授权日志文件 | #### 七、结果分析 1. 观察控制台输出是否符合预期格式： ``` Event: { headers:{} body: 61 61 61 61 61 61 61 61 61 61 } ``` 2. 验证日志文件传输完整性： ```shell md5sum /var/log/sample.log /flume/output.log ``` #### 八、实验总结通过本实验验证了Flume的基本数据采集能力，后续可结合Kafka实现分布式日志收集系统[^1]，或集成Spark Streaming进行实时处理[^3]。