Flume的安装和实际使用

最新推荐文章于 2025-09-23 20:09:33 发布
原创 最新推荐文章于 2025-09-23 20:09:33 发布 · 296 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #flume安装 #flume实际案例

本文详细介绍了Apache Flume的安装过程，包括创建文件夹、解压、配置环境变量和JAVA_HOME，以及解决版本查询时遇到的问题。此外，通过实际案例展示了如何使用Flume从AvroSource和Source接收信息，接收本地文件夹，并将数据存储到HDFS。

flume的安装和使用

wget “http://mirrors.cnnic.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz”
官方下载包

创建文件夹并解压

cd /opt/module

mkdir flume

tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/module/flume

配置并使其生效

vi /etc/profile
export FLUME_HOME=/opt/module/flume/apache-flume-1.8.0-bin
export FLUME_CONF_DIR= $FLUME_HOME/conf
export PATH=$FLUME_HOME/bin:$PATH
source /etc/profile

配置flume-env.sh的JAVA_HOME

cd /opt/module/flume/apache-flume-1.8.0-bin
cd conf
cp flume-env.sh.template flume-env.sh
vi flume-env.sh

在其中写入
export JAVA_HOME=/opt/module/jdk1.8.0_121

查看flume版本

cd /opt/module/flume/apache-flume-1.8.0-bin

./bin/flume-ng version

此时会出现加载不出来主类的问题
在这里插入图片描述
解决：

cd /opt/module/hbase/conf
vi hbase-env.sh

将export HBASE_CLASSPATH=/opt/module/hbase/conf这句话注释

最低0.47元/天 解锁文章
flume的安装和配置
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 1万+
Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种storage。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。本试验就是通过学习flume工具的安装，为后面学习flume实现对数据信息的采集以便于解决实际中存在的问题打下基础。熟练flume的安装和配置，理解flume的原理和应用本次环境是：Ubuntu16.04 + jdk1.8.0_73 + hadoop-2.7.3+f
Flume的配置与使用
大头皮鞋的博客
12-04 3397
前提条件： 安装好hadoop2.7.3（Linux系统下） 安装好Flume，参考：Flume安装配置 问题： AvroSource接收外部数据源，Logger作为sink，即通过AvroRPC调用，将数据缓存在channel中，然后通过Logger打印出数据。 实验步骤： 1.进入有权限的目录，例如~目录 $ cd ~ 2.创建配置文件avro.conf（关键） ...
Flume配置
zjy15737869372的博客
12-10 1454
一、解压 将压缩包拉入software下，如图所示 切到software进行解压,解压至module下 注：空格及解压的路径不能出错，C要大写 cd /opt/software tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module/
flume 配置及使用
最新发布
2301_79998954的博客
09-23 199
flume-ng agent -c 沉降目标路径 -f 选择的配置脚本 -n agent名字 -Dflume.root.logger=INFO,console (在虚拟机页面的输出配置)source：avro和thrift（监听某个端口是否有信息）、exec（监听unix命令）、JMS（消息队列监听）三部分组成：source（流量源）、channel（管道）、sink（沉降配置）channel：memory（内存）、Kafka、jdbc、file（文件）概念介绍：抽水泵，有水就抽，没水等着。
flume安装配置
11-06
1.flume是什么？ 这里简单介绍一下，它是Cloudera的一个产品 2.flume是干什么的？ 收集日志的 3.flume如何搜集日志？ 我们把flume比作情报人员 （1）搜集信息 （2）获取记忆信息 （3）传递报告间谍信息
flume 配置
m0_75237906的博客
02-05 612
【代码】flume 配置。
flume配置
weixin_43883061的博客
06-11 256
Flume 解压安装包 修改conf/flume-env.sh，设置java_home 案例 官方案例 创建一个conf文件 # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 # r1:表示a1的输入源 a1.sinks = k1 # k1:表示a1的输出目的地 a1.channels = c1 # c1:表示a1的缓冲区 # Describe
flume安装程序
12-10
在本安装指南中，我们将深入探讨如何使用提供的`flume-1.6.0-bin.tar`安装包来安装和配置Apache Flume。 1. **下载与准备**： 首先，你需要从Apache官方网站下载Flume的最新稳定版本。在本例中，我们已有一个名为`...
大数据教程-Flume安装使用实录.pdf
07-26
从给定文件的内容来看，这篇文档主要涉及到了大数据处理组件...在实际操作过程中，还可能涉及到更高级的配置和使用技巧，如Flume的集群配置、监控和故障排查等。不过根据文件内容的限制，这部分知识没有在文档中体现。
flume安装文档
12-07
通过正确安装、配置和使用 Flume，可以实现高效的数据流动和处理，这对于大数据分析和实时监控至关重要。理解 Flume 的基本概念、配置以及各种组件的使用，是充分利用 Flume 功能的关键。在实际应用中，可以根据具体...
flume安装包
02-13
flume安装包 flume安装包 flume安装包 看好版本再下载，以免下错
Flume 的配置
汤小萌的博客
11-25 2014
Flume 的概述：  Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。  Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中  一般的采集需求，通过对flume的简单配置即可实现  Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日...
Flume学习之路 （三）Flume的配置方式
weixin_34168880的博客
05-07 273
一、单一代理流配置 1.1　官网介绍 http://flume.apache.org/FlumeUserGuide.html#avro-source 通过一个通道将来源和接收器链接。需要列出源，接收器和通道，为给定的代理，然后指向源和接收器及通道。一个源的实例可以指定多个通道，但只能指定一个接收器实例。格式如下： 实例解析：一个代理名为agent_foo，外部通过avro客户端，并且发...
flume的配置详解
shuimofengyang的博客
11-06 371
1.flume版本是1.8 关于flume的各个source channel sink选型 注意看看官网http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html source sink 选型。看你是T+1还是实时，是监控目录还是tail -F 文件。 具体优缺点看这篇博客https://blog.youkuaiyun.com/u0...
Flume 的安装和使用方法;
04-01
<think>好的，我需要回答用户关于Apache Flume的安装和使用方法的问题。首先，我得回忆一下自己了解的Flume相关知识。记得Flume是Apache的一个分布式日志收集系统，主要用于大数据场景中的数据采集和传输。用户提到的引用内容中有几个版本的信息，比如Flume 1.9.0的安装步骤，以及配置文件的示例。 首先，安装部分。用户提供的引用中提到，Flume可以从官方网站下载，版本是1.9.0，解压命令是tar -xzf，指定目录。可能需要先确保系统已经安装了Java环境，因为Flume是基于Java的。所以在安装步骤中，应该先检查Java是否安装，版本是否符合要求。然后下载和解压步骤，接着是环境变量的配置，比如设置FLUME_HOME和PATH，这样用户可以在任何位置运行Flume命令。 接下来是使用部分。用户提供的配置示例中有一个netcat-logger.conf的配置文件，里面定义了source、channel和sink。需要解释每个组件的作用，比如source是数据源，这里用的是netcat，监听特定IP和端口；channel是内存通道，缓存数据；sink是logger，将数据记录到日志。然后启动Flume代理的命令是flume-ng agent，指定配置文件和名称等参数。测试部分可以通过telnet或nc命令发送数据，观察Flume的日志输出是否正常。 需要注意的事项，比如版本问题，Flume OG和NG的区别，用户使用的是1.9.0属于NG版本，所以配置语法可能和旧版不同。另外，内存通道的容量和事务容量设置，可能需要根据实际数据量调整，避免内存溢出或性能问题。还有网络配置，确保绑定的IP和端口是可访问的，防火墙设置是否正确。 用户可能遇到的问题，比如Java环境未安装，解压路径错误，配置文件语法错误，权限问题，或者端口被占用等。需要提醒用户检查这些方面。此外，配置文件中的组件名称（如a1.sources.r1.channels）是否正确连接，避免配置错误导致启动失败。 最后，生成相关问题，可能涉及性能优化、高可用配置、不同source和sink类型的使用，或者与其他大数据组件的集成，比如Kafka、HDFS等。确保问题覆盖用户可能进一步探索的方向。 总结下来，回答需要结构清晰，分步骤讲解安装和配置，提供示例代码和解释，注意事项和常见问题，以及相关扩展问题。同时，引用用户提供的参考内容，正确标注来源，比如解压步骤引用[3]，配置示例引用[5]等，确保信息的准确性。</think>### Apache Flume 安装教程及使用指南 #### **一、安装步骤** 1. **环境准备** - 确保已安装 Java 环境（JDK 1.8 或更高版本），可通过 `java -version` 验证[^4]。 - 下载 Flume 1.9.0 安装包： ```bash wget https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz ``` 2. **解压安装包** 使用以下命令解压到指定目录（例如 `/opt/flume`）： ```bash tar -xzf apache-flume-1.9.0-bin.tar.gz -C /opt/flume/ [^3] ``` 3. **配置环境变量** 编辑 `~/.bashrc` 或 `~/.bash_profile`，添加以下内容： ```bash export FLUME_HOME=/opt/flume/apache-flume-1.9.0-bin export PATH=$PATH:$FLUME_HOME/bin ``` 执行 `source ~/.bashrc` 使配置生效。 --- #### **二、快速使用示例** 1. **配置文件示例** 创建一个配置文件 `netcat-logger.conf`，内容如下： ```properties # 定义 Agent 的组件名称 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 配置 Source（监听网络端口） a1.sources.r1.type = netcat a1.sources.r1.bind = 192.168.140.33 a1.sources.r1.port = 8888 [^5] # 配置 Channel（内存缓冲） a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # 配置 Sink（日志输出） a1.sinks.k1.type = logger # 绑定组件关系 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 [^5] ``` 2. **启动 Flume Agent** 运行以下命令启动代理： ```bash flume-ng agent --conf $FLUME_HOME/conf --conf-file netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console ``` 3. **测试数据流** 使用 `telnet` 或 `nc` 发送数据： ```bash nc 192.168.140.33 8888 ``` 输入任意文本后，观察 Flume 控制台输出的日志信息。 --- #### **三、注意事项** 1. **版本兼容性** - Flume 1.X（NG 版本）与旧版 0.9X（OG 版本）配置语法不兼容。 2. **资源调整** - 内存通道（`memory`）的 `capacity` 和 `transactionCapacity` 需根据数据量调整，避免内存溢出。 3. **网络配置** - 若绑定公网 IP，需确保防火墙开放对应端口。 --- #### **四、常见问题** 1. **启动报错“Java not found”** - 检查 JDK 是否安装并配置 `JAVA_HOME`。 2. **端口占用问题** - 使用 `netstat -tlnp` 确认端口 `8888` 是否空闲。 3. **配置文件语法错误** - 确保每行配置无空格错误，组件名称需一致。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值