Flume学习笔记（一）安装与简单使用

最新推荐文章于 2025-09-23 20:09:33 发布
原创 最新推荐文章于 2025-09-23 20:09:33 发布 · 1.3w 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Flume #学习笔记 #Flume安装

本文环境如下：
操作系统：CentOS 7.2.1511 64位
Flume版本：1.6.0

1. 系统需求

Flume需要Java 1.6及以上（推荐1.7），对Agent监控目录的读写权限。

2. 下载软件包

到Flume官网上http://flume.apache.org/download.html下载软件包,例如：

wget "http://mirrors.cnnic.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz"
tar -xzvf apache-flume-1.6.0-bin.tar.gz
mv flume-1.6.0 /opt

3. 简单示例

3.1 修改配置文件

最低0.47元/天 解锁文章
Flume的安装及基本使用
QYHuiiQ
05-04 395
下载地址： https://flume.apache.org/download.html 上传至目标服务器 解压 [root@hadoop01 wyh]# tar -zxvf apache-flume-1.8.0-bin.tar.gz 配置环境变量 [root@hadoop01 wyh]# vi /etc/profile #添加环境变量 FLUME_HOME=/usr/local/wyh/apache-flume-1.8.0-bin PATH=$PATH:$FLUME_HOME/bin
Flume学习
weixin_44468025的博客
05-02 1956
简介： 1.Flume原本是Cloudera公司开发的后来贡献给饿了Apache的一套分布式的、可靠的、针对日志数据进行收集、汇聚和传输的机制 2.在大数据中，实际开发中有超过70%的数据来源于日志-日志是大数据的基石 3.Flume针对日志提供了非常简单且灵活的流式传输机制 4.版本 a.Flume0.X:又称之为Flume-og。依赖于Zookeeper，结构配置相对复杂，现在市面上已经停用这个版本 b.Flume1.X：又称之为Flume-og。不依赖于Zookeeper，结构配置相对简单，是市面上.
Flume的安装及简单的使用（一）
qq_38799155的博客
09-18 1219
1.Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据，同时Flume提供对数据的简单处理，并将数据处理结果写入各种数据接收方的能力。 Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。2010年11月Cloudera开源了Flume的第一个可用版本0.
flume 配置及使用
最新发布
2301_79998954的博客
09-23 178
flume-ng agent -c 沉降目标路径 -f 选择的配置脚本 -n agent名字 -Dflume.root.logger=INFO,console (在虚拟机页面的输出配置)source：avro和thrift（监听某个端口是否有信息）、exec（监听unix命令）、JMS（消息队列监听）三部分组成：source（流量源）、channel（管道）、sink（沉降配置）channel：memory（内存）、Kafka、jdbc、file（文件）概念介绍：抽水泵，有水就抽，没水等着。
flume安装与使用
m0_64416846的博客
04-11 1790
一，Flume 基础架构 1.1 Agent   Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。   Agent 主要有三个组成部分，Source、Channel、Sink。 1.2Source   Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrif、exec、jms、spooling directory、netcat、sequence generator、syslog、http、.
flume学习笔记（一）：安装flume
weixin_41765352的博客
12-01 547
这是本人近期学习flume的笔记，供和我一样投身大数据技术海洋的小白有个参考。本笔记使用的flume版本：flume1.9。
Flume学习笔记
酸奶盖儿的博客
04-02 1183
Flume学习笔记
Flume 学习笔记（一）使用Flume收集netcat端口通信的信息到本地文件
希望每天都能进步一点点
03-19 1625
若发现文章有误，敬请指教，感谢 文章目录运行环境一、准备 netcat 工具二、认识 Flume2.1 Flume 概念2.1 Flume 架构三、使用 Flume 收集端口的信息3.1 开启netcat3.2 创建配置文件3.3 启动flume 运行环境 Vmware 15 Flume1.9 CentOS7 操作系统 一、准备 netcat 工具 参考资料 Netcat 是一款简单的Unix工具，使用UDP和TCP协议。 它是一个可靠的容易被其他程序所启用的后台操作工具，同时它也被用作网络的.
大数据处理工具Flume学习笔记解析
### Flume配置与使用 Flume通过配置文件（agent配置）来设定如何处理数据流。一个Flume agent通常包含一个或多个源、通道和接收器。配置文件的格式通常是基于Java的properties格式，定义了source、channel和sink的...
Flume的安装及使用
sheep55的博客
04-23 1740
​ -Dflume.root.logger=INFO,console 表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别 ，日志级别包括： log、info、warn、 error。​ Flume1监控文件内容变动，将监控到的内容分别给到flume2和flume3，flume2将内容写到HDFS, Flume3将数据写到本地文件系统。​ -f 表示flume启动读取的配置文件。监控端口，将数据打印至控制台。
Flume学习01
达拉斯母牛
10-13 2558
概述Apache Flume是一个分布式的、可靠的和可用的系统，它能把不同数据源的海量日志数据有效地收集、汇总和移动，最后存入一个集中式数据存储系统中。Flume是Apache顶级开源项目，目前有0.9.x和1.x两个主要系列，其中0.9.x系列是Flume OG（Original Generation），1.x是Flume NG（Next Generation），Flume NG比Flume OG
flume的安装和使用
kinglyjn的博客
10-30 2195
flume简介Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目。支持在日志 系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方。Flume采用了多Master的方式，为了保证配置数据的一致性，Flume引入了ZooKeeper
大数据——Flume安装配置和使用
蜂蜜柚子加苦茶
12-10 850
Flume日志收集Flume安装和配置背景监控端口数据监控文件信息监控文件夹中的新文件监控文件写入HDFS中 Flume安装和配置 上传Flume安装包至服务器根目录下的software目录下，并解压到根目录下的opt目录下 [root@hadoop100 software]# tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /opt 进入opt目录下，并更改解压后的名字 [root@hadoop100 software]# cd /opt [root@h
Flume简单安装及使用
qq_15083919的博客
11-14 1063
1、Flume的安装 1.1、下载 下载地址 Download — Apache Flumehttp://flume.apache.org/download.html下载 binary版本 1.2、安装 解压文件 修改配置文件 vi flume-env.sh 填写JAVA_HOME 路径 查看版本 有显示的话，即可表示完成 2、简单使用 2.1、需求 将日志文件 test.log内容输入到 hdfs上 准备脚本 #!...
Flume的安装及简单使用
a805814077的博客
10-26 1255
大数据辅助工具flume的安装及其简单使用
flume的安装配置及使用
月牙儿
01-12 801
flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志
Flume安装及简单使用
onlineness的博客
11-13 303
flume的安装 ​ 下载地址：http://mirrors.hust.edu.cn/apache/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz ​ 安装步骤： 将安装包解压： $ tar -zxvf apache-flume-1.7.0-bin.tar.gz -C apps/ 修改配置文件 $ cd conf $ cp flume-env.sh.t...
Flume简单使用
qq_36800511的博客
12-23 228
flume
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值