Flume采集之配置方法且maven

最新推荐文章于 2024-08-13 15:44:06 发布
最新推荐文章于 2024-08-13 15:44:06 发布
阅读量1k 收藏 3
点赞数
分类专栏： flume hadoop 文章标签： flume maven
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_51214928/article/details/120401089
版权

flume配置简介

配置简介

总的来说：

source用来接收数据
sinks用来发送数据
channel用来缓存数据

以下是一些相关类型，以后将会用到。
1.Source组件类型(用于接收从某个地方发送过来的数据)

Netcat Source
接受来自于数据客户端的请求数据，常用于测试开发

Exec Source
运行一个给定的unix指令，将指令的执行结果作为数据来源

Spooling Directory Source
监视指定目录的新文件，并从出现的新文件中解析事件

Kafka Source
获取来自于Kafka集群中数据

Sequence Generator Source
序列产生器，计数器从0开始每次+1到LONG.MAX_VALUE

Avro Source
接受来自于Avro Client请求数据，类似于Netcat Source
通常用于构建Flume集群和RPC通信数据的手机

2.Channel组件类型(用于缓存数据)
Memory Channel
将Event事件对象缓存到内存中
优点：快
缺点：存在数据丢失风险

JDBC Channel
将Event事件对象保存到DB中，目前只支持Derby
优点：安全
缺点：效率较低

File Channel
将Event事件对象保存到文件中
优点：安全
缺点：效率较低

Kafka Channel
将Event事件写入保存到Kafka集群
优点：高可用，数据备份

3.Sink组件(主要是输出文件，或者输出到其他主机或者发送信息到其他地方)
Logger Sink
以日志的形式输出采集到的数据

HDFS Sink
将采集到的数据最终写出到HDFS分布式文件系统，支持两种文件格式：文本和序列
注意：文件格式DataStream，采集到的数据不会进行序列化处理
每隔十分钟产生一个数据文件目录

File Roll Sink
基于文件滚动的sink输出，将采集到的数据写入保存到本地文件系统

Null Sink
将采集到所有的数据，全部丢弃

HBaseSinks
将采集到的数据写出保存到HBase非关系型数据库

安装flume(这里使用的是1.9版本)

这个文档建议用于1.6版本以上，因为涉及一些方法要自行调试，旧版本会比较麻烦。

1.下载安装前所需要的插件，用来简单测试flume。

yum install -y nc  下载插件

把我们要用的安装包下载
flume官方下载链接
安装包(点击就可以下载)

上传完我们的flume，然后解压，这些步骤不懂自行上网查询。
2.配置环境

export FLUME_HOME=你的flume路径
export PATH=$PATH:$FLUME_HOME/bin
export FLUME_CONF_DIR=$FLUME_HOME/conf


3.启动hadoop这里建议使用完全分布式，这里会涉及多个agent。
4.启动flume文件方法

[root@master conf]# flume-ng agent -n a1 -c  ./ -f /example.conf -Dflume.root.logger=INFO,console

或者在flume/conf/flume.env.sh文件中加入

export JAVA_OPTS="-Dflume.root.logger=INFO,console"

各种配置文件

带有文件1，2的注意分开不同机器，注意看一下文档内容了解一下。

1、提示：

目前我这里用的是俩台机器分别都有hadoop3.x，flume1.9
192.168.120.129是我的主机
192.168.120.134是我的副机

2、各种配置方法

在flume目录中的conf目录

1、非持久化保存数据：文件名 example.conf

#定义agent名称为a1
#设置3个组件的名称
a1.sources =r1
a1.sinks = k1
a1.channels = c1

#配置source类型为NetCat,监听地址为本机,端口为44444
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

#配置sink类型为sink
a1.sinks.k1.type = logger

#配置channel类型为内存,内存队列最大容量为1000，一个事务中从source接收的Events数量或者发送给sink的Eveents数量最大为100
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#将source 和 sink 绑定到channel 上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

新打开一个会话窗口，链接flume。
nc localhost 44444(端口号)
然后随便输入文字

2、持久化保存数据

#定义agent名称为a1
#设置3个组件的名称
a1.sources =r1
a1.sinks = k1
a1.channels = c1 c2
#配置source类型为NetCat,监听地址为本机,端口为44444
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

#配置sink类型为sink
a1.sinks.k1.type = logger

#配置channel类型为内存,内存队列最大容量为1000，一个事务中从source接收的Events数量或者发送给sink的Eveents数量最大为100

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type = file
a1.channels.c2.checkpointDir = /usr/local/src/flume/checkpoint
a1.channels.c2.dataDirs = /usr/local/src/flume/data

#将source 和 sink 绑定到channel 上
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c2

新打开一个会话窗口，链接flume。
nc localhost 44444(端口号)
然后随便输入文字

3、单个日志监控

#定义agent名称为a1
#设置3个组件的名称
a1.sources =r1
a1.sinks = k1
a1.channels = c1

#配置soure类型为exec
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F app.log

#配置sink类型为sink
a1.sinks.k1.type = logger

#配置channel类型为内存,内存队列最大容量为1000，一个事务中从source接收的Events数量或者发送给sink的Eveents数量最大为100

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#将source 和 sink 绑定到channel 上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

新打开一个会话窗口，链接flume。
nc localhost 44444(端口号)
然后随便输入文字

4、多个日志监控

#定义agent名称为a1
#设置3个组件的名称
a1.sources =r1
a1.sinks = k1
a1.channels = c1

#配置source类型为NetCat,监听地址为本机,端口为44444
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.positionFile =/usr/local/src/flume/conf/position.json
a1.sources.r1.filegroups.f1 =  /usr/local/src/flume/conf/app.log
a1.sources.r1.filegroups.f2 =  /usr/local/src/flume/conf/logs/.*log

a1.sinks.k1.type = logger

#配置channel类型为内存,内存队列最大容量为1000，一个事务中从source接收的Events数量或者发送给sink的Eveents数量最大为100
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#将source 和 sink 绑定到channel 上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

新打开一个会话窗口，链接flume。
nc localhost 44444(端口号)
然后随便输入文字

5、多个agent监控

文件一：

#定义agent名称为a1
#设置3个组件的名称
a1.sources =r1
a1.sinks = k1 k2
a1.channels = c1 c2

#配置source类型为NetCat,监听地址为本机,端口为44444
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

#配置sink类型为sink
a1.sinks.k1.type = logger
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = 192.168.120.129
a1.sinks.k2.port = 55555

#配置channel类型为内存,内存队列最大容量为1000，一个事务中从source接收的Events数量或者发送给sink的Eveents数量最大为100

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type = memory

#将source 和 sink 绑定到channel 上
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

文件二：

#定义agent名称为a1
#设置3个组件的名称
a1.sources =r1 r2
a1.sinks = k1
a1.channels = c1

#配置source类型为NetCat,监听地址为本机,端口为44444
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.positionFile =/usr/local/src/flume/conf/position.json
a1.sources.r1.filegroups.f1 =  /usr/local/src/flume/conf/app.log
a1.sources.r1.filegroups.f2 =  /usr/local/src/flume/conf/logs/.*log

a1.sources.r2.type = avro
a1.sources.r2.bind = 192.168.120.129
a1.sources.r2.port = 55555

#配置sink类型为sink
a1.sinks.k1.type = logger

#配置channel类型为内存,内存队列最大容量为1000，一个事务中从source接收的Events数量或者发送给sink的Eveents数量最大为100
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#将source 和 sink 绑定到channel 上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
a1.sources.r2.channels = c1

新打开文件1的会话窗口，链接flume。
nc localhost 44444(端口号)
然后随便输入文字

6、拦截器：

文件1：

#定义agent名称为a1
#设置3个组件的名称
a1.sources =r1
a1.sinks = k1 k2
a1.channels = c1 c2

#配置source类型为NetCat,监听地址为本机,端口为44444
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
#添加拦截器
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = host

#配置sink类型为sink
a1.sinks.k1.type = logger

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = 192.168.120.129
a1.sinks.k2.port = 55555

#配置channel类型为内存,内存队列最大容量为1000，一个事务中从source接收的Events数量或者发送给sink的Eveents数量最大为100

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type = memory

#将source 和 sink 绑定到channel 上
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1

文件2：

#定义agent名称为a1
#设置3个组件的名称
a1.sources =r1 r2
a1.sinks = k1
a1.channels = c1

#配置source类型为NetCat,监听地址为本机,端口为44444
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.positionFile =/usr/local/src/flume/conf/position.json
a1.sources.r1.filegroups.f1 =  /usr/local/src/flume/conf/app.log
a1.sources.r1.filegroups.f2 =  /usr/local/src/flume/conf/logs/.*log

a1.sources.r2.type = avro
a1.sources.r2.bind = 192.168.120.129
a1.sources.r2.port = 55555

#配置sink类型为sink
a1.sinks.k1.type = logger

#配置channel类型为内存,内存队列最大容量为1000，一个事务中从source接收的Events数量或者发送给sink的Eveents数量最大为100
a1.channels.c1.type = memory
a1.channels.c1.capacity
最低0.47元/天 解锁文章
Flume实时采集mysql数据到kafka中并输出
Alex的博客
11-30 6253
Flume实时采集mysql数据到kafka中并输出。Apache Flume是一个分布式的、可靠的、可用的系统，用于有效地收集、聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储。在大数据生态圈中，flume经常用于完成数据采集的工作。其实时性很高，延迟大约1-2s，可以做到准实时。又因为mysql是程序员常用的数据库，所以以flume实时采集mysql数据库为例子。要了解flume如何采集数据，首先要初探其架构：Flume 运行的核心是 Agent。Flume以agent为最小的独立运行单位。
flume mysql hive_flume采集数据实时存储hive两种解决方案
weixin_36373949的博客
02-01 624
说明：本文不仅提供两种方案，还详细的记录了一些相关信息。方案一本方案的核心是flume采集数据后，按照hive表的结构，将采集数据输送到对应的地址中，达到数据实时存储的目的，这种实时实际上是一种准实时。假设hadoop集群已经正常启动，hive也已经正常启动，并且hive的文件地址是/hive/warehouse，然后hive里存在一张由以下建表语句创建的表create table flume_t...
flume 1.8所有源代码 编译通过版 附 maven3.5.2 安装包
08-23
flume 1.8所有源代码 编译通过版 附 maven3.5.2 安装包 解压配置maven，利用命令行进行编译，导入eclipse，可用于源代码查看，搭建flume远程测试环境
Flume数据采集各种配置详解
热门推荐
重点在于记录
06-07 1万+
Flume简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 系统功能 日志收集 Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Fl...
Flume 采集配置
尹忠政的博客
09-18 261
Flum 采集配置 安装 使用CDH安装 存在的问题 Timed out before HDFS call was made. Your hdfs.callTimeout might be set too low or HDFS calls are taking too long. 增加hdfs的超时时间 tier1.sinks.ods_hdfs_sink.hdfs.callTimeout ChannelFullException: Space for commit to queue couldn
Flume采集配置
qq_34122262的博客
01-10 364
Flume采集配置Flume采集配置，打印日志Flume配置文件Flume采集配置--多级agent串联 Flume采集配置，打印日志 bin/flume-ng agent -c conf/ -f dir-hdfs.conf -n ag1 -Dflume.root.logger=INFO,console #bin/flume-ng agent:运行flume agent #-c conf :运行...
flume采集配置案例-安装 （twenty-nine day second）
ZJX103RLF的博客
04-24 353
使用flume 解压apache-flume-1.6.0-bin.tar.gz 然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义) 指定采集方案配置文件，在相应的节点上启动flume agent 配置dir-hdfs.conf 【配置里面参数的后面不能再有注释，否则会...
Flume-Kafka-Flume采集
elsechan的博客
03-13 1309
一、第一层Flume的ETL拦截器： 作用：进行初步数据清洗，去除不符合Json格式的数据。 1、pom.xml文件 导入两个依赖和两个插件 <?xml version="1.0" encoding="UTF-8"?> 4.0.0 <groupId>com.atguigu</groupId> <artifactId>data0821</artifactId> <version>1.0-SNAPSHOT</version>
日志系统之Flume采集加morphline解析
VinoYang的专栏
11-20 7988
这段时间花了部分时间在处理[消息总线](https://github.com/yanghua/banyan)跟日志的对接上。这里分享一下在日志采集和日志解析中遇到的一些问题和处理方案。
flume配置
bwf317的博客
06-22 703
2.1 配置采集方案 通过上游采集，下游直接写入到hdfs中。配置两个sink用于sink高可用 上游配置： a1.sources = r1 a1.channels = c1 a1.sinks = k1 k2 #sources：用到TAILDIR类型，记录偏移量，安全，快开重连可以接着上次的位置继续采集数据 a1.sources.r1.channels = c1 a1.sources.r1.type = TAILDIR #根据终端定义相应地文件组，分别制定其对应的日志存储位置进行数据的读
windows下使用maven编译flume
pgwcumt的专栏
10-27 595
本文讲解如何在windows下使用maven编译，以及如何在windows下执行 1、下载 flume 的源文件，地址：http://www.apache.org/dyn/closer.cgi/flume/1.5.0.1/apache-flume-1.5.0.1-src.tar.gz 2、本地安装maven环境 3、切换到源文件路径下执行：mvn clean              ...
采集日志Flume的集群搭建与详细配置
李思成的博客
07-30 1978
目录1.概述2.运行机制3.Flum采集系统构建图3.1简单结构3.2复杂结构4.快速入门4.1安装部署4.2Flume具体配置4.3Flume的ETL和分类型拦截器4.3.1配置pom.xml文件4.3.2ETL拦截器4.3.3日志过滤工具类4.3.4日志分类拦截器4.3.5打包上传并启动5.FLume启动脚本6.脚本补充6.1Hadoop启动脚本6.2生成日志脚本6.3zookeeper启动脚本6.3集群命令脚本6.4统一集群时间脚本 1.概述 Flume是Cloudera提供的一个高可用的，高可靠的，
Flume pom
mthinking
04-23 520
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.a...
Flume安装配置(Linux)
最新发布
m2e=的博客
08-13 1085
Flume是开源日志系统。Flume是流式日志采集工具。 提供从固定目录下采集日志信息到目的地（HDFS，HBase，Kafka）能力。 提供实时采集日志信息（taidir）到目的地的能力。
【导入项目出现问题，maven包找不到，又或者启动类没有run】
邂逅的博客
05-13 295
导入项目
Maven编译Flume-ng 1.5.0
u012689336的专栏
09-28 2093
确保可以上网，因为编译时要下载很多的jar 包 1、安装Maven 下载：apache-maven-3.0.5-bin.tar.gz 解压：[sparkadmin@hadoop4 ~]$ tar -zxvf apache-maven-3.0.5-bin.tar.gz 配置环境变量 [sparkadmin@hadoop4 ~]$ vim .bashrc expo
flume开发环境搭建
xiao_jun_0820的专栏
02-03 4153
有朋友提问flume开发环境怎么搭建的，给个pom文件放着，只能帮到这了<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 htt
idea导入maven项目后pom报错_生产Flume源码导入IDEA方式
weixin_32256861的博客
12-21 385
下载flume-ng-1.6.0-cdh5.7.0-src.tar.gz下载地址:http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0-src.tar.gzwin安装好maven-3.3.9解压flume-ng-1.6.0-cdh5.7.0-src.tar.gz并进入解压路径编译：mvn clean compile报错换成以下...
Flume与RocketMQ集成实现数据接入与传输
4. **配置flume的source**：通过添加特定的配置到Flume的配置文件中，可以定义source，而这个source正是从RocketMQ中获取数据的组件。 5. **数据接入flume，之后sink到本地文件或其他系统**：数据在通过Flume的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

伦杰周

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值