Flume个人心得笔记之Source安装

                                  Flume个人心得笔记之Source安装

目录

                                  Flume个人心得笔记之Source安装

一.Flume基本案例

一.启动命令

二.下载文件并解压

三、示例：

1.创建一个Data文件夹

2.编辑一个文件  

3.进入bin 下 执行该指令

4.解压nc 

5.传输数据

6.接收数据

二.Avro Source

一、概述

二、可配选项说明

三.示例

1.编辑 vim avrosource.conf

2.运行操作

3.执行

4.创建数据 a.txt

5.执行命令

三.Exec Source

一、概述

二、可配置选项说明

三、示例：

1.编辑文件vim execsource.conf

2.执行命令

四.Spooling Directory Source

一、概述

二、可配置选项说明

三、示例

1.编辑 vim spooldir

2.执行命令

3.移动文件

4.查看日志

5.文件发生变化被监听

五.NetCat Source

一、概述

二、可配置选项说明

三、示例

六.Squence Generator Source

一、概述

二、可配置选项说明

 三、示例

1.拷贝一份文件

2.配置文件

3.运行

七.HTTP Source

一、概述

二、常用Handler

1.JSONHandler

2.BlobHandler

三、可配置选项说明

四、示例：

1.编辑 vim httpsource.conf

2.执行命令

3.发送数据 json

4.接收数据

---

一.Flume基本案例

一.启动命令

参数	描述
agent	运行一个Flume Agent
--conf,-c <conf>	指定配置文件放在什么目录
--conf-file,-f <file>	指定配置文件，这个配置文件必须在全局选项的--conf参数定义的目录下
--name,-n <name>	Agent的名称，注意：要和配置文件里的名字一致。
-Dproperty=value	设置一个JAVA系统属性值。常见的：-Dflume.root.logger=INFO,console

二.下载文件并解压

wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/apache-flume-1.6.0-bin.tar.gz

tar -xvf  apache-flume-1.6.0-bin.tar.gz

三、示例：

1.创建一个Data文件夹

mkdir  data

2.编辑一个文件  

vim basic.conf(手动创建）

# 给Agent起名
#给sourse起名
a1.sources= s1
# 给channel起名
a1.channels = c1
# 给sink起名
a1.sinks = k1

#配置sourse 
#配置sourse的类型
a1.sources.s1.type = netcat
#配置监听主机
a1.sources.s1.bind = 0.0.0.0
#配置监听端口
a1.sources.s1.port = 8090
#配置channel的类型    内存     file 磁盘
a1.channels.c1.type = memory 
#配置channel的容量    日志一万条
a1.channels.c1.capacity = 10000
#配置往sink发送的数据量
a1.channels.c1.transactionCapacity = 1000
# 配置sink

#配置sinl的类型 
a1.sinks.k1.type = logger 

#将source和channel绑定
a1.sources.s1.channels = c1
#将sink和channel绑定
a1.sinks.k1.channel = c1

3.进入bin 下 执行该指令

./flume-ng agent -n a1 -c ../conf -f ../data/basic.conf -Dflume.root.logger=INFO,console

1.显示如下，及配置没有问题

2.会卡着不动，重新开个窗口即可

4.解压nc 

5.传输数据

6.接收数据

 

二.Avro Source

一、概述

1. 监听Avro 端口来接收外部avro客户端的事件流

2. avro-source接收到的是经过avro序列化后的数据，然后反序列化数据继续传输。

3. 源数据必须是经过avro序列化后的数据

4. 利用Avro source可以实现多级流动、扇出流、扇入流等效果

5. 可以接收通过flume提供的avro客户端发送的日志信息

二、可配选项说明

配置项	说明
channels	绑定通道
type	avro
bind	需要监听的主机名或IP