努力吧，骚年2624302464

安装配置

1) 上传安装包到数据源所在节点上
2) 解压：tar -zxvf 安装包
3) 进入安装目录下的conf下
    cp flume-env.sh.template flume-env.sh
    修改flume-env.sh,配置JAVA_HOME
4) 在flume安装路径下创建一个目录agentconf，在该目录下创建一个配置文件：
    netcat-logger.properties，配置文件内容在下面：
    mkdir agentconf
    touch netcat-logger.properties
5) 启动agent去采集数据
    在flume安装路径下执行：
    bin/flume-ng agent -c conf -f agentconf/netcat-logger.properties
     -n a1 -Dflume.root.logger=INFO,console
6) 测试
     在安装flume节点：执行telnet localhost 44444
     输入数据，数据就会被采集到
     首先要安装nc，telnet
     sudo yum -y install nc
     sudo yum -y install telnet

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20

配置文件内容：
# 定义这个 agent 中各个组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置 source 组件:r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 描述和配置 sink 组件:k1
a1.sinks.k1.type = logger

# 描述和配置 channel 组件,此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置 source channel sink 之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23

2. Flume实战案例

1) 采集目录到HDFS

        采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件
    出现，就需要把文件采集到HDFS中去
        三大要素：
        数据源组件，即source--监控文件目录：spooldir
        下沉组件，即sink--HDFS文件系：hdfs sink
        通道组件，即channel--可用file channel也可以用内存channel
        spooldir特性：
            1、监视一个目录，只要目录中出现新文件，就会采集文件中的内容
            2、采集完成的文件，会被agent自动添加一个后缀：.COMPLETED
            3、所监视的目录不允许重复出现相同文件名的文件
    1、配置：
        在flume安装路径的agentconf下新建配置文件：spooldir-hdfs.properties，
        配置文件内容在下面：
    2、启动：
        在flume安装路径下启动：
        bin/flume-ng agent -c conf -f agentconf/spooldir-hdfs.properties
         -n agent1
    3、测试：
        （1）如果 HDFS 集群是高可用集群,那么必须要放入 core-site.xml 和 
            hdfs-site.xml 文件到$FLUME_HOME/conf 目录中
        （2）查看监控的/home/Hadoop/logs 文件夹中的文件是否被正确上传到HDFS上
        （3）在该目录中创建文件,或者从其他目录往该目录加入文件,验证是否新增的
            文件能被自动的上传到 HDFS

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24

配置文件内容：spooldir-hdfs.properties

#定义三大组件的名称
agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1

# 配置 source 组件
agent1.sources.source1.type = spooldir
agent1.sources.source1.spoolDir = /home/centos/logs/
agent1.sources.source1.fileHeader = false

#配置拦截器
agent1.sources.source1.interceptors = i1
agent1.sources.source1.interceptors.i1.type = host
agent1.sources.source1.interceptors.i1.hostHeader = hostname
# 配置 sink 组件
agent1.sinks.sink1.type = hdfs
agent1.sinks.sink1.hdfs.path=hdfs://bd1804/flume_log/%y-%m-%d/%H-%M
agent1.sinks.sink1.hdfs.filePrefix = events
agent1.sinks.sink1.hdfs.maxOpenFiles = 5000
agent1.sinks.sink1.hdfs.batchSize= 100
agent1.sinks.sink1.hdfs.fileType = DataStream
agent1.sinks.sink1.hdfs.writeFormat =Text
agent1.sinks.sink1.hdfs.rollSize = 102400
agent1.sinks.sink1.hdfs.rollCount = 1000000
agent1.sinks.sink1.hdfs.rollInterval = 60
#agent1.sinks.sink1.hdfs.round = true
#agent1.sinks.sink1.hdfs.roundValue = 10
#agent1.sinks.sink1.hdfs.roundUnit = minute
agent1.sinks.sink1.hdfs.useLocalTimeStamp = true
# Use a channel which buffers events in memory
agent1.channels.channel1.type = memory
agent1.channels.channel1.keep-alive = 120
agent1.channels.channel1.capacity = 500000
agent1.channels.channel1.transactionCapacity = 600

# Bind the source and sink to the channel
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40

2) 采集文件到HDFS

        采集需求：业务系统使用log4j生成的日志，日志内容不断增加，需要把追
    加到日志文件中的数据实时采集到HDFS
        三大要素：
        采集源，即source--监控文件内容更新：exec 'tail -F file'
        其他同上
    1、配置：
        在flume安装路径的agentconf下新建配置文件：tail-hdfs.properties，
        配置文件内容在下面：
    2、启动：
        在flume安装路径下启动：
        bin/flume-ng agent -c conf -f agentconf/tail-hdfs.properties
         -n agent1
    3、测试：
        （1）模拟像指定的日志文件/home/hadoop/logs/catalina.out 追加内容
        （2）验证 HDFS 上的对应文件是否有新增内容

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16

配置文件内容：tail-hdfs.properties

agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1

# Describe/configure tail -F source1
agent1.sources.source1.type = exec
agent1.sources.source1.command = tail -F /home/hadoop/logs/catalina.out
agent1.sources.source1.channels = channel1

#configure host for source
agent1.sources.source1.interceptors = i1
agent1.sources.source1.interceptors.i1.type = host
agent1.sources.source1.interceptors.i1.hostHeader = hostname

# Describe sink1
agent1.sinks.sink1.type = hdfs
#a1.sinks.k1.channel = c1
agent1.sinks.sink1.hdfs.path =hdfs://bd1804/weblog/flume-event/%y-%m-%d/%H-%M
agent1.sinks.sink1.hdfs.filePrefix = tomcat_
agent1.sinks.sink1.hdfs.maxOpenFiles = 5000
agent1.sinks.sink1.hdfs.batchSize= 100
agent1.sinks.sink1.hdfs.fileType = DataStream
agent1.sinks.sink1.hdfs.writeFormat =Text
agent1.sinks.sink1.hdfs.rollSize = 102400
agent1.sinks.sink1.hdfs.rollCount = 1000000
agent1.sinks.sink1.hdfs.rollInterval = 60
agent1.sinks.sink1.hdfs.round = true
agent1.sinks.sink1.hdfs.roundValue = 10
agent1.sinks.sink1.hdfs.roundUnit = minute
agent1.sinks.sink1.hdfs.useLocalTimeStamp = true

# Use a channel which buffers events in memory
agent1.channels.channel1.type = memory
agent1.channels.channel1.keep-alive = 120
agent1.channels.channel1.capacity = 500000
agent1.channels.channel1.transactionCapacity = 600

# Bind the source and sink to the channel
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42

3) 多路复用采集

    两台机器上：
    centos01:tail-avro.properties