flume学习（三）

最新推荐文章于 2025-08-29 23:38:19 发布
原创 最新推荐文章于 2025-08-29 23:38:19 发布 · 240 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

flume使用实例

实例一

说明

监听客户端的连接然后打印

使用

netcat source---------》监听端口
memory channel  ----》数据通道
logger sink-----------》打印监听到的数据

配置

  • 在conf中新建agent目录
    mkdir -p conf/agent
  • 在agent目录中新建example-net-mem-log.conf
    touch example-net-mem-log.conf

  • 在example-net-mem-log.conf中配置source channel sink

    a1.sources = r1
a1.channels = c1 
a1.sinks = k1

a1.sources.r1.type = netcat                              
a1.sources.r1.bind = dev-hadoop-single.com               
a1.sources.r1.port = 4444

a1.channels.c1.type                  = memory
    #channel 能够容纳的event数量
a1.channels.c1.capacity              = 1000
    #channel 一个事务中允许的最大的evnet数量
a1.channels.c1.transactionCapacity = 100                 

a1.sinks.k1.type = logger

a1.sources.r1.channels = c1                              
a1.sinks.k1.channel = c1

    测试

    • 启动flume
      $ flume-ng agent --conf /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/agent/ --conf-file /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/agent/example-net-mem-log.conf --name a1 -Dflume.root.logger=INFO,console
    • 使用telnet发送消息

      $ telnet dev-hadoop-single.com 4444
      Trying 192.168.56.101...
      Connected to dev-hadoop-single.com.
      Escape character is '^]'.
      test
      OK
      message
      OK

      flume输出如下

      16/10/19 18:40:23 INFO sink.LoggerSink: Event: { headers:{} body: 74 65 73 74 0D test. }
      16/10/19 18:40:26 INFO sink.LoggerSink: Event: { headers:{} body: 6D 65 73 73 61 67 65 0D message. }

实例二

说明

Nginx + Flume + Hdfs

使用

exec source     1个
memory channel  1个
hdfs sink       1个

配置

flume配置
agent.sources = r1
agent.channels = c1
agent.sinks = k1

##
agent.sources.r1.channels = c1
agent.sinks.k1.channel    = c1

#exec source
agent.sources.r1.type          = exec
agent.sources.r1.command       = tail -F /home/hadoop/access.log
agent.sources.r1.selector.type = replicating


#memory channel
agent.channels.c1.type                = memory
agent.channels.c1.capacity            = 1000
agent.channels.c1.transactionCapacity = 100 
#agent.channels.c1.byteCapacityBufferPercentage = 60
#agent.channels.c1.byteCapacity        = 12800000000
agent.channels.c1.keep-alive          = 60


agent.sinks.k1.type = hdfs
agent.sinks.k1.hdfs.path = hdfs://dev-hadoop-single.com:8020/flume/events-01/%Y-%m-%d
agent.sinks.k1.hdfs.fileType=DataStream
#default:FlumeData
agent.sinks.k1.hdfs.filePrefix = log-spool
agent.sinks.k1.hdfs.fileShuffix = .log
agent.sinks.k1.hdfs.minBlockReplicas = 1
flume测试

启动flume

$ flume-ng agent --conf /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/agent/ --conf-file /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/agent/example-exec-mem-hdfs.conf --name agent -Dflume.root.logger=INFO,console

写入数据
access_log >> access.log
测试结果

16/10/19 19:03:46 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026338.tmp
16/10/19 19:05:36 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026338.tmp
16/10/19 19:05:36 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026338.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026338
16/10/19 19:05:36 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026339.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026339.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026339.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026339
16/10/19 19:05:37 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026340.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026340.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026340.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026340
16/10/19 19:05:37 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026341.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026341.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026341.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026341
16/10/19 19:05:37 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026342.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026342.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026342.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026342
16/10/19 19:05:37 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026343.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026343.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026343.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026343
16/10/19 19:05:37 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026344.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026344.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026344.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026344
16/10/19 19:05:37 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026345.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026345.tmp
16/10/19 19:05:37 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026345.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026345
16/10/19 19:05:38 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026346.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026346.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026346.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026346
16/10/19 19:05:38 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026347.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026347.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026347.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026347
16/10/19 19:05:38 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026348.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026348.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026348.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026348
16/10/19 19:05:38 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026349.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026349.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026349.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026349
16/10/19 19:05:38 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026350.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026350.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026350.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026350
16/10/19 19:05:38 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026351.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026351.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026351.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026351
16/10/19 19:05:38 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026352.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026352.tmp
16/10/19 19:05:38 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026352.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026352
16/10/19 19:05:38 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026353.tmp
16/10/19 19:05:39 INFO hdfs.BucketWriter: Closing hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026353.tmp
16/10/19 19:05:39 INFO hdfs.BucketWriter: Renaming hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026353.tmp to hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026353
16/10/19 19:05:39 INFO hdfs.BucketWriter: Creating hdfs://dev-hadoop-single.com:8020/flume/events-01/2016-10-19/log-spool.1476875026354.tmp
Flume学习
weixin_46935426的博客
06-24 1315
ChannelSelector的作用就是选出Event将要被发往哪个Channel。其共有两种类型，分别是Replicating（复制）和Multiplexing（多路复用）。ReplicatingSelector会将同一个Event发往所有的Channel，Multiplexing会根据相应的原则，将不同的Event发往不同的Channel。默认是ReplicatingMultiplexing类型的ChannelSelector会根据Event中Header中的某个属性决定分发到哪个Channel。
Flume学习文档
02-24
在学习Flume之前，首先应该了解其核心概念和架构设计。 Flume的初始版本称为FlumeOG，它为日志收集提供了基础支持，但由于代码架构等问题，Cloudera推出了重构后的FlumeNG版本，后者解决了FlumeOG的缺陷，并提升了...
flume学习三
weixin_56541207的博客
01-04 160
flume事务、拓扑结构
Flume 入门学习
weixin_44361163的博客
08-29 686
Interceptor 拦截器可以添加头信息，通过头信息可以判断信息应该发往哪channel，从而实现多路复用的效果。案例学习：使用 Flume 采集服务器本地日志,需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。需求分析：服务在实际的开发中，器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。
Flume的学习笔记
weixin_45866849的博客
07-11 3939
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。Flume 是可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据源中集中起来存储的工具/服务。Flume 可以采集文件，socket 数据包（网络端口）、文件夹、kafka、mysql 数据库等各种形式源数据，又可以将采集到的数据（下沉sink）输出到HDFS、Hbase 、hive、kafka 等众多外部存储系统中。......
Flume学习笔记
wyn20001128的博客
08-19 1165
Flume是的一个分布式、高可用、高可靠的海量日志采集、聚合和传输的系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时提供了对数据进行简单处理并写到各种数据接收方的能力。Flume的设计原理是基于数据流的，能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。Flume能够做到近似实时的推送，并且可以满足数据量是持续且量级很大的情况。比如它可以收集社交网站日志，并将这些数量庞大的日志数据从网站服务器上汇集起来，存储到HDFS或 HBase分布式数据库中。
Flume简单学习
A12345689B的博客
09-07 1218
Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、不同来源的到中央数据仓库的工具。数据大概分为三类：1、日志数据--文本文档2、业务数据--各种数据库3、第三方数据--买的，别人给的、爬取的对flume的理解:flume 其实就是水管 数据起始就是水，将水引入到不同的容器中Sqoop -- 一般用于采集数据库中的数据Flume -- 一般采集我们的日志数据 user.logFlume 其实可以看做一个水管。一头接着水源，一头接着桶，从水源地抽取数据到桶里去。
flume学习
caocry的博客
02-12 210
flume的属性学习
Flume进阶学习！
Joy T的博客
04-01 1206
Flume 的是用于决定一个事件 (Event) 应该被发送到哪一个或哪些Channel的组件。这种逻辑上的多路复用，其实就是在同一个Source源数据路径中，实现不同性质或者不同处理逻辑的事件同时传输，这种复用相当于将Selector和多个Channel结合形成多种逻辑上的Source源数据路径，但其实只有一个Source源数据路径。实现了数据按需分发，极大地增强了大数据处理和日志收集系统的能力。
Flume 学习记录
m0_63069778的博客
01-11 468
如以上配置所示，source的绑定channel，参数是channels，因此source与channel是一对多的关系。sink绑定channel，参数是channel，因此一个sink对应一个channel。首先要弄清楚flume架构里三者的关系。
十个案例学习Flume
weixin_52134189的博客
04-27 1586
基本采集，多路复制，负载均衡，聚合，自定义拦截器
flume学习总结3
08-15
一个Flume代理由三个主要组件构成：Source（数据源）、Channel（数据通道）、Sink（数据汇聚点）。 3. Source（数据源）：Source负责从外部源接收事件。一旦Source接收到外部传递来的事件，它会将其传给Channel。 ...
Flume学习资料.zip
08-29
大数据日志收集框架Flume学习资料，含Flume接口API文档，Java版和C++版Client代码，以及服务配置Demo 根据日志收集系统架构，各服务器端日志主要通过Apache Flume发送至Kafka集群的各个Topic，Kafka针对各个业务日志...
ACM-ICPC/CCPC/XCPC算法竞赛资料kmeans聚类
12-18
ACM-ICPC/CCPC/XCPC算法竞赛资料kmeans聚类
【CAOA三维路径规划】基于matlab鳄鱼伏击算法CAOA多无人机协同集群避障路径规划（目标函数：最低成本：路径、高度、威胁、转角）（Matlab代码实现）
最新发布
12-18
【CAOA三维路径规划】基于matlab鳄鱼伏击算法CAOA多无人机协同集群避障路径规划（目标函数：最低成本：路径、高度、威胁、转角）（Matlab代码实现）内容概要：本文介绍了基于Matlab的鳄鱼伏击算法（CAOA）在多无人机协同集群三维路径规划中的应用，重点解决动态环境下的避障问题。该方法以最低成本为目标函数，综合考虑路径长度、飞行高度、威胁等级和转弯角度等因素，通过优化算法实现无人机集群的安全、高效路径规划。文中提供了完整的Matlab代码实现，便于科研人员复现与改进，适用于复杂环境下的无人机协同任务。; 适合人群：具备一定Matlab编程基础，从事无人机路径规划、智能优化算法或协同控制研究的研究生、科研人员及工程技术人员。; 使用场景及目标：①研究多无人机在复杂三维环境中的协同避障路径规划；②验证和改进鳄鱼伏击算法（CAOA）在实际路径规划中的性能；③实现以最低综合成本为目标的智能路径优化，提升无人机集群的任务执行效率与安全性。; 阅读建议：建议读者结合提供的Matlab代码进行实践操作，深入理解目标函数构建、约束条件处理及算法迭代过程，同时可尝试将算法扩展至更多动态障碍物或更大规模无人机集群场景中进行测试与优化。
基于径向基函数神经网络RBFNN的自适应滑模控制学习（Matlab代码实现）
12-18
基于径向基函数神经网络RBFNN的自适应滑模控制学习（Matlab代码实现）内容概要：本文介绍了基于径向基函数神经网络（RBFNN）的自适应滑模控制方法，并提供了相应的Matlab代码实现。该方法结合了RBF神经网络的非线性逼近能力和滑模控制的强鲁棒性，用于解决复杂系统的控制问题，尤其适用于存在不确定性和外部干扰的动态系统。文中详细阐述了控制算法的设计思路、RBFNN的结构与权重更新机制、滑模面的构建以及自适应律的推导过程，并通过Matlab仿真验证了所提方法的有效性和稳定性。此外，文档还列举了大量相关的科研方向和技术应用，涵盖智能优化算法、机器学习、电力系统、路径规划等多个领域，展示了该技术的广泛应用前景。; 适合人群：具备一定自动控制理论基础和Matlab编程能力的研究生、科研人员及工程技术人员，特别是从事智能控制、非线性系统控制及相关领域的研究人员； 使用场景及目标：①学习和掌握RBF神经网络与滑模控制相结合的自适应控制策略设计方法；②应用于电机控制、机器人轨迹跟踪、电力电子系统等存在模型不确定性或外界扰动的实际控制系统中，提升控制精度与鲁棒性； 阅读建议：建议读者结合提供的Matlab代码进行仿真实践，深入理解算法实现细节，同时可参考文中提及的相关技术方向拓展研究思路，注重理论分析与仿真验证相结合。
STM32F407-RT-Thread-CAN工程代码
12-18
STM32F407芯片，开发环境：RT-Thread Stdio开发环境，使用内部drv_can实现can功能，官方的drv_can.c文件中对于stm32f407的位时序配置错误，已修改位时序，但是800k的CAN速率，由于CAN时钟为42M的原因，无法整除(42/0.8=52.5)，导致800k的速率无法使用.
安卓应用源码Android闹钟源码
12-18
安卓应用源码Android 闹钟源码
Flume配置与学习指南详解
资源摘要信息: "flume学习11111111111" 1. Flume基础概念介绍 Flume是一个分布式、可靠且可用的系统，用于有效地收集、聚合和移动大量日志数据。它的设计灵感来源于Google的Scribe系统。Flume具有灵活的架构，可以...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值