flume
关注
分享
扫一扫
文章平均质量分 79
浅汐王
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
taildir
# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = TAILDIR a1.sources.r1.positionFile = /bigdata/flume-1.6.0-cdh5.16.2/taildir_position.json a1.sources.r1.filegroups =.原创 2020-08-27 08:27:57 · 46601 阅读 · 0 评论 -
收集文件夹的内容到HDFS，按照时间分区
# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /bigdata/testdata/spool_dir # Describe the sink a1.sinks.k1.type = hdfs a1.sinks..原创 2020-08-27 08:28:47 · 46706 阅读 · 0 评论 -
收集文件夹的内容到HDFS（spooldir-memory-hdfs）
# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /bigdata/testdata/spool_dir # Describe the sink a1.sinks.k1.type = hdfs a1.sinks..原创 2020-08-27 08:27:04 · 46330 阅读 · 0 评论 -
收集指定文件的内容到HDFS（exec-memory-hdfs）
选型：source channel sink exec memory hdfs # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail -F /wangqingguo/bigdata/testda...原创 2020-08-27 08:27:22 · 46331 阅读 · 0 评论 -
netcat-memory-logger（仅供测试）
flume-conf.properties # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # Describe the sink a1.sinks.原创 2020-08-10 16:09:12 · 65745 阅读 · 0 评论 -
flume中几种常见的source、channel、sink
一、source 1、avro source 侦听Avro端口并从外部Avro客户端流接收事件。 当与另一个（上一跳）Flume代理上的内置Avro Sink配对时，它可以创建分层集合拓扑。 channels – type – The component type name, needs to beavro bind – hostname ...原创 2019-12-24 17:11:04 · 1407 阅读 · 0 评论 -
flume组合模式之高可用配置
这里用5台机搭建flume-HA集群，hosts加入以下内容 192.168.1.71 node01 192.168.1.72 node02 192.168.1.73 node03 192.168.1.74 node04 192.168.1.75 node05 案例说明-Consolidation（结合-高可用） 假设node01、nod...原创 2018-10-11 20:31:23 · 1233 阅读 · 0 评论 -
flume高级配置——数据流的复制、分流、负载均衡、故障转移
一、在前面几篇文章中介绍过几种常见的flume pipeline 场景。我们在回顾一下，主要有一下几种： 1、多个 agent 顺序连接： 可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统中。这是最简单的情况，一般情况下，应该控制这种顺序连接的Agent的数量，因为数据流经的路径变长了，如果不考虑failover的话，出现故障将影响整个Flow上的Agent收...原创 2018-10-11 20:25:51 · 600 阅读 · 0 评论 -
flume串联的简单使用
agent1: exec + memory + avro #gent的名称为"a1" a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = exec a1.sources.r1.command = tail -F/opt/data/data.log a1.source原创 2017-12-11 20:35:29 · 618 阅读 · 0 评论 -
log4j输出日志到flume
Log4JAppender和LoadBalancingLog4jAppender可以将应用服务器的日志通过AvroSource实时的把日志传输到日志服务器，然后在传输到监控系统或者是HDFS中存储，FLume的Log4JAppender和LoadBalancingLog4jAppender必须使用Log4j的异步加载器，否则日志服务器down机，将会导致应用服务器异常，影响线上环境的使用。 应原创 2017-12-11 20:35:50 · 224 阅读 · 0 评论