飞少fly的博客

static拦截器的功能就是往采集到的数据的header中插入自己定义的key-value对1、案例场景A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log, 现在需要把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。但是在hdfs中要求的目录为：/source/logs/access/20200101/**/source/logs/nginx/20200101/**/

master：]# ./bin/flume-ng agent --conf conf --conf-file ./conf/flume-client.properties_loadbalance --name a1 -Dflume.root.logger=INFO,consoleslave1：]# ./bin/flume-ng agent --conf conf --conf-file ./conf/flume-server.properties --name a1 -Dflume.root.l

1、故障转移（failover）：master：]# ./bin/flume-ng agent --conf conf --conf-file ./conf/flume-client.properties --name agent1 -Dflume.root.logger=INFO,consoleslave1：]# ./bin/flume-ng agent --conf conf --conf-file ./conf/flume-server.properties --name a1 .

输出HDFS]# ./bin/flume-ng agent --conf conf --conf-file ./conf/3.flume.conf --name a1 -Dflume.root.logger=INFO,console发数据：]# echo '我爱你中国' >> 1.log # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1

1.使用官方的组件， 搭配一个 从 netcat source -> memory channel -> logger sink 的 demo启动agent：]# ./bin/flume-ng agent --conf conf --conf-file ./conf/1.flume_netcat.conf --name a1 -Dflume.root.logger=INFO,console发数据：]# telnet master 44444flume_netcat.conf文

1. Flume是什么 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统 Flume支持在日志系统中定制各类数据发送方，用于收集数据； Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 flume支持的多种接入资源数据类型有哪些；多种接出数据类型？？ 接入：console：终端、RPC网络、text文本、tail命令、syslog、exec输出：磁盘、hdfs、hbase、kafka、网络传输