泛音青年的博客

1.背景介绍鉴定Flume可以对数据进行简单处理，有一个需求是接收syslog格式的数据写入kafka，如果收到了非syslog数据，则分发到异常的kafka topic里做一个记录，或者对数据过滤完成初步的数据清洗。通过拦截器Interceptor实现不同的功能。Source将同一个事务的所有事件event传递给Channel处理器，进而依次可以传递给多个拦截器，直至从最后一个拦截器中返回的最终事件event写入到对应的Channel中。2.架构图[外链图片转存失败,源站可能有防盗链机制,建议将图片

一、概述1、flume是什么Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Linux环境下运行。Flume基于流式架构，容错性强，也很灵活简单，架构简单。Flume、Kafka用来实时进行数据收集，Spark、Storm用来实时处理数据，impala用来实时查询。的2、flume三层架构1）flume架构图[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aJyoUX5E-1595242184263)(ht