elsechan的博客

一、为什么选用Flume？ Flume vs Logstash vs Filebeat 当时选择数据采集工具时，我们主要参考了市面上热度比较高的Flume和Logstash还有Filebeat，据目前所知，美团和苏宁用的是Flume。 Flume当初的设计初衷就是将数据传送到HDFS中，它更加地注重数据的传输，而Logstash是ELK组件（Elastic Search、Logstash、Kibana）中的一员，侧重于数据预处理。 Flume比Logstash多了一个可靠性策略，在Flume中传输的数据会持

一、第一层Flume的ETL拦截器： 作用：进行初步数据清洗，去除不符合Json格式的数据。 1、pom.xml文件 导入两个依赖和两个插件 <?xml version="1.0" encoding="UTF-8"?> 4.0.0 <groupId>com.atguigu</groupId> <artifactId>data0821</artifactId> <version>1.0-SNAPSHOT</version>