静待花开

一般情况下面试大数据岗位的时候都会问到flume，我们之前也对flume进行过总结，不过时间太快了，转眼到了2020年。下面根据本人最新的flume相关面试并总结最准确的答案如下：本文目录一、Flume的Source，Sink，Channel的作用？你们Source是什么类型？1.1、首先各组件的作用1.2、实际生产常用的Source类型为：二、你对Flume的Channel Selectors...

Flume初识本文主要包括如下的几个部分：下载Flume配置Flume启动Flume 及其命令解析1. 下载Flume到Flume的官方网站下载相关文件Flume官网，本人下载的是最新的稳定版本：1.7.0。(ps:下载编译后的文件，不要下载源文件。我们的目标是使用Flume，而不是研究Flume的源码。) 下载图示如下： 2. 配置Flume的配置文件 为什么需要配置Flume的文件呢？ ...

1、概念Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。一般的采集需求，通过对flume的简单配置即可实现Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大...

1、采集案例结构示意图：采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去根据需求，首先定义以下3大要素1.1、数据源组件，即source ——监控文件目录 :  spooldirspooldir特性：   1.1.1、监视一个目录，只要目录中出现新文件，就会采集文件中的内容   1.1.2、采集完成的文件，会被agent自动添加一个后缀：COM...

flume----------------    收集、移动、聚合大量日志数据的服务。    基于流数据的架构，用于在线日志分析。    基于事件。    在生产和消费者之间启动协调作用。    提供了事务保证，确保消息一定被分发。    Source 多种    sink多种.    multihop        //多级跃点.    水平扩展:        //加节点           ...