Flume面试题

Flume面试题

1 flume怎么保证数据不丢失？

其一：flume使用两个独立的事务分别负责从source到channel以及从channel到sink的事件传递，source向channel写数据时会先将数据写入临时缓冲区putlist，然后检查channel是否可以写入，如果写入成功会更新偏移量，如果不成功就回滚数据，channel到sink的事件传递也会现将数据写入临时缓冲区takelist，如果数据发送成功就更新偏移量，如果发送失败就回滚数据。

其二：Channel 使用的是 File Channel：数据存储在磁盘，宕机数据可以保存。但是传输速率慢。这个能够保证数据不丢失。

2.什么是flume?特点?

Flume： 是一个数据采集工具；可以从各种各样的数据源（服务器）上采集数据传输（汇聚）到大数据生态的各种存储系统中（Hdfs、hbase、hive、kafka）；

Flume是一个分布式、可靠、和高可用的海量日志采集、汇聚和传输的系统。

3.flume核心概念?

Flume中最核心的角色是agent，flume采集系统就是由一个个agent连接起来所形成的一个或简单或复杂的数据传输通道。

每一个agent相当于一个数据(被封装成Event对象)传递员，内部有三个组件：

Source：采集组件，用于跟数据源对接，以获取数据；它有各种各样的内置实现；

Channel：传输通道组件，用于从source将数据传递到sink

Sink：下沉组件，用于往下一级agent传递数据或者向最终存储系统传递数据

4.flume的封装event?

数据在Flume内部中数据以Event的封装形式存在。

因此，Source组件在获取到原始数据后，需要封装成Event放入channel；

Sink组件从channel中取出Event后，需要根据配置要求，转成其他形式的数据输出。

Event封装对象主要有两部分组成： Headers和 Body

Header是一个集合 Map[String,String]，用于携带一些KV形式的