本文详细介绍了Flume在数据仓库组件中的角色，包括其架构、使用规范、配置示例以及如何保证数据不丢失、不重复。Flume用于收集日志数据并将其从各个服务器传输到大数据集群，通过Kafka进一步处理。文章强调了File channel在防止数据丢失中的重要性，并提供了针对Taildir source的数据完整性解决方案。
数据仓库组件之Flume
一、前言
Flume是一个可以收集日志等数据资源，并将这些庞大的数据从各项数据源中集中起来存储的高可用，分布式的工具，其设计的原理也是基于数据流。
二、架构
1 架构示意图
2 架构说明：
- 根据我们公司的业务架构，生产环境的服务器基本上是两台，所产生的日志数据分别存放在自己的本地路径下，并没有在大数据集群的服务器上，所以我们需要Flume子节点将日志数据传输到大数据集群。
- 通过我们大数据集群上的Flume再下沉到Kafka集群
- 在下沉到Kafka集群时，需要遵守Kafka topic的设计规范（详见Kafka使用手册），需要编写flume拦截器。
三、使用规范
1 conf 脚本文件命名规范
1）节点Flume --> 汇总Flume
《项目名》+《kafka+节点》+《kafka+Emr+节点》，中间通过下划线连接
节点：master、slave、slave1、slave2等
例如：DHP_flumeAppSlave_flumeEmrMaster.conf
解释：
最低0.47元/天 解锁文章
扫一扫
1399
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
