
Flume
Hello Flume
卜塔
但行好事,莫问前程
展开
-
【Flume】Flume简单介绍
1. 概述Flume是一个分布式、可靠和高可用的海量日志采集、聚合和传输系统。Flume可以采集多种数据,如:文件、socket数据包、文件夹、Kafka等,还可以将采集到的数据输出到HDFS、HBase、Hive等多种存储系统。[Flume官方网站](http://flume.apache.org/)有更详细的介绍。2. 运行机制Flume中最核心部分是agent,每个agent都是一...原创 2020-04-11 16:32:24 · 472 阅读 · 0 评论 -
【Flume】举例分析如何配置Flume
Flume非常灵活,日常工作中可以根据实际需求配置。如果大家不知道Flume支持哪些配置,那么可以关注Flume官网。在Configuration标签下有Flume Source,Flume Sinks,Flume Channels,分别对source、sink、channel组件的配置做了详细介绍。我们在配置的时候参考官网,稍加改动即可。下面就对常见配置方式举例分析:1.网络采集ag...原创 2020-02-23 21:04:52 · 401 阅读 · 0 评论