Flume安装和简单使用

最新推荐文章于 2022-11-29 18:05:02 发布

原创

最新推荐文章于 2022-11-29 18:05:02 发布 · 180 阅读

0 ·

CC 4.0 BY-SA版权

Flume是一个分布式、可靠且可用的服务，用于高效地收集、聚合和移动大量日志数据。本文介绍了Flume的安装过程，包括下载、解压、配置环境变量，并详细解释了Flume的agent组成部分：Source、Channel和Sink。通过具体示例展示了如何配置不同的Source、Channel和Sink组合，如使用NetCat Source将44444端口数据输出到控制台，或使用exec Source监控文件并将数据传入HDFS。

Flume安装和简单使用

Flume简介

来自官网
Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms. It uses a simple extensible data model that allows for online analytic application.

简单来说就是一个把日志进行采集汇总传输的框架