本文是一篇关于Flume、Logstash和Filebeat日志采集工具的调研报告。Flume是一个分布式、高可靠的服务，用于高效收集、聚合和移动大量日志数据，其特点是数据持久化在channel中，确保可靠性。Logstash具有丰富的数据处理和过滤能力，适合数据预处理，但资源消耗较大。Filebeat轻量级，适用于常见的日志收集，与ELK栈配合良好，资源占用低。
https://blog.youkuaiyun.com/yezonggang/article/details/95174354
概述
数据的价值在于把数据变成行动。这里一个非常重要的过程是数据分析。提到数据分析，大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。从整个过程来看，数据分析其实包含了4个过程：采集，存储，计算，展示。大数据的数据采集工作是大数据技术中非常重要、基础的部分，具体场景使用合适的采集工具，可以大大提高效率和可靠性，并降低资源成本。Flume、Logstash和Filebeat都是可以作为日志采集的工具，本报告将针对这三者进行分析。
Flume
Flume是一种分布式、高可靠和高可用的服务，用于高效地收集、聚合和移动大量日志数据。它有一个简单而灵活的基于流数据流的体系结构。它具有可调的可靠性机制、故障转移和恢复机制，具有强大的容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。
Flume介绍
Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件：
source: 采集源，用于跟数据源对接，
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
