背锅神童的博客

Channel 中的数据直到被 Sink 成功写入目的地之后才会被删除， 当 Sink 写入目的地失败时， Channel中的数据不会丢失， 这是因为有事务机制提供保证。： 使用内存和文件作为数据存储介质， 即先把数据存到内存中，如果内存中数据达到阈值则将其存储到文件中。Flume的典型应用场景是： 采集应用程序运行期间产生的日志数据， 并将从多台机器中采集的日志数据汇总输出到指定目的地。从图中可以看到， Agent是由Source、 Channel和Sink组成的， 这就是Flume中的3大核心组件。

本文介绍了轻量级日志采集工具Filebeat的架构原理及应用实践。Filebeat作为Beats家族成员，相比Logstash资源消耗更低，采用Go语言开发。其核心架构包含Input（支持log、syslog等数据源）、Processor（提供简单数据处理）和Output（支持Elasticsearch、Logstash等输出）三大组件。文章详细解析了Filebeat的工作原理，包括日志文件的发现、Harvester收集机制等，并提供了从Logstash转发到Filebeat的实践案例，展示了如何配置fil

Logstash是Elastic公司开源的收集、解析和转换日志的工具，可以方便地把分散的、多样化的日志收集起来，然后进行自定义处理，最后将其传输到指定的目的地。Logstash是由JRuby语言编写的，使用基于消息的简单架构，在JVM上运行。   Logstash常被用于在日志关系系统中作为日志采集设备，最常被用于ELK（Elasticsearch +Logstash + Kibana）中作为日志收集器。

   ● 数据存储方式：   MySQL是关系型数据库管理系统（RDBMS），它使用表格来组织数据，并支持SQL查询语言。   ClickHouse是列式数据库管理系统（Columnar DBMS），它以列为单位存储数据，这使得它在处理大量数据时非常高效。   ● 用途：   MySQL通常用于事务处理（OLTP）工作负载，比如Web应用程序的后端数据库，支持高并发的读写操作。   ClickHouse则更适合于分析型（OLAP）工作负载，用于大规模数据分析和报告，以及实时数据分析。  

本文使用CDH6.3.2手把手指导搭建Hadoop集群环境

kafka架构分析及应用

大数据业务使用场景，使用nginx作为数据采集接收端