pigziprogrammer的专栏

Flume 是什么？ Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume 特点 1、可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。 2、可扩展性 Flume采用了三层架构，分别为agent，collector和stor...

Flume NG部署 1、下载flume安装包。 2、切换到hadoop用户操作，进入flume/conf目录。 [root@master java]$ su hadoop [hadoop@master java]$ cd flume/conf [hadoop@master conf]$ ls flume-conf.properties.template flume-env.ps1.te...

flume的实际应用场景 在上面的应用场景中，主要可以分为以下几个步骤。 1、首先采用flume进行日志收集。 2、采用HDFS进行日志的存储。 3、采用MapReduce/Hive进行日志分析。 4、将分析后的格式化日志存储到Mysql数据库中。 5、最后前端查询，实现数据可视化展示。 ...