pigziprogrammer的专栏

Flume 是什么？Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume 特点1、可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。2、可扩展性Flume采用了三层架构，分别为agent，collector和stor...

Flume NG部署1、下载flume安装包。2、切换到hadoop用户操作，进入flume/conf目录。[root@master java]$ su hadoop[hadoop@master java]$ cd flume/conf[hadoop@master conf]$ lsflume-conf.properties.template flume-env.ps1.te...

flume的实际应用场景在上面的应用场景中，主要可以分为以下几个步骤。1、首先采用flume进行日志收集。2、采用HDFS进行日志的存储。3、采用MapReduce/Hive进行日志分析。4、将分析后的格式化日志存储到Mysql数据库中。5、最后前端查询，实现数据可视化展示。...