qq_55906442的博客

gmond（Ganglia Monitoring Daemon）：是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用gmond可以很容易收集很多系统指标数据，如CPU、内存、磁盘、网络和活跃进程的数据等。gweb（Ganglia Web）：Ganglia可视化工具，gweb是一种利用浏览器显示gmetad所存储数据的PHP前端。在Web界面中以图表方式展现集群的运行状态下收集的多种不同的指标数据。（3）在Hadoop01、Hadoop02、Hadoop03、Hadoop04修改配置文件。

（1）需求用Flume采集服务器本地日志，按照日志类型的不同，将不同种类的日志发往不同的分析系统。（2）需求分析一台服务器产生的日志类型有很多种，不同类型的日志需要发送到不同的分析系统。此时会用到Flume拓扑结构中的Multiplexing结构。Multiplexing的原理是，根据event中Header的某个key的值，将不同的event发送到不同的Channel中。我们需要自定义一个Interceptor，为不同类型的event的Header中的key赋予不同的值。

产生的日志，处理起来也非常麻烦。配置1个netcat source和1个channel、1个sink group（2个sink），分别输送给flume-flume-console1和flume-flume-console2。配置一个接收文件的source和两个channel，两个sink，分别将数据发送给flume-flume-hdfs.conf和flume-flume-dir.conf。Flume-1与Flume-2将数据发送给hadoop03上的Flume-3，Flume-3将最终数据打印到控制台。

Flume是一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统；基于流式架构，灵活简单。Flume最主要的作用是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。

启动flume的conf命令复杂难记？ 启动flume的conf命令占用窗口？ 一个脚本帮你搞定 只需一条命令实现功能。 一、前期准备（为了更多的脚本准备） 创建/sh/bin文件夹 mkdir sh 设置环境变量 vi ~/.bash_profile #加入以下内容 #群起脚本环境变量 PATH=$PATH:/root/sh/bin vi ~/.bashrc #加入以下内容 #群起脚本环境变量 PATH=$PATH:/root/sh/bin export PAT..

启动flume的conf命令复杂难记？ 启动flume的conf命令占用窗口？ 一个脚本帮你搞定 只需一条命令实现功能。 一、前期准备（为了更多的脚本准备） 创建/sh/bin文件夹 mkdir sh 设置环境变量 vi ~/.bash_profile #加入以下内容 #群起脚本环境变量 PATH=$PATH:/root/sh/bin vi ~/.bashrc #加入以下内容 #群起脚本环境变量 PATH=$PATH:/root/sh/bin export PATH..

添加依赖 <dependencies> <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.9.0</version> <scope&g..

Flume的安装与Flume监控端口数据官方案例