ZYN的博客

Flume是什么Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。其主要作用是实时读取本地磁盘的数据，将其写入HDFS。1、基础架构Agent：Agent是一个JVM进程，它以事件的形式将数据从源头送至目的地。Agent主要有3个部分组成，Source、Channel、SinkSource：负责接收数据到Flume Agent的组件。Sink：Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储

Flume进阶1、Flume事务2、Flume Agent内部原理ChannelSelector：选出Event将要被发往哪个Channel。其共有两种类型，分别是Replicating（复制）和Multiplexing（多路复用）ReplicatingSelector会将同一个Event发往所有的Channel，Multiplexing会根据相应的原则，将不同的Event发往不同的Channel。SinkProcessor:DefaultSinkProcessor(默认1对1)

文章目录Flume案例1、简单案例2、实时监控目录下的多个追加文件3、Flume企业开发案例之复制(单数据源多出口)4、Flume企业开发案例之多路复用及拦截器的使用5、Flume企业开发案例之聚合(多数据源一出口)Flume案例1、简单案例需求：监听并收集端口44444的数据，打印至控制台。环境：#安装netcat工具sudo yum install -y nc#检查44444端口是否占用sudo netstat -nlp | grep 44444 实现步骤：创建nc-flum

Ganglia的安装与部署Ganglia由gmond、gmetad和gweb三部分组成。gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用gmond，你可以很容易收集很多系统指标数据，如CPU、内存、磁盘、网络和活跃进程的数据等。gmetad（Ganglia Meta Daemon）整合所有信息，并将其以RRD格式存储至磁盘的服务。gweb（Ganglia Web）Ganglia可视化工具，gweb是一种利用浏览器显示gm