刘瑞东的专栏

从上一篇 chukwa 的简介中,我们知道 chukwa 为日志分析系统提供了一整套的解决方案,其中包含了数据的生成、收集、排序、去重、分析和展示所需要的几乎所有事情,要扩展 chukwa 以实现自己特殊的需求,是很方便的.本文以 chukwa-0.3.0 为例,阐述在 分布式小组内如何以 chukwa 为基础实现"资源状态图"。概述需求"资源状态图"的需求是很明确的,具体分析如下:

Chukwa 简介什么是 Chukwa，简单的说它是一个数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。Chukwa 本身也提供了很多内置的功能，帮助我们进行数据的收集和整理。Chukwa 应用场景介绍为了更加简单直观的展示 Chukwa，我们先来看一个假设的场景。假设我们有一个规模很

1. 接口、实现类简介(1)Chukwa使用适配器(Adaptor)实现对各种输入(Streaming、Log File)的监控    org.apache.hadoop.chukwa.datacollection.adaptor.Adaptor    适配器接口Java代码  // 启动适配器   void start(String adaptorID,

1.工具类、接口简介(1)Java代码     // 用于对数据进行分类      org.apache.hadoop.chukwa.extraction.demux.DemuxManager            // mapreduce程序的map处理接口      org.apache.hadoop.chukwa.extraction.demux.proc

chukwa是解决在集群环境中收集各节点增量日志的一种基于hadoop的实现方案，其主要有如下四个组成部分。1. Agents 运行在每个客户端上，负责发送数据。2. Collectors 接收Agents发送的数据并写入稳定存储。3. MapReduce jobs 分析和归档数据。4. HICC 数据中心，用于显示数据的web界面。它的系统架构如下图以单机部署为例，前

1. 模拟增量日志环境/home/matrix/Program/project/log/testlogShell代码  - 10.0.0.10 [17/Oct/2011:23:20:40 +0800] GET /img/chukwa.jpg HTTP/1.0 "404" "16" "Mozilla/5.0 (MSIE 9.0; Windows NT 6.1;)"

1. 接口、实现类简介(1)org.apache.hadoop.chukwa.datacollection.connector.Connector    连接器接口，旨在设置一个与收集器的长连接以反复发送数据Java代码  // 启动连接器   public void start();     // 停止连接器   public void shutdown();

1.接口、实现类简介    org.apache.hadoop.chukwa.datacollection.collector.CollectorStub    收集器服务类，使用jetty实现了一个webserver以处理连接器提交的数据块    org.apache.hadoop.chukwa.datacollection.collector.servlet.ServletCo

一、使用maven构建基于chukwa 0.5的项目     使用nexus搭建了maven私服，此时如果使用maven构建chukwa 0.5版本时可能在以下两个依赖项遇到问题     thrift-0.2.0.jar    hadoop-core-0.20-append-r1056497.pom     这是因为chukwa0.5版本在pom文件中依赖了hbase0

Apache 的开源项目 hadoop， 作为一个分布式存储和计算系统，已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时，集群自身的相关信息如何收集和分析呢？针对这个问题， Apache 同样提出了相应的解决方案，那就是 chukwa。Chukwa 是什么？  在印度神话中Chukwa是一只最

安装chukwa时，启动collector端失败，查看日志发现报错：2012-03-21 11:28:20,448 INFO main SeqFileWriter - filesystem type from core-default.xml is org.apache.hadoop.hdfs.DistributedFileSystem2012-03-21 11:28:20,664 ERR