
Chukwa
stevie
坚持自己的梦想。。。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Chukwa应用实践
从上一篇 chukwa 的简介中,我们知道 chukwa 为日志分析系统提供了一整套的解决方案,其中包含了数据的生成、收集、排序、去重、分析和展示所需要的几乎所有事情,要扩展 chukwa 以实现自己特殊的需求,是很方便的.本文以 chukwa-0.3.0 为例,阐述在 分布式小组内如何以 chukwa 为基础实现"资源状态图"。概述需求"资源状态图"的需求是很明确的,具体分析如下:转载 2013-03-22 13:33:16 · 1386 阅读 · 0 评论 -
chukwa在数据收集处理方面的应用
Chukwa 简介什么是 Chukwa,简单的说它是一个数据收集系统,它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。Chukwa 本身也提供了很多内置的功能,帮助我们进行数据的收集和整理。Chukwa 应用场景介绍为了更加简单直观的展示 Chukwa,我们先来看一个假设的场景。假设我们有一个规模很转载 2013-03-26 09:15:24 · 1491 阅读 · 0 评论 -
基于Hadoop的日志收集框架---Chukwa的源码分析(适配器、代理)
1. 接口、实现类简介(1)Chukwa使用适配器(Adaptor)实现对各种输入(Streaming、Log File)的监控 org.apache.hadoop.chukwa.datacollection.adaptor.Adaptor 适配器接口Java代码 // 启动适配器 void start(String adaptorID,转载 2013-03-22 13:37:13 · 1419 阅读 · 0 评论 -
基于Hadoop的日志收集框架---Chukwa的源码分析(数据处理)
1.工具类、接口简介(1)Java代码 // 用于对数据进行分类 org.apache.hadoop.chukwa.extraction.demux.DemuxManager // mapreduce程序的map处理接口 org.apache.hadoop.chukwa.extraction.demux.proc转载 2013-03-22 13:40:53 · 1423 阅读 · 0 评论 -
基于Hadoop的日志收集框架---Chukwa的安装部署
chukwa是解决在集群环境中收集各节点增量日志的一种基于hadoop的实现方案,其主要有如下四个组成部分。1. Agents 运行在每个客户端上,负责发送数据。2. Collectors 接收Agents发送的数据并写入稳定存储。3. MapReduce jobs 分析和归档数据。4. HICC 数据中心,用于显示数据的web界面。它的系统架构如下图以单机部署为例,前转载 2013-03-22 13:55:04 · 2315 阅读 · 0 评论 -
基于Hadoop的日志收集框架---Chukwa的处理流程
1. 模拟增量日志环境/home/matrix/Program/project/log/testlogShell代码 - 10.0.0.10 [17/Oct/2011:23:20:40 +0800] GET /img/chukwa.jpg HTTP/1.0 "404" "16" "Mozilla/5.0 (MSIE 9.0; Windows NT 6.1;)"转载 2013-03-22 13:54:07 · 1531 阅读 · 0 评论 -
基于Hadoop的日志收集框架---Chukwa的源码分析(连接器)
1. 接口、实现类简介(1)org.apache.hadoop.chukwa.datacollection.connector.Connector 连接器接口,旨在设置一个与收集器的长连接以反复发送数据Java代码 // 启动连接器 public void start(); // 停止连接器 public void shutdown();转载 2013-03-22 13:38:02 · 1065 阅读 · 0 评论 -
基于Hadoop的日志收集框架---Chukwa的源码分析(收集器)
1.接口、实现类简介 org.apache.hadoop.chukwa.datacollection.collector.CollectorStub 收集器服务类,使用jetty实现了一个webserver以处理连接器提交的数据块 org.apache.hadoop.chukwa.datacollection.collector.servlet.ServletCo转载 2013-03-22 13:39:00 · 1473 阅读 · 0 评论 -
将Chukwa 0.5部署在基于Cloudera CDH4的Hadoop集群上
一、使用maven构建基于chukwa 0.5的项目 使用nexus搭建了maven私服,此时如果使用maven构建chukwa 0.5版本时可能在以下两个依赖项遇到问题 thrift-0.2.0.jar hadoop-core-0.20-append-r1056497.pom 这是因为chukwa0.5版本在pom文件中依赖了hbase0转载 2013-03-22 13:50:20 · 1148 阅读 · 0 评论 -
chukwa 介绍
Apache 的开源项目 hadoop, 作为一个分布式存储和计算系统,已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时,集群自身的相关信息如何收集和分析呢?针对这个问题, Apache 同样提出了相应的解决方案,那就是 chukwa。Chukwa 是什么? 在印度神话中Chukwa是一只最转载 2013-03-22 13:31:35 · 2790 阅读 · 0 评论 -
安装chukwa时启动collector端失败的解决方法
安装chukwa时,启动collector端失败,查看日志发现报错:2012-03-21 11:28:20,448 INFO main SeqFileWriter - filesystem type from core-default.xml is org.apache.hadoop.hdfs.DistributedFileSystem2012-03-21 11:28:20,664 ERR原创 2013-04-12 10:12:04 · 1268 阅读 · 0 评论