厚积而薄发

在做批量部署和启动flume（flume-1.3.1）的时候，发现有些机器无法自启动，检查时发现启动时报错如下/opt/local/flume-1.3.1/bin/flume-ng: line 81: syntax error in conditional expression: unexpected token `('/opt/local/flume-1.3.1/bin/flume-ng:

Pig Latin：数据流编程语言一个Pig Latin程序是相对于输入的一步步操作。其中每一步都是对数据的一个简单的变换。用Pig Latin编程更像在RDBMS中“查询规划器”（query planner）这一层对数据进行操作，查询规划器决定了如何将描述型语句转化为一系列系统化执行的步骤。Pig对它所处理的数据要求则宽松得多；可以在运行时定义模式，而且这是可选的。本质上，Pig可以

一直用flume做数据收集，用了好一阵子都没出现数据误差的问题，今天在导入数据的时候却突然出现了数据暴增的问题，查看原始数据文件，只有几十万条数据，可却收集到了几百万的event，而且还在持续的增加。很奇怪，首先以为是插件更新的问题，后来换成最原始的console作为Collector的sink，问题依旧存在。然后清理配置数据重新启动，问题还是没有解决。      查看原始数据并与原有的数据对

最近执行mapreduce的时候老出现mapreduce的task执行不稳定的情况，有时候某个任务一直在重试，导致整个mapreduce一直处于一个阶段，就像卡住了一样，重试N久，最后可能几小时才执行完。于是乎只好查看各个目录下的log（问题跟踪解决http://blog.youkuaiyun.com/rzhzhz/article/details/7536285），发现datanode下出现了如下错误20

前几天用到flume的日志收集，基于公司的业务对flume本身自带的hbase插件做了些改造，测试的时候却出现了丢数据和多数据的问题……1.首先查看collector的event数，是与原数据量相符的。所以在agent与collector的交互过程是没有问题的2.查看开发插件业务处理过程，看了好几遍感觉也没问题。3.于是问题只有可能出现在hbase的数据处理上了。本来是基于flume自

Source catalog:1.Console 控制台输出，可以带输出内容格式的参数比如console(“raw”), console(“json”)2.text("filename"[, format])一次读取文件内容，每一个换行做为一个事件。3.tail("filename"[,startFromEnd=false]{,delim="regex", delimMode=

一直都是用flume的pull方式收集日志数据，为了便于以后对业务系统实时日志收集的扩展，今天研究了下push方式的日志收集。 1.首先agent端应该配置以下几种source（监听TCP/UDP端口）：   syslogUdp(port)监听Udp端口syslogTcp(port)监听Tcp端口sys

Flume安装 介绍Flume本身的安装比较简单（flume的介绍请参考http://blog.youkuaiyun.com/rzhzhz/article/details/7448633），安装前先说明几个概念,先看flume的架构1.    Flume分三种角色       Mater:  master负责配置及通信管理，是集群的控制器。       Collector: col

Flume配置文件(flume-site.conf)1、 watchdog watchdog.restarts.maxwatchdog每分钟重启的最大数???        2、 common node flume.config.heartbeat.periodnode发送心跳周期,默认5000(毫秒)

随着数据量的增大，HIVE查询HBase的时候又出现了scan数据缓慢的问题，上次是因为跨网段读数据没有设置client端cache，这次是在HBase regionserver的log中出现了如下错误: org.apache.hadoop.hbase.regionserver.LeaseException: lease '-8841369309248784313' does not ex

1. 背景Speculative Task，又叫推测式任务，是指在分布式集群环境下，因为程序bug，负载不均衡或者资源分布不均，造成同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task（比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕），则这些task拖慢了作业的整体执行进度，为了避免这种情况发生，Hadoop会为该task启动spec

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考Hbase性能调优1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才

环境描述Hadoop 0.20.203.0Hbase 0.90.3Hive 0.80.1 问题描述     前几天，在HIVE执行SQL查询的时候出现了一个很奇怪的问题：就是每个SQL（涉及到MapReduce的SQL任务）在执行到某个百分比的时候，整个JOB会出现假死的情况。 2012-04-28 18:22:33,661 Stage-1 map = 0%

在HIVE执行MR的时候，报如下错误java.io.IOException: Call to server/10.64.49.21:9001 failed on local exception: java.io.IOException: Too many open files at org.apache.hadoop.ipc.Client.wrapException(Clien

首先建议datanode和tasktracker分开写独立的exclude文件，因为一个节点即可以同时是datanode和tasktracker，也可以单独是datanode或tasktracker。 1、删除datanode修改namenode上的hdfs-site.xmldfs.hosts /usr/local/hadoop/conf/datanode-allow-li

这里只准备介绍我实际操作中遇到的一些使用优化或解决办法，想大致了解hbase优化的同学可以参考我之前转載的几篇博文。1.第一个我想说的是HBase的写操作，api层面上的优化（比如批量写，关闭wal之类的）我这里就不啰嗦了，我想要说的是rowKey的设计，这个问题一般会跟io的大小息息相关，io越大，rowKey的设计就必须更谨慎，避免出现数据热点，往往一个不好的设计会导致某些regionse

HBase 官方文档0.90.4Copyright © 2010 Apache Software Foundation, 盛大游戏-数据仓库团队-颜开(译)Revision HistoryRevision 0.90.4配置，数据模型使用入门Abstract这是 Apache HBase的官方文档, Hbas

Hadoop Map/Reduce教程目的先决条件概述输入与输出例子：WordCount v1.0源代码用法解释Map/Reduce - 用户界面核心功能描述MapperReducerPartitionerReporterOutputCollector作业配置任务的执行和环境作业的提

之前集群的配置为hadoop-0.20.3，hbase-0.90.4，zookeeper-3.3.4,hive-0.8.1。hadoop还算稳定，基本没什么bug，而hive基于hbse查询时真是问题百出，hbase各种bug，比如丢数据，丢表，regionserver频繁宕机，各种打补丁，改错误搞得我脑袋都要爆了。于是决定给hbase来一个彻底的升级替换。一.   先是把hbase升级为

hbase性能测试，加载了一个晚上的数据，早上来时发现一个节点挂掉了，其他一切正常。查看日志，发下如下问题12/01/04 09:45:39 FATAL regionserver.HRegionServer: ABORTING region server serverName=hadoop5.site,60020,1325663355680, load=(requests=983, reg

启动HBase的时候，无法启动RegionServer，查看日志，错误如下2012-06-13 09:33:40,057 FATAL org.apache.hadoop.hbase.regionserver.HRegionServer: Master rejected startup because clock is out of syncorg.apache.hadoop.hbase.Cl

因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer

Speculative Task（推测式任务）是mapreduce框架中一个比较重要的优化策略。当某个server某个时间段处于忙碌状态而无法快速完成某个task（当然也可能是server本身性能低下），从而拖延了整个job的完成进度，此时若启用Speculative Task策略，jobtacker会为执行慢的task启动speculative task，多个相同的任务同时运行，哪个task

如何设置hadoop  Map/Reduce任务的内存限制？ ParameterTypeMeaningmapred.cluster.map.memory.mbset by admin, cluster-wideCluster definition of memory per map slot. The maximum am

1.启动Hive$HIVE_HOME/bin/hive   如果使用内嵌Derby数据库作为metastore（本地metastore）,那么仅支持单用户，而且在不同目录下运行hive（如果设置了hive的path）,其metastore所在目录也不一样。建立使用独立metastore（比如mysql），又称远程metastore。 2.执行脚本文件hive -f  f

在执行hive查询的时候，SQL语句（eg.select action from action;）中如果表名和查询字段名相同时不能执行，报如下错误 FAILED: Error in semantic analysis: Line 1:7 Ambiguous table alias or column reference 'action'这是官方bug页，至今还是open状态

Hadoop 双机热备--AvatarNode部署部署环境虚拟机5台（1G内存，40G硬盘，ubuntu操作系统，Hadoop-0.20.2）hadoop1-virtual-machine  10.10.11.250 AvatarNode(primary)hadoop2-virtual-machine  10.10.11.152 AvataDataNodehadoop3-v

Pacemaker介绍 以下是关于Pacemaker的介绍，关于Pacemaker的部署请参考http://blog.youkuaiyun.com/rzhzhz/article/details/7110188 1. 简介 Pacemaker是一个集群资源管理者。他用资源级别的监测和恢复来保证集群服务(aka.资源)的最大可用性。它可以用你所擅长的基础组件(Corosync或者是Hear

DRBD介绍  以下是关于DRBD的介绍，关于DRBD的部署请参考http://blog.youkuaiyun.com/rzhzhz/article/details/71071151. 介绍      DRBD (Distributed Replicated Block Device) 是 Linux 平台上的分散式储存系统。其中包含了核心模组，数个使用者空间管理程式及 she

Hadoop&Hbase 备份方案--NFS需求： 实现namenode元数据的备份，解决namenode单点宕机导致集群不可用的问题。方案描述：当namenode所在服务器宕机的时候，我们可以利用namenode备份的元数据迅速重构新的namenode来投入使用。1.  Hadoop本身提供了可利用secondarynamenode的备份数据来恢复nameno

Hadoop集群启动的时候一切正常，但一直处于safemode，只能读不能写，这种时候应该查看namenode的logs，当然这可能会出现不同的情况... 下面仅介绍一种错误处理方案，希望能抛砖引玉，能对大家有所启发。以下是日志提示（此地只摘抄了重要部分） org.apache.hadoop.hdfs.server.namenode.SafeModeException: Can

转自：http://www.spnguru.com/2011/07/678/  构建和运维HBase集群是一个非常有挑战性的工作。HBase凭借其在海量数据的良好的扩展性和高效的读写能力，受到越来越多公司的重视。在公司里，HBase越来越受欢迎。希望通过HBase读写数据的产品越来越多，在兴奋之余，头疼的问题也来了。毕竟，作为线上的产品，我们不希望过多人随意的访问，会照成很

转自：http://www.searchtb.com/2011/01/understanding-hbase.html HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似G

转自：http://blog.sina.com.cn/s/blog_747216760100ydav.html二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary

Hadoop集群在namenode格式化（bin/hadoop namenode -format）后重启集群会出现如下      Incompatible namespaceIDS in ... :namenode namespaceID = ... ,datanode namespaceID=...错误，       原因是格式化namenode后会重新创建一个新的namespa

此工具（config-dispatcher.sh）用于分发Hadoop集群的配置文件，可省去一个一个替换的麻烦，希望能给大家带来便利！注：另外Hadoop集群文件分发工具(file-dispatcher.sh)见http://blog.youkuaiyun.com/rzhzhz/article/details/7056761脚本如下： #!/usr/bin/env bash#此工具为Had

此工具（file-dispatcher.sh）用于分发Hadoop集群文件（常用于jar包更新或版本升级），可省去一个一个替换的麻烦，希望能给大家带来便利！注：另外Hadoop集群配置文件分发工具（config-dispatcher.sh）见http://blog.youkuaiyun.com/rzhzhz/article/details/7056775脚本如下： #!/usr/bin

这里我简单的描述下如何给Hadoop的namenode做NFS灾备（以ubuntu为例）1.首先选定一台灾备机器作为NFS服务器    （1）安装如下：                       apt-get install nfs-kernel-server  (NFS服务器,提供nfs服务)                        apt-get instal

安装zookeeper-3.3.2的时候，启动正常没报错，但zkServer.sh status查看状态的时候却出现错误，如下： JMX enabled by defaultUsing config: /hadoop/zookeeper/bin/../conf/zoo.cfgError contacting service. It is probably not running.

Hadoop&Hbase 双机热备--Pacemaker&DRBD部署  相关文章 DRBD的介绍请参考http://blog.youkuaiyun.com/rzhzhz/article/details/7103772 DRBD的部署请参考http://blog.youkuaiyun.com/rzhzhz/article/details/7107115 Pacemaker的介绍请参