envinfo2012的博客

环境描述：hdfs+zookeeper+hbase错误描述：hdfs 存在部分 corrupt replica blocks/missing blocks/under replicated blockesBlock Errors 31corrupt replica / 30missing / 31 under replicatedhbase存在大量的offline regi...

一、安装NTP服务[root@ntp ~]# rpm -qa|grep ntpntpdate-4.2.6p5-1.el6.centos.x86_64ntp-4.2.6p5-1.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarch使用ＲＰＭ工具查询，如果有上面的三个包，则系统已经安装了NTP服务；如果没有，则挂载安装镜像，...

最近一段时间都在搞集群迁移。最早公司的hadoop数据集群实在阿里云上的，机器不多，大概4台的样子，据说每个月要花7000多。从成本的角度，公司采购了4台2手服务器(E5-2420 v2 * 2+96G内存)在办公室自己搭数据集群。虽然说机房条件艰苦，没空调就算了，还有暖气呢，但是机器还是挺不错的，比阿里云32G的的机器强多了，4台大概2万，还不够阿里云烧3个月的，理论上只要能用3个月就已经很划算

Hive安装配置指南（含Hive Metastore详解）本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导。本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分，并经过实践

核心内容： 1、Hadoop开发过程中常见问题即解决方案在hadoop开发的过程中，我们总是遇到各种各样的问题，今天就整理总结一下：万能的解决方案：6个检查+具体日志在Hadoop开发的过程中如果遇到各种异常，首先使用jps命令查看节点的启动是否正常，然后在去查看相关的日志文件，但是在查看相关日志之前，你可以先检查一下面几点： 1、防火墙

利用 hadoop fs -rmr (目录名)删除目录时易出现误删除的操作，如何解决：建立回收站！具体操作为：找到配置文件core-site.xml，在其中添加如下信息：    fs.trash.interval    10080          Number of minutes between trash checkpoints. If zero, the tra

ZooKeeper 是一个面向分布式系统的构建块。当设计一个分布式系统时，一般需要设计和开发一些协调服务：名称服务— 名称服务是将一个名称映射到与该名称有关联的一些信息的服务。电话目录是将人的名字映射到其电话号码的一个名称服务。同样，DNS 服务也是一个名称服务，它将一个域名映射到一个 IP 地址。在分布式系统中，您可能想跟踪哪些服务器或服务在运行，并通过名称查看其状态。ZooKeep

一、背景天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability

摘要: 在hadoop2中新的NameNode不再是只有一个，可以有多个（目前只支持2个）。每一个都有相同的职能。 一个是active状态的，一个是standby状态的。当集群运行时，只有active状态的NameNode是正常工作的，standby状态的NameNode是处于待命状态的，时刻同步active状态NameNode的数据。一旦active状态的NameNode不能工作，通过手工或者自

hadoop是分布式系统，运行在linux之上，配置起来相对复杂。对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。    hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，结构发生了很大变化，是hadoop未来使用的一个趋势。当然，配置也更加复杂，网上也没有一篇详

NameNode 高可用整体架构概述在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统中依赖于 HDFS 的各个组

1，执行#hive命令进入Hive CLI时报如下错误：Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

1.上传tar包2.解压tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.安装mysql数据库（切换到root用户）（装在哪里没有限制，只有能联通hadoop集群的节点）mysql安装仅供参考，不同版本mysql有各自的安装流程rpm -qa | grep mysqlrpm -e mysql-libs-5.1.66-2.el6_3.i6

（一）删除老版本的MySQL　　在安装前要先确定系统是否已经安装了其他版本的MySQL，如已安装其他版本的MySQL，需先删除后再安装新版本。经本文亲测，采用如下方式删除老版本的MySQL或MySQL残留文件作为方便。　　1. 执行yum命令，删除MySQL的lib库，服务文件yum remove mysql mysql-server mysql-libs mysql-se