Mindy的专栏

基本以图片的形式呈现给大家：                                                  

1.HDFS Shell基本操作总结1.1 浏览你的HDFS目录[root@slave1 bin]# hadoop fs -ls1.2 上传数据到HDFS上传：[root@slave1 bin]# hadoop fs -put ../conf input检查已上传的数据：[root@slave1 bin]# hadoop fs input1.3 下载HDFS

版权声明：本文为博主原创文章，未经博主允许不得转载。 http://blog.youkuaiyun.com/yhao2014/article/details/52426494今天按照之前《Hadoop2.6.0 + zookeeper集群环境搭建 》一文重新搭建了Hadoop2.7.2+zookeeper的HA，实现namenode挂掉后可以自动切换，总体来说还算比较顺利。搭建完成后一切正常！但是！第二天...

错误:    java.io.IOException: Incompatible clusterIDs in /data/dfs/data: namenode clusterID = CID-d1448b9e-da0f-499e-b1d4-78cb18ecdebb; datanode clusterID = CID-ff0faa40-2940-4838-b321-98272eb0dee3原因：  ...

zookeeper集群配置多个实例共同构成一个集群对外提供服务以达到水平扩展的目的，每个服务器上的数据是相同的，每一个服务器均可以对外提供读和写的服务，这点和redis是相同的，即对客户端来讲每个服务器都是平等的。这篇主要分析leader的选择机制，zookeeper提供了三种方式：LeaderElectionAuthFastLeaderElectionFastLeaderElection默认的算...

http://www.cnblogs.com/leesf456/p/6107600.html一、前言　　前面学习了Zookeeper服务端的相关细节，其中对于集群启动而言，很重要的一部分就是Leader选举，接着就开始深入学习Leader选举。二、Leader选举　　2.1 Leader选举概述　　Leader选举是保证分布式数据一致性的关键所在。当Zookeeper集群中的一台服务器出现以下两种...

一、Yarn简介Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。在介绍Yarn之前，我们先回头看一下Hadoop1.x对MapReduce job的调度管理方式（可参考：Hadoop核心之MapReduce架构设计），它主要包括两部分功能：1. ResourceM...