IT小生

1、环境准备（centos7.1+jdk1.8） jdk下载：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2、sftp将jdk从本地拷贝到虚拟机中 put f:/jdk-8u91-linux-x64.tar.gz3、解压jdk至本地 tar zxvf jdk-8u9

datanode进程死亡或者网络故障造成datanode无法与namenode通信， namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。 HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为： timeout = 2 * heartbeat.recheck.interval + 10 * dfs.hear

hadoop2.0已经发布了很多稳定版本，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.7.2又增加了YARN HA1、环境准备修改主机名、IP地址。这些在之前博客有提过就不再写了。 配置IP地址和主机名映射关系。 sudo vi /etc/hosts集群规划： 主机名 IP 安装的软件 运行的进程 spark01 1

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:组件节点默认端口配置用途说明

hadoop2.0已经发布了很多稳定版本，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.7.2又增加了YARN HA1、环境准备修改主机名、IP地址。这些在之前博客有提过就不再写了。 配置IP地址和主机名映射关系。 sudo vi /etc/hosts集群规划： 主机名 IP 安装的软件 运行的进程 spark01 1

准备工作：下载好zookeeper3.4.8文件http://apache.fayea.com/zookeeper/ 1、长传zookeeper文件至虚拟机或linux操作系统下sftp> put f:/zookeeper-3.4.8.tar.gz2、解压框架文件tar zxvf zookeeper-3.4.8.tar.gz -C /home/hadoop/app/3、配置一台机器上的zookee

一、首先我是准备了7台centos虚拟机，所以首先简单介绍一下centos虚拟机的安装镜像文件：CentOS-7-x86_64-Minimal-1511.iso（因为是虚拟机，所以我选择的是最小化安装板，自己可以去centos官网上下载镜像文件）接下来两项默认下一步就好了 点击关闭–》完成 —》进入启动界面开启虚拟机 选择install centos 7 ente

环境：centos7.1+hadoop-2.7.2 下载地址：http://apache.fayea.com/hadoop/common/hadoop-2.7.2/ 准备好虚拟机或者centos系统以及hadoop框架 1、将hadoop解压到app目录下tar zxvf hadoop-2.7.2.tar.gz -C app/2、修改配置文件第一个：hadoop-env.sh

HDFS冗余数据块的自动删除在日常维护hadoop集群的过程中发现这样一种情况： 某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡， HDFS马上自动开始数据块的容错拷贝； 当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏， 所以造成了HDFS上某些block的备份数超过了设定的备份数。 通过观察发现，这些多