002如何构建hadoop集群环境？

关注

原创最新推荐文章于 2026-06-05 09:17:48 发布 819 阅读 AI 写同款· GEO 优化 ›

hadoop集群多namenode配置多namenode配置规划： bigdata01.com bigdata02.com bigdata03.com namenode namenode datanode datanode datanode 两个HDFS集群联盟部署：在[bigdata01] $ cp -ra... 阅读详情

待我君临天下，结发与蕊可好。@夏瑾墨

实验室机器配置情况：
3台PowerEdge R730 Server
1台PowerEdge R410 Server
1台kvm
1台交换机

我们打算配置三个节点规模的集群，所以我们计划集群有1一个namenode

背景知识：本篇文章介绍如何在一个计算机集群上构建Hadoop系统。hadoop的主体用java语言写成，能够在任意一个安装了jvm(Java Virtual Machine)（Java虚拟机）的平台上运行。
第一部分：系统准备篇

集群规范：
1. 给服务器装linux系统：统一安装版本centos 6.5 64bits
2. 安装java环境：
查看系统安装的java版本：rpm -qa|grep jdk
rpm -qa | grep java
rpm -e –nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
yum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 或者
rpm -e –nodeps java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686
修改环境变量：vim /etc/profile,增加如下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_25
export CLASSPATH=.: $JAVA_HOME/jre/lib/rt.jar:$ JAVA_HOME/lib/dt.jar:
$JAVA_HOME/lib/tools.jar export PATH=$ PATH:$JAVA_HOME/bin
使用java -version 查看java是否安装正确
安装java 输入指令：java -version 检查java是否被正确安装

[root@hadoop-02 ~]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

3.SSH配置实现免密码登录节点
（关键是把datanode的authorized_keys追加到namenode的authorized_keys中）
hadoop控制脚本依赖ssh来执行针对整个集群的操作，因此为了支持无缝工作，建议安装ssh。安装完毕以后，就能够使得hadoop集群节点之间无需键入密码即可登录集群内的机器，进行集群配置，主要有以下几步：
a）在控制台运行ps –e | grep ssh，如果看到sshd则表示ssh-server已经启动了，跳过b），直接到c）进行操作；否则，进行b）操作；
b）运行sudo apt-get install openssh-server（服务器）、
sudo apt-get install openssh-client（客户端），进行安装。命令执行结束后，可以使用a）方法进行验证； c）生成RSA公私钥，实现节点之间无密码访问（使得集群的安装环境尽可能一致，可以减少很多配置步骤，因此我们都在root权限下面进行配置）： I）在master上使用root权限登陆系统，并进入/root/.ssh
目录，运行命令ssh-keygen –t rsa，敲回车到底（为操作方便我们选择不要密码），生成id_rsa，id_rsa.pub； II） master使用scp命令将公钥远程复制到salve1和slave2：
复制到slave1：scp -r id_rsa.pub root@slave1:/root/.ssh
复制到slave2：scp -r id_rsa.pub root@slave2:/root/.ssh III）在slave1和slave2下，将master
传过来的公钥添加到 authorized_keys：

cat id_rsa.pub >> authorized_keys IV）至此，master到slave1和slave2即实现了无密码登陆
第二部分：安装CDH（Cloudera Distribution Hadoop）管理端

背景知识：
1.Cloudera的CDH和Apache的Hadoop的区别
Hadoop遵从Apache开源协议，用户可以免费地任意使用和修改Hadoop，也正因此，市面上出现了很多Hadoop版本，其中比较出名的一是Cloudera公司的发行版，我们将该版本称为CDH（Cloudera Distribution Hadoop）。
2.CDH支持Yum/Apt包，Tar包，RPM包，Cloudera Manager四种方式安装,Apache hadoop只支持Tar包安装
3.CDH使用推荐的Yum/Apt包安装时，有以下几个好处：
a、联网安装、升级，非常方便 2、自动下载依赖软件包
b、Hadoop生态系统包自动匹配，不需要你寻找与当前Hadoop匹配的Hbase，Flume，Hive等软件，Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包，并保证兼容性。
c、自动创建相关目录并软链到合适的地方（如conf和logs等目录）；自动创建hdfs, mapred用户，hdfs用户是HDFS的最高权限用户，mapred用户则负责mapreduce执行过程中相关目录的权限

1.检查是否存在httpd服务：service httpd status
2.yum install httpd
1、通过yum源安装以httpd开头的命名的软件包
2、yum install 代表使用yum 源安装，前提需要配置好yum源；
是通配符，这里代表“所有”的意思，httpd就是以httpd开头的，例如httpd-devel、httpd-tools等都会被按装。如果想知道这条命令会按装哪些包，可以用yum search httpd*看下。
3.httpd常用命令如下，供参考：
启动命令：service httpd start
关闭命令：service httpd stop
重启命令：service httpd restart
查看状态：service httpd status
4.下载cm5.2.0-centos6.tar.gz的地址： http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.2.0/

Cd /home/soft/cloudera （cm5.2.0-centos6.tar.gz存储的目录）

解压：tar -zxvf cm5.2.0-centos6.tar.gz
cd /var/www/html ,创建相关目录：mkdir -p cm5/redhat/6/x86_64
cd cm5/redhat/6/x86_64
mv /home/soft/cloudera/cm .
chmod -R ugo+rX cm
访问http:///cm5/redhat/6/x86_64/cm/，测试文件索引页面是否正常，如果页面空白或者为You don’t have permission to access，请检查准备工作中的防火墙和selinux是否关闭
5.