002如何构建hadoop集群环境?

本文详细介绍了一个三节点Hadoop集群的搭建过程,包括系统准备、Java环境配置、SSH免密码登录设置及CDH管理端安装等内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

待我君临天下,结发与蕊可好。@夏瑾墨

实验室机器配置情况:
3台PowerEdge R730 Server
1台PowerEdge R410 Server
1台kvm
1台交换机


我们打算配置三个节点规模的集群,所以我们计划集群有1一个namenode

背景知识:本篇文章介绍如何在一个计算机集群上构建Hadoop系统。hadoop的主体用java语言写成,能够在任意一个安装了jvm(Java Virtual Machine)(Java虚拟机)的平台上运行。
第一部分:系统准备篇

集群规范:
1. 给服务器装linux系统:统一安装版本centos 6.5 64bits
2. 安装java环境:
查看系统安装的java版本:rpm -qa|grep jdk
rpm -qa | grep java
rpm -e –nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
yum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 或者
rpm -e –nodeps java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686
修改环境变量:vim /etc/profile,增加如下内容:
export JAVA_HOME=/usr/java/jdk1.8.0_25
export CLASSPATH=.: JAVAHOME/jre/lib/rt.jar: JAVA_HOME/lib/dt.jar:
JAVAHOME/lib/tools.jarexportPATH= PATH:$JAVA_HOME/bin
使用java -version 查看java是否安装正确
安装java 输入指令:java -version 检查java是否被正确安装

[root@hadoop-02 ~]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

3.SSH配置实现免密码登录节点
(关键是把datanode的authorized_keys追加到namenode的authorized_keys中)
hadoop控制脚本依赖ssh来执行针对整个集群的操作,因此为了支持无缝工作,建议安装ssh。安装完毕以后,就能够使得hadoop集群节点之间无需键入密码即可登录集群内的机器,进行集群配置,主要有以下几步:
a) 在控制台运行ps –e | grep ssh,如果看到sshd则表示ssh-server已经启动了,跳过b),直接到c)进行操作;否则,进行b)操作;
b) 运行sudo apt-get install openssh-server(服务器)、
sudo apt-get install openssh-client(客户端),进行安装。命令执行结束后,可以使用a)方法进行验证; c)生成RSA公私钥,实现节点之间无密码访问(使得集群的安装环境尽可能一致,可以减少很多配置步骤,因此我们都在root权限下面进行配置): I) 在master上使用root权限登陆系统,并进入/root/.ssh
目录,运行命令ssh-keygen –t rsa,敲回车到底(为操作方便我们选择不要密码),生成id_rsa,id_rsa.pub; II) master使用scp命令将公钥远程复制到salve1和slave2:
复制到slave1:scp -r id_rsa.pub root@slave1:/root/.ssh
复制到slave2:scp -r id_rsa.pub root@slave2:/root/.ssh III) 在slave1和slave2下,将master
传过来的公钥添加到 authorized_keys:

cat id_rsa.pub >> authorized_keys IV) 至此,master到slave1和slave2即实现了无密码登陆
第二部分:安装CDH(Cloudera Distribution Hadoop)管理端

背景知识:
1.Cloudera的CDH和Apache的Hadoop的区别
Hadoop遵从Apache开源协议,用户可以免费地任意使用和修改Hadoop,也正因此,市面上出现了很多Hadoop版本,其中比较出名的一是Cloudera公司的发行版,我们将该版本称为CDH(Cloudera Distribution Hadoop)。
2.CDH支持Yum/Apt包,Tar包,RPM包,Cloudera Manager四种方式安装,Apache hadoop只支持Tar包安装
3.CDH使用推荐的Yum/Apt包安装时,有以下几个好处:
a、联网安装、升级,非常方便 2、自动下载依赖软件包
b、Hadoop生态系统包自动匹配,不需要你寻找与当前Hadoop匹配的Hbase,Flume,Hive等软件,Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包,并保证兼容性。
c、自动创建相关目录并软链到合适的地方(如conf和logs等目录);自动创建hdfs, mapred用户,hdfs用户是HDFS的最高权限用户,mapred用户则负责mapreduce执行过程中相关目录的权限


1.检查是否存在httpd服务:service httpd status
2.yum install httpd
1、通过yum源安装以httpd开头的命名的软件包
2、yum install 代表使用yum 源安装,前提需要配置好yum源;
是通配符,这里代表“所有”的意思,httpd就是以httpd开头的,例如httpd-devel、httpd-tools等都会被按装。如果想知道这条命令会按装哪些包,可以用yum search httpd*看下。
3.httpd常用命令如下,供参考:
启动命令:service httpd start
关闭命令:service httpd stop
重启命令:service httpd restart
查看状态:service httpd status
4.下载cm5.2.0-centos6.tar.gz的地址: http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.2.0/

Cd /home/soft/cloudera (cm5.2.0-centos6.tar.gz存储的目录)

解压:tar -zxvf cm5.2.0-centos6.tar.gz
cd /var/www/html ,创建相关目录:mkdir -p cm5/redhat/6/x86_64
cd cm5/redhat/6/x86_64
mv /home/soft/cloudera/cm .
chmod -R ugo+rX cm
访问http:///cm5/redhat/6/x86_64/cm/,测试文件索引页面是否正常,如果页面空白或者为You don’t have permission to access,请检查准备工作中的防火墙和selinux是否关闭
5.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值