hadoop2.X集群搭建-优快云博客

本文链接：https://blog.youkuaiyun.com/Jacquelin_1/article/details/90114199

1.准备Linux环境

1.0先将虚拟机的网络模式选为NAT
(mac网络设置https://blog.youkuaiyun.com/Jacquelin_1/article/details/89600215)
1.1修改主机名

	vi /etc/sysconfig/network
	
	NETWORKING=yes
	HOSTNAME=master   ###

1.2修改IP
修改配置文件方式

	vim /etc/sysconfig/network-scripts/ifcfg-eth0
	
	DEVICE="eth0"
	BOOTPROTO="static"               ###
	HWADDR="00:0C:29:3C:BF:E7"
	IPV6INIT="yes"
	NM_CONTROLLED="yes"
	ONBOOT="yes"
	TYPE="Ethernet"
	UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
	IPADDR="172.16.104.11"           ###
	NETMASK="255.255.255.0"          ###
	GATEWAY="172.16.104.2"            ###

ps:在拷贝master主机进行slave时的ip配置时要
将/etc/sysconfig/network-scripts/ifcfg-eth0的HWADDR设置为ifconfig运行后的HWADDR,不然可能会出现service
network restart报错,因为物理地址不同于master了

1.3修改主机名和IP的映射关系

	vim /etc/hosts
		
	172.16.104.11  master
	172.16.104.12  slave1
	172.16.104.13  slave2

1.4关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
1.5 修改sudo
su root
vim /etc/sudoers
给hadoop用户添加执行的权限

1.6重启Linux
reboot

2.安装JDK

2.1上传jdk
alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz；或者cd /mnt/hgfs/有你的虚拟机linux与宿主机的通道（要装vmware tools之后就有），cp jdk压缩包到/usr/local/hadoop下就可

2.2解压jdk

	#创建文件夹
	mkdir /usr/local/hadoop
	#解压
	tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/local/hadoop

2.3将java添加到环境变量中

	vim /etc/profile
	#在文件最后添加
	export JAVA_HOME=/usr/local/jdk1.7.0_65
	export PATH=$PATH:$JAVA_HOME/bin

	#刷新配置
	source /etc/profile

3.安装hadoop2.4.1

重点来了~~
先上传hadoop的安装包到服务器上去/usr/local/hadoop
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件

3.1配置hadoop

第一个：hadoop-env.sh

	vim hadoop-env.sh
	# The java implementation to use.这句话下
	export JAVA_HOME=/usr/local/jdk1.7.0_65

第二个：core-site.xml

	<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>
	</property>
	<!-- 指定hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/hadoop/hadoop-2.4.1/tmp</value>
</property>

第三个：hdfs-site.xml

	<!-- 指定HDFS副本的数量 -->
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	
	<property>
		<name>dfs.secondary.http.address</name>
		<value>172.16.104.11:50090</value>
	</property>

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

	mv mapred-site.xml.template mapred-site.xml  #改名
	
	vim mapred-site.xml
	<!-- 指定mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

第五个：yarn-site.xml

	<!-- 指定YARN的老大（ResourceManager）的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<!-- reducer获取数据的方式 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

3.2将hadoop添加到环境变量

vim /etc/proflie
	export JAVA_HOME=/usr/local/jdk1.7.0_65
    export HADOOP_HOME=/usr/local/hadoop/hadoop-2.4.1
	export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

3.3格式化namenode（是对namenode进行初始化）

	hadoop namenode -format

3.4启动hadoop

	先启动HDFS
	sbin/start-dfs.sh
	
	再启动YARN
	sbin/start-yarn.sh

3.5验证是否启动成功
使用jps命令验证

	master:
	4299 SecondaryNameNode
	4430 ResourceManager
	4137 NameNode
	8731 Jps

	slaves:
	4748 NodeManager
	4661 DataNode
	4839 Jps

4.配置ssh免登陆

#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh

ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
---------------------------
ssh免登陆：
	生成key:
	ssh-keygen
	复制从A复制到B上:
	ssh-copy-id B
	验证：
	ssh slave1,不需要密码就可进去slave1