hadoop集群安装

集群安装

1、从网上下载http://archive.apache.org/dist

hadoop是基于java编写的,但是里面有环境是使用到c,native有与平台打交道的;

2、需要编辑hadoop

课件中的是编译好的,centOS6.7-hadoop-2.6.4.tar,编译见编译文档;

3、准备安装环境,主要是jdk;

4、目录详解

sbin目录很重要,里面都是启动命令;

5、集群的规划

------------------------------------------
mini1	NameNode	SecondaryNameNode
mini2	ResourceManager 
mini3	DataNode	NodeManager
mini4	DataNode	NodeManager
mini5	DataNode	NodeManager
------------------------------------------
mini1	dn    nm   nn  snn  rm 
mini2	dn    nm
mini3	dn    nm

6、配置修改(所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下)

3.1 配置hadoop

第一个:hadoop-env.sh
	vim hadoop-env.sh
	#第27行
	export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_79
	
第二个:core-site.xml 配置在configuration节点下

	<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mini1:9000</value>
	</property>
	<!-- 指定hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/hadoop/apps/hadoop-2.6.4/tmp</value>
    </property>
	
第三个:hdfs-site.xml   并且配置 SecondaryNameNode
	<!-- 指定HDFS副本的数量 -->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>

	<property>
		 <name>dfs.secondary.http.address</name>
		 <value>mini1:50090</value>
	</property>

	
第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
	vim mapred-site.xml
	<!-- 指定mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
    </property>
	
第五个:yarn-site.xml
	<!-- 指定YARN的老大(ResourceManager)的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>mini1</value>
	</property>
	<!-- reducer获取数据的方式 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

3.2 将hadoop添加到环境变量

vim /etc/proflie

export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_80
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

3.3 分发到另外两台机器

scp -r hadoop-2.6.4 root@mini2:/home/hadoop/apps
scp -r hadoop-2.6.4 root@mini3:/home/hadoop/apps

3.4 格式化namenode(是对namenode进行初始化),下面两个命令都可以,在namenode 上执行

hdfs namenode -format 
hadoop namenode -format (推荐)

3.5 启动hadoop

第一个启动方式比较挫----------------------
	1)启动老大namenode 仅仅在node-01上执行
	hadoop-daemon.sh start namenode
	2)启动datanode 分别在node-01 02 03上面执行
	hadoop-daemon.sh start datanode
	3)启动SecondaryNameNode
	hadoop-daemon.sh start secondarynamenode
	
第二笔记原来的启动方式,一次全部启动了,推荐----------------------- 
	slaves文件是只对namenode节点有作用,是帮助namenode节点识别datanode节点位置的一个文件。
   	需要配置hadoop目录(home/hadoop/apps/hadoop-2.6.4/etc/hadoop)下的:slaves文件,文件中配置如下:
	mini1
	mini2
	mini3
   ------------
	先启动HDFS 在namenode的节点上执行,这里是mini1
	sbin/start-dfs.sh
	
	再启动YARN 在resourcemanager节点上执行,如果是五台机配置,则为mini2
	sbin/start-yarn.sh

3.6 验证是否启动成功

	使用jps命令验证
	27408 NameNode
	28218 Jps
	27643 SecondaryNameNode
	28066 NodeManager
	27803 ResourceManager
	27512 DataNode

	http://192.168.19.101:50070 (HDFS管理界面)
	http://192.168.10.101:8088 (RM管理界面)

7 常用命令

1)、查看集群状态
	命令:   hdfs  dfsadmin  –report 

2)查看文件
	hadoop  fs  –ls  /

3)、上传文件
	命令:   hadoop  fs  -put  ./ scala-2.10.6.tgz  to  /

4)从HDFS下载文件
	命令:  hadoop  fs  -get  /yarn-site.xml

5)slaves 文件 注意:需要在namenode和resourcemanager节点上都配置slaves
	一般在集群中你唯一地选择一台机器作为 NameNode ,一台机器作为 ResourceManager,这是master  (主)。
	那么 ,集群中剩下的机器作为DataNode 和 NodeManager。这些是slaves  (从)。
	在你的 hadoop目录/etc/hadoop/slaves 文件上列出全部slave机器名或IP地址,一个一行。

6)格式化namenode的提示
	DEPRECATED: Use of this script to execute hdfs command is deprecated.
	Instead use the hdfs command for it.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值