Hadoop伪分布式配置

一、准备工作

1.虚拟机Linux系统环境（CentOS）
2.jdk环境（jdk1.7版本，jdk安装步骤）
3.Hadoop安装包（Hadoop2.4）

二、Hadoop伪分布式配置

• 使用tar -zxvf hadoop-2.4.1.tar.gz 命令解压Hadoop
  
• 编写配置文件
  以下配置文件中的“hadoop1”为主机名，配置文件中路径根据自己情况改变。

1. 配置hadoop-env.sh文件（填写本地jdk路径）
   
   2.配置core-site.xml文件（将配置内容写在configuration标签内部）

<configuration>
	<property>
 		<name>fs.default.name</name>
 		<value>hdfs://hadoop1:9000</value>
	</property>
	<property>
 		<name>fs.defaultFS</name>
 		<value>hdfs://hadoop1:9000</value>
	</property>
	<property>
 		<name>hadoop.tmp.dir</name>
 		<value>/root/soft/hadoop-2.4.1</value>
	</property>
</configuration>

2. 配置hdfs-site.xml文件（将配置内容写在configuration标签内部）

 <configuration>
	 <property>
  		<name>dfs.replication</name>
  		<value>1</value>
	</property>
	<property>
  		<name>dfs.name.dir</name>
 		<value>/root/soft/hadoop-2.4.1/hdfs/name</value>
	</property>
	<property>
  		<name>dfs.data.dir</name>
  		<value>/root/soft/hadoop-2.4.1/hdfs/data</value>
	</property>
</configuration>

3. 配置mapred-site.xml文件（将配置内容写在configuration标签内部）

 <configuration>
	<property>
 		<name>mapreduce.framework.name</name>
 		<value>yarn</value>
	</property>
</configuration>

4. 配置yarn.site.xml文件（将配置内容写在configuration标签内部）

 <configuration>
  	<property>
 		<name>yarn.resourcemanager.hostname</name>
  		<value>hadoop1</value>
	</property>
	<property>
 		<name>yarn.nodemanager.aux-services</name>
 		<value>mapreduce_shuffle</value>
	</property>
</configuration>

5.配置Hadoop环境变量
注：配置完环境变量后记得source /etc/profile
6.格式化NameNode

7.启动hdfs

start-dfs.sh

启动hdfs后会有三个进程DataNode、SecondaryNameNode、NameNode
8.启动yarn

start-yarn.sh

启动yarn后会有两个进程NodeManager、ResourceManager

start-all.sh

启动Hadoop全部进程
9.浏览器访问hdfs和yarn
192.168.1.6:50070

192.168.1.6:8088