搭建hadoop伪分布式

1 先安装jdk  如果这个步骤不会 请参照 http://blog.youkuaiyun.com/feng_qi_1984/article/details/54709398

2 下载hadoop  本人用的2.7.3 从官网上下载下来即使64位  无需再编译

3 解压hadoop  配置 环境变量   

操作如下 

将下载下来的hadoop-2.7.3.tar.gz 放进 /usr 目录中

# tar -zxvc hadoop-2.7.3.tar.gz

# mv hadoop-2.7.3 hadoop

# cd /etc/profild.d

# vi hadoop.sh

编辑

HADOOP_HOME=/usr/hadoop

PATH=$PATH:$HADOOP_HOME/bin:HADOOP_HOME/sbin

export HADOOP_HOME PATH

        保存退出

# source hadoop.sh

# hadoop version

此时有版本打印  则配置成功

4 配置hadoop 的配置文件  

进入hadoop的配置文件目录 

# cd /usr/hadoop/etc/hadoop

1  配置 core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost/</value>
	</property>
</configuration>

2 配置hdfs-site.xml (由于伪分布式只有一个节点 所以副本数配置1)

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

3  配置 mapred-site.xml (由于没有这个文件  不过我们可以找到 mapred-site.xml.template  复制一份 改个名字即可)、

# cp mapred-site.xml.template  mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

4 配置 yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>localhost</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>