安装Hadoop的伪分布式安装

安装Hadoop的伪分布式

1. 给一个可执行的权限：

chmod u+x hadoop-2.7.1.tar.gz

 

2配置环境，如图：

Vi /etc/profile

 

3使文件生效：

source /etc/profile

4修改4个配置文件，分别是core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml(Hadoop-env.sh、yarn-env.sh)

Core-site.xml:

Hdfs-site.xml

Mapred-site.xml

Yarn-site.xml

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

name

Hadoop-env.sh

Yarn-env.sh

5格式化namenode

bin/hdfs namenode –format

6启动我们的HDFS系统

Sbin/start-dfs.sh

7启动我们的yarn：

Sbin/start-yarn.sh

8连续创建两级目录：

bin/hdfs dfs -mkdir -p /user/derek

9上传文件到指定的目录：

Bin/hdfs dfs –put /etc/Hadoop/*.xml /user/derek

10、bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep /user/derek /user/output 'dfs[a-z.]+'

11关闭HDFS、yarn

Sbin/stop-dfs.sh

Sbin/stop-yarn.sh