Hadoop伪分布式部署流程

基于伪分布式模式部署Hadoop

1.上传Hadoop安装包

2.创建目录该目录用于存放伪分布式模式部署Hadoop的安装目录

3.安装Hadoop，安装完成之后输入ll指令出现下面的多个目录

4.验证Hadoop是否安装成功，输入bin/hadoop version查看版本号

5.修改Hadoop配置文件这些配置文件中默认的配置文件不用修改配置，自定义的需要根据用户需求修改配置文件

6.配置Hadoop运行时的环境，在Hadoop的安装目录下/etc/hadoop/目录执行vi hadoop-env.sh命令在文件的底部添加内容

7.配置Hadoop，在core-site.xml文件的configuration标签中添加内容

8.配置hdfs，在hdfs-site.xml文件中configuration标签添加内容

9.配置mapreduce，在mapred-site.xml文件的configuration中添加内容

10.配置yarn，在yarn-site.xml文件的configuration中添加内容

11.配置Hadoop从节点运行的服务器，将workers文件的默认内容修改为hadoop1

12.所有的配置都完成之后需要格式化，格式化后出现successfully formatted之后说明格式化成功在这里需要注意的是：格式化hdfs文件系统的操作只在初次启动Hadoop集群之前进行，如果后续再次启动Hadoop集群不用再格式化还有要注意的是：如果在上面配置的时候出现了错误，需要删除/export/data/hadoop-wfb-3.3.4，因为在格式化的时候这个会自动生成，所以修改好配置之后需要删除这个目录之后再格式化，不然会出现问题

13.在完成所有的之后需要启动Hadoop

14.结束之后查看Hadoop运行状态，出现下面六个才算是成功

总结：

此处实验中基于分布式部署了Hadoop，在配置文件中由于拼写出现错误，在格式化的时候出现了错误，此时需要删除/export/data/hadoop-wfb-3.3.4，因为在格式化的时候这个会自动生成，所以修改好配置之后需要删除这个目录之后再格式化，不然会出现问题