Hadoop-2.7.5 + Spark-2.2.0分布式集群搭建过程（2）

接上篇 https://blog.youkuaiyun.com/muumian123/article/details/90201286

5.3 启动并验证Hadoop分布式集群

5.3.1 启动Hadoop分布式集群

• 格式化hdfs文件系统：hadoop namenode -format
  
• 进入 sbin 中启动 hdfs：
  • ./start-dfs.sh
    
    注意：如果出现上图中错误，需先将hdfs进行关闭再重新开启，如下图所示：
    
    
  • 在sparkworker1 和sparkworker2 上均启动了DataNode：
    
    
  • 访问 http://sparkmaster:50070/ 登录Web控制可以查看HDFS集群的状况：
    
  • 从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：
    
    从控制台中看到了我们的两个Datanode 节点sparkworker1 和sparkworker2。
• 启动 yarn 集群：./start-yarn.sh
  • 使用jps 命令可以发现 SparkMaster 机器上启动了ResourceManager 进程
    
  • 在 sparkworker1 和sparkworker2上则分别启动了 NodeManager 进程：
    
    
  • 在 sparkmaster 上访问 http://sparkmaster:8088 可以通过 Web 控制台查看 ResourceManager
    运行状态：
    
  • 在sparkmaster 上访问 http://sparkworker1:8042 可以通过 Web 控制台查看 sparkworker1 上
    的NodeManager 运行状态：
    
  • 在sparkmaster 上访问 http://sparkworker2:8042 可以通过 Web 控制台查看 sparkworker2 上
    的 Node Manager 运行状态：
    
  • 使用“mr-jobhistory-daemon.sh”来启动JobHistory Server： ./mr-jobhistory-daemon.sh start historyserver
    
    启动后可以通过 http://sparkmaster:19888 在Web 控制台上看到JobHistory 中的任务执行历史信
    息：
    
    结束historyserver 的命令为：./mr-jobhistory-daemon.sh stop historyserver
    

5.3.2 验证Hadoop 分布式集群

• 在 hdfs 文件系统上创建两个目录，创建过程如下所示：

hadoop fs -mkdir -p /data/wordcount
hadoop fs -mkdir -p /output

HDFS 中的/data/wordcount 用来存放Hadoop 自带的WordCount 例子的数据文件，程序运行的结果输出到/output/wordcount 目录中，透过Web 控制可以发现我们成功创建了两个文件夹：

• 将本地文件的数据上传到HDFS 文件夹中࿱