hadoop完全分布式搭建于常见问题解析

最新推荐文章于 2024-04-28 11:54:29 发布

hidecode

最新推荐文章于 2024-04-28 11:54:29 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： java大数据文章标签： hadoop spark 大数据 zookeeper hdfs

本文链接：https://blog.youkuaiyun.com/qq_43206800/article/details/107300045

本文详细介绍了Hadoop完全分布式搭建的过程，包括识别Linux路径与HDFS路径、端口号设置、处理Yarn内存限制问题、NameNode格式化的注意事项、配置文件解析、伪分布式总结、集群分发脚本的使用、集群规划以及实际操作步骤，同时强调了出问题时查看日志的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. Hadoop如何识别是Linux路径还是HDFS路径

就是基于 core-site.xml中的fs.defaultFS的配置.

  <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop101:9820</value>
  </property>

1.1 Hadoop的fs.defaultFs的默认配置是: file:///

   假如我们在执行wordcount程序时,编写的命令是:
   hadoop jar share/hadoop/mapreduce/hadoop-mapredce-examples.jar  wordcount  wcinput/wc.input   wcoutput
   再执行时，会按照fs.defaultFS的配置解析输入和输出路径:
   
   如果配置的是file:///
   则将输入路径解析为:  file:///opt/module/hadoop-3.1.3/wcinput/wc.input
   将输出路径接卸为:  file:///opt/module/hadoop-3.1.3/wcoutput
   
   如果配置的是 hdfs://hadoop101:9820
   假如我们在执行wordcount程序时,编写的命令是:
   hadoop jar share/hadoop/mapreduce/hadoop-mapredce-examples.jar  wordcount  /user/atguigu/input    /user/atguigu/wcoutput
   则将输入路径解析为: hdfs://hadoop101:9820/user/atguigu/input
   将输出路径解析为: hdfs://hadoop101:9820/user/atgu