在windows搭建hadoop

wu大熊

已于 2025-01-23 15:17:09 修改

阅读量161

点赞数

分类专栏：大数据 hadoop 文章标签： hadoop

于 2020-08-12 21:53:00 首次发布

本文链接：https://blog.youkuaiyun.com/daxiongwuwuwuw/article/details/107967560

版权

大数据同时被 2 个专栏收录

26 篇文章

订阅专栏

hadoop

6 篇文章

订阅专栏

windows下的hadoop搭建

下载

http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common
下载tar.gz文件
在这里插入图片描述
winutill下载地址
hadoop不直接支持windows，下载winutill后解压相应的bin目录覆盖下载hadoop的那个目录
3.0.0以及一下版本
https://github.com/4ttty/winutils
3.0.0以上版本：
https://github.com/zyj108/apache-hadoop-3.1.0-winutils

最小化配置

core-site.xml


<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

hdfs-site.xml


<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

mapred-site.xml


<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml


<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

设置完site肯定设置一下env

启动

start-all.cmd

注意，进入sbin文件夹下，用cmd注意不是powershell，输入start-all.cmd来启动，也不是用右击管理员启动start-all.cmd

查看界面

在这里插入图片描述
然后常见问题：
1）datanode的clusterID 和 namenode的clusterID 不匹配。那么将datanode改成和namenode一样的clusterID，在version文件
2）CreateSymbolicLink error (1314):问题，这种问题解决方法是这样的
首先.win+R gpedit.msc
然后计算机配置->windows设置->安全设置->本地策略->用户权限分配->创建符号链接。
最后. 把用户添加进去，重启或者注销
注意区分Administrator和Administrators，里面默认会有Administrators但是没有Administrator，加入后记得重启！！不重启是不可以的

如果你装的是hadoop3
一开始默认访问的端口是9870而不是50070
如果报错
java.lang.NoClassDefFoundError:/org/apache/hadoop/yarn/server/timelineCollectorManager
那么
share\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-3.0.3.jar 放到share\hadoop\yarn\lib 下面