win10单机配置hadoop环境
新手布置单机hadoop环境,踩了不少坑,记录一下,给大家参考。
本机环境
win10+64位系统
步骤大纲
我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:
- java jdk ,并配置环境变量;
- hadoop下载安装,并配置环境变量 ;
- hadoop修改配置文件 etc/hadoop下的xml等;
- 下载windows需要的 winutils 复制bin;
- 格式化hdfs文件系统;
- 启动hadoop ;
- 访问节点 ;
一、java jdk安装
官方下载地址:https://www.oracle.com/java/technologies/javase-downloads.html
版本选择:Java jdk8
踩坑1:选择高版本后续会有问题,我之前装过jdk-14版本,后续会遇到resourceManager/node Manager无法启动的问题,参考解法
https://blog.youkuaiyun.com/a8131357leo/article/details/81281392
但这种解法对于我来说无效,只能重装jdk 8版本。
安装地址:文件名不要有空格,有空格的话后续会有问题,比如Program Files,有参考说可以用Progra~1代替,但我这里后续还是会报错。还是老老实实装在文件名没有空格的文件夹中。
环境变量配置:点击‘此电脑’→‘属性’→‘环境变量’→‘系统变量’
需添加3条
CLASSPATH:
.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tool.jar
JAVA_HOME:
自己的安装路径,比如D:\java\jdk8
Path:2条<