Hadoop2.9.2在windows上的安装

1、下载hadoop-2.9.2.tar.gz

官网下载地址:http://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

hadoop-2.9.2官网文档:https://hadoop.apache.org/docs/r2.9.2

下载完之后,将hadoop-2.9.2.tar.gz 放到任意文件夹(路径别有中文),并解压

2、 配置HADOOP_HOME环境变量

3、配置Path环境变量

4、下载 windows 环境下所需的winutils.exe文件

hadoop主要基于linux编写,这个winutil.exe主要用于模拟linux下的目录环境。
因此hadoop放在windows下运行的时候,需要这个辅助程序才能运行。

将winutils.exe放到你解压的 hadoop-2.9.2.tar.gz 的bin目录下

下载地址:https://raw.githubusercontent.com/cdarlint/winutils/master/hadoop-2.9.2/bin/winutils.exe

其他版本的winutils.exe下载:https://github.com/cdarlint/winutils

5、修改hadoop-env.cmd

hadoop与jdk版本对应关系
hadoop-2.9.2     JDK 1.7 or 1.8
hadoop-2.10.2   JDK 1.7 or 1.8
hadoop-3.1.3     JDK 1.8

修改文件:%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd

jdk的默认安装路径有可能需要管理员访问权限才可以访问,所以如果像上图中这样配置有可能会导致hadoop安装失败,失败的原因则是未检测到jdk环境,会报如下的错误:

解决方案:
1、将$HADOOP_HOME/etc/hadoop/hadoop-env.cmd文件中的 
set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_40
修改为 
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_40
2、保存文件
3、然后重新在cmd窗口输入 hadoop version 命令,即可成功!

 

6、重启 IDE

主要是因为环境变量修改了,需要重启启动idea进程读取环境变量,没重启IDE,执行代码会报如下错误:

### Hadoop 2.9.2 Tar.gz 安装教程 #### 准备工作 确保环境已经准备好Java运行环境,并设置好`JAVA_HOME`变量。对于Hadoop的配置文件路径,通常位于解压缩后的目录下的`etc/hadoop/`子目录内[^4]。 #### 下载并解压软件包 通过wget命令获取Hadoop二进制分发版tarball文件,并将其解压至目标位置: ```bash wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz tar -zxvf hadoop-2.9.2.tar.gz ``` 上述命令会创建一个名为`hadoop-2.9.2`的新目录,其中包含了所有必要的可执行程序和库文件[^2]。 #### 配置环境变量 为了方便调用Hadoop工具,在`.bashrc`或其他shell初始化脚本中添加如下行来定义`HADOOP_HOME`以及更新PATH: ```bash export HADOOP_HOME=/path/to/hadoop-2.9.2 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source ~/.bashrc ``` 这里假设已知具体的安装路径;如果不是默认情况,则需替换上面命令中的`/path/to/hadoop-2.9.2`部分为实际路径[^1]。 #### 修改核心配置文件 编辑`$HADOOP_HOME/etc/hadoop/core-site.xml`, `yarn-site.xml`, 和其他必要XML配置文件以适应具体需求,比如指定NameNode地址、资源管理器端口等参数。这一步骤的具体细节取决于所构建的是单节点伪分布模式还是多节点全分布式架构[^3]。 #### 启动服务 完成以上准备工作之后,可以利用sbin目录下提供的Shell脚本来启动整个集群的服务进程: ```bash cd /opt/hadoop-2.9.2/sbin/ ./start-all.sh ``` 此命令将会依次启动Namenode, Datanodes, ResourceManager 及 NodeManagers等一系列组件。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值