windows配置hadoop环境变量步骤及无法环境变量无法生效的小坑

本文详细介绍了在Windows环境下配置Hadoop的步骤,包括下载与解压Hadoop,设置JAVA_HOME,添加winutils,以及修改配置文件。特别指出了解压问题和由于ProgramFiles目录名含有空格导致的配置错误,解决方案是使用PROGRA~1替代。此外,还解决了环境变量配置不生效的坑,发现文件名不能包含横杠,改为下划线后成功。最后,提供了配置环境变量的常规步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一 配置 hadoop

  1. 下载:
    各版本hadoop下载地址:
    http://archive.apache.org/dist/hadoop/common/
  2. 解压:
    注意,如果使用电脑软件加压会出现错误,加压不成功,这是因为客户端没有所需的特权所以需要借助命令:
    start winrar x -y hadoop-2.7.7.tar.gz
  3. 下载替换
    直接运行会出现错误,需要借助 winutils ,下载地址:
    https://github.com/steveloughran/winutils
    大版本相同即可
    winutils下载

然后将里面的bin文件复制到hadoop文件夹下,将原来hadoop下的bin文件改为 bin_bak

bin文件复制

  1. 修改配置文件:配置 java_home
    D:\ProgramData\hadoop_2.7.7\etc\hadoop 路径下找到 hadoop-env.cmd 文件,打开后将原本
    set JAVA_HOME=%JAVA_HOME%
    改为
    set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_191
    【注意】JAVA_HOME目录是:C:\Program Files\Java\jdk1.8.0_191,因为Program Files中间存在空格,所以出现错误,只需要用PROGRA~1代替Program Files即可
    set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_191
  2. 验证hadoop是否配置成功
    在 hadoop 的 bin 目录下,使用cmd命令输入 hadoop,如下图则安装成功
    验证
  3. 配置环境变量【有坑
    为了在任何目录下都能打开 hadoop ,配置一下环境变量。
    先说一下其中的坑,按照正常步骤配置即可,但是死活不成功,在网上翻了无数教程,依旧无解,最后把hadoop文件名 hadoop-2.7.7 修改为了 hadoop_2.7.7,成功!!…
    配置就是正常步骤了,
    a. 先配置 HADOOP_HOMED:\ProgramData\hadoop_2.7.7
    b. 再在Path中添加 %HADOOP_HOME%\bin
    完事!

二 环境变量无法生效的问题

应该就是环境变量的路径和文件名中只能识别下划线,无法识别横杠。

<think>好的,用户需要写一个关于JDK安装、SSH免密登录以及HDFS集群配置和基本操作的实验总结。首先,我得回忆一下这些步骤的关键点。 首先是JDK安装。根据引用[1],用户需要将JDK压缩包通过SFTP上传到Linux,解压到指定目录,然后配置环境变量JAVA_HOME和PATH。这部分要强调环境变量配置是否正确,否则后续Hadoop可能会出问题。 接下来是SSH免密登录,引用[2]提到需要在node1配置到所有节点的免密登录。步骤应该是生成密钥对,将公钥复制到各个节点,包括自己。可能还需要测试ssh连接是否成功,避免后续启动集群时出现权限问题。 然后是HDFS集群配置。这里需要修改workers文件,列出所有DataNode节点。高版本可能用workers而是slaves,这点要注意。启动和停止脚本是start-dfs.sh和stop-dfs.sh,引用[3]提醒如果是第一次启动,可以直接用脚本,需要重新初始化。 用户可能还希望知道实验中的常见问题,比如环境变量配置错误导致命令找到,或者免密登录失败导致脚本执行中断。另外,HDFS的配置文件如core-site.xml和hdfs-site.xml的设置也很重要,可能需要指定NameNode和DataNode的目录。 在概括时,需要按步骤分点,确保逻辑清晰。可能还要提到验证步骤,比如用jps命令检查Java进程,或者hdfs dfsadmin -report查看集群状态。最后,基本操作可能包括文件上传下载,使用hdfs dfs -ls等命令。 需要确保引用正确,比如引用1、2、3分别对应JDK安装、免密配置和集群启动。可能用户还希望知道如何高效总结实验过程,突出每个环节的关键点,以及可能遇到的坑和解决办法。要避免太技术化的细节,但又要覆盖必要步骤,确保其他人能复现实验。</think>### JDK安装、SSH免密登录及HDFS集群配置实验总结 #### 一、JDK安装要点 1. **文件传输与解压** 使用SFTP工具(如`alt+p`快捷键)将JDK压缩包上传至Linux服务器,解压至指定目录(如`/root/apps`)[^1]。 2. **环境变量配置** 在`~/.bashrc`或`/etc/profile`中添加: ```bash export JAVA_HOME=/root/apps/jdk1.8.0_291 export PATH=$JAVA_HOME/bin:$PATH ``` 执行`source`命令使配置生效,并通过`java -version`验证安装。 #### 二、SSH免密登录配置 1. **密钥生成与分发** - 在控制节点(如`node1`)执行`ssh-keygen -t rsa`生成密钥对。 - 使用`ssh-copy-id nodeX`将公钥分发到所有集群节点(包括自身)[^2]。 2. **验证连通性** 执行`ssh nodeX`测试免密登录,避免后续脚本执行因认证失败中断。 #### 三、HDFS集群配置与启动 1. **节点配置** - 修改Hadoop安装目录下的`etc/hadoop/workers`文件,列出所有DataNode节点[^2]。 - 配置核心文件(如`core-site.xml`定义`fs.defaultFS`,`hdfs-site.xml`设置副本数)。 2. **集群启停** - 首次启动需格式化NameNode:`hdfs namenode -format`。 - 使用`start-dfs.sh`启动集群,`stop-dfs.sh`停止服务[^3]。 - 通过`jps`检查进程(含`NameNode`/`DataNode`),`hdfs dfsadmin -report`查看集群状态。 #### 四、基本操作验证 1. **文件系统操作** - 创建目录:`hdfs dfs -mkdir /test` - 上传文件:`hdfs dfs -put local.txt /test` - 查看内容:`hdfs dfs -cat /test/local.txt` 2. **容错测试** 手动终止某个DataNode进程,观察HDFS自动触发副本恢复机制。 #### 实验关键问题总结 - **环境依赖**:JDK版本需与Hadoop兼容,避免`UnsupportedClassVersionError`。 - **权限一致性**:所有节点用户名、目录权限需统一,防止读写冲突。 - **配置文件同步**:确保集群所有节点的Hadoop配置完全一致。 ---
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值