hdfs编程实践（配置eclipse）

不载jay

已于 2025-03-23 14:11:05 修改

阅读量1k

点赞数 17

文章标签： hdfs eclipse hadoop

于 2025-03-19 21:23:04 首次发布

本文链接：https://blog.youkuaiyun.com/Jay476180652/article/details/146372773

版权

（有关实验的相关压缩包和文件已经放在文末）

1.首先需要在window系统（主机）中配置环境。（在此之前确保已经在虚拟机中启动Hadoop集群）

（1）在D盘中创建目录，地址为 D:\hadoop\usr，解压 hadoop-2.6.5.tar.gz 和 hadoop-2.6.5-src.tar.gz文件到usr目录中。

这里可以手动创建新文件夹，也可以使用命令行（cmd或者powershell）。

tar -xzvf hadoop-2.6.5.tar.gz -C D:\hadoop\usr
tar -xzvf hadoop-2.6.5-src.tar.gz -C D:\hadoop\usr

（2）创建hadoop-lib目录，将hadoop-2.6.5/share/hadoop下的所有JAR包（排除httpfs和kms目录），拷贝到hadoop-lib中。

这里同样可以死办法打开所有子目录，复制所有.jar文件，粘贴到hadoop-lib目录下。快捷方法：可以打开命令行PowerShell（Win + R → 输入powershell→ 回车），输入以下命令。

$sourceDirs = @("common", "hdfs", "mapreduce", "tools", "yarn")
$destination = "D:\hadoop\usr\hadoop-lib"
foreach ($dir in $sourceDirs) {
    Copy-Item -Path "D:\hadoop\usr\hadoop-2.6.5\share\hadoop\$dir\lib\*.jar" -Destination $destination -Force
}

（3）添加环境变量。

右键点击“此电脑” -> “属性” -> “高级系统设置” -> “环境变量”。

新建系统变量：

变量名：HADOOP_HOME，变量值：D:\hadoop\usr\hadoop-2.6.5

变量名：HADOOP_USER_NAME，变量值：root

编辑Path变量，添加：%HADOOP_HOME%\bin

然后将老师提供的bin目录的文件复制到 D:\hadoop\usr\hadoop-2.6.5\bin，将bin里的hadoop.dll拷贝到 C:\windows\System32。

完成后可以在命令行（cmd）中测试一下：

echo %HADOOP_HOME%

这里的输出应为 D:\hadoop\usr\hadoop-2.6.5。继续测试：

echo %PATH%

这里的输出应为 D:\hadoop\usr\hadoop-2.6.5\bin。继续：

hadoop version

此时可能会出现错误：Error: JAVA_HOME is not set. 该错误说明 JAVA_HOME 变量没有正确配置，Hadoop 无法找到 Java 环境。

解决方案：

打开命令行（cmd），输入以下命令。

setx JAVA_HOME "C:\Program Files\Java\jdk1.8.0_311" /M
setx PATH "%PATH%;%JAVA_HOME%\bin" /M

运行成功后记得重启。此后继续之前的版本测试，若依旧出现错误可以不必理会。至此Windows 环境变量已经配置好，后续即可以正常使用 Hadoop 相关命令。

2.配置eclipse

（1）解压eclipse-mars.rar文件到D盘。然后将hadoop-eclipse-plugin-2.6.0.jar（可视化插件）拷贝到 D:\eclipse-mars\mars\plugins中。

（2）双击 eclipse.exe 文件来启动 Eclipse（注意第一次启动可能需要新建目录存放数据信息）。选择 Java EE 视图，如果没有看到相关视图，稍后可以手动切换。

检查 DFS Locations 是否显示，确保显示 DFS Locations。在 Project Explorer 中，你应该能够看到 DFS Locations，这是一个小象图标，表示 Hadoop HDFS 连接。

如果没有看到 DFS Locations：

切换到 Java EE 视图：

点击 Window → Perspective → Open Perspective → Other。

在弹出的对话框中选择 Java EE，然后点击 OK。

确认 DFS Locations 是否显示：Project Explorer 中，应该能看到 DFS Locations。如果配置正确，点击小象图标，它会显示 Hadoop 的连接信息。

（3）如果DFS Locations中没有任何信息，可能是因为没有正确配置连接。需要手动添加 Hadoop 配置。

第一步：

在右下角有个小象+的图标，点击添加新的Hadoop连接。

点击后会出现一个页面。

如图所示，Location name可以任意填写，左边的Map/Reduce（V2）Master，Host选择填写自己的主机名（作者的主机名为w202235532），Port端口不变。右边的DFS Master端口选择填写自己安装Hadoop时core-site.xml文件配置的端口号。User name填写root，其他不用点击。