在windows本地使用eclipse操作hadoopHDFS客户端，进行文件的上传下载测试

最新推荐文章于 2021-08-07 11:42:31 发布

转载最新推荐文章于 2021-08-07 11:42:31 发布 · 520 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/luleilei516/blog/829408

文章标签：

#开发工具 #大数据 #运维

本文介绍如何在Windows环境下使用Eclipse操作已安装在Linux系统上的Hadoop集群。主要步骤包括：本地编译Hadoop、配置环境变量、Eclipse测试代码及验证结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

首先需要明白，在windows使用eclipse操作linux系统中安装的hadoop集群，需要在本地也安装一份hadoop，这个hadoop需要在本地进行编译才能使用。

1.编译hadoop，编译教程很多，可以去搜索，或者直接下载已经编译好的bin文件。

下载连接：http://download.youkuaiyun.com/detail/u010286605/9743359

2.解压一份hadoop到本地，将上面准备好的bin合并到到hadoop的安装目录中的bin，然后配置环境变量，

路径是hadoop 的bin文件。例如：我安装的路径是：G:\hadoop-2.6.4 环境变量path中配置为：G:\hadoop-2.6.4\bin；

3.测试：打开黑窗口，直接输入：winutils.exe如下则成功

4.eclipse测试代码

新建java project

   public static void main(String[] args) throws Exception {
       Configuration conf = new Configuration();
       conf.set("fs.defaultFS", "hdfs://ip地址:9000");//ip地址为hadoop的主服务器
//       拿到一个文件系统操作的客户端对象
       FileSystem fs = FileSystem.get(conf);
       fs.copyFromLocalFile(new Path("d:/mylog.log"), new Path("/mylog.log.copy"));//测试文件
       fs.close();
   }

运行时加上参数