IDEA远程连接Hadoop

最新推荐文章于 2024-04-10 17:31:46 发布

weixin_30951389

最新推荐文章于 2024-04-10 17:31:46 发布

阅读量353

点赞数

CC 4.0 BY-SA版权

文章标签：大数据开发工具 java

原文链接：http://www.cnblogs.com/tillnight1996/p/10689922.html

本文详细介绍如何在Windows环境下使用IDEA远程连接Hadoop进行开发，包括Hadoop环境配置、Maven依赖设置、核心配置文件core-site.xml的使用、Windows可执行文件替换以及常见问题解决方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

IDEA远程连接Hadoop

Win

1.Hadoop配置

下载并配置到本地环境

HADOOP_HOME D:\Tools\hadoop-2.7.7\hadoop-2.7.7
HADOOP_PREFIX   D:\Tools\hadoop-2.7.7\hadoop-2.7.7
PATH += %HADOOP_HOME%\bin

2.Maven pom.xml

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.7.7</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.7.7</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-core</artifactId>
    <version>2.7.7</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
    <version>2.7.7</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-common</artifactId>
    <version>2.7.7</version>
</dependency>

3.core-site.xml

hadoop集群里的core-site.xml文件拿下来，放到resource目录下（记在etc/hosts里的名字记得换成ip地址）

4.替换

windows下开发的可执行文件肥肠重要，就是$HADOOP_HOME$/bin下的windows可执行文件或者dll，下载下来的覆盖掉bin下的目录下即可

(hadoop.dll winutils.exe winutils.pdb......balabala)(版本版本！！！)

5.码代码

String filePath = "hdfs://172.18.145.167//user//zwj//wordCountTest.txt";
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(filePath),conf);
InputStream in = null;
try
{
    in = fs.open(new Path(filePath));
    IOUtils.copyBytes(in,System.out,4096,false);
}finally {
    IOUtils.closeStream(in);
}

完全ojbk