win10操作虚拟机中hadoop IntelliJ IDEA直接运行代码（不需要打jar包）

最新推荐文章于 2024-04-10 17:31:46 发布
最新推荐文章于 2024-04-10 17:31:46 发布
阅读量1.8k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： IDEA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lovely_J/article/details/82656884
本文介绍了如何在IntelliJ IDEA中直接运行Hadoop MapReduce代码，避免了生成jar包的过程。通过配置环境变量、添加Hadoop依赖到Maven项目，以及解决运行中可能出现的日志和空指针异常问题，可以在Windows环境下连接到虚拟机中的Hadoop进行开发。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

IntelliJ IDEA 2018.2.3 (Ultimate Edition)+Maven
VMware中CentOS6.5
Hadoop2.7.1

上课的时候老师使用的是Eclipse编译器,使用了 eclipse-hadoop的插件。可以直接在eclipse里运行，省去了先生成jar再发送的虚拟机中执行的过程。

由于编译器IDEA没有这种插件所以自己在网上找了一些帖子，对编译器进行配置，达到的效果是可以直接在IDEA中运行MapperReducer等代码并查看代码报错，但是不可以看到hdfs上的文件夹结构（可以在里浏览器使用虚拟机ip50070端口查看），也不可以查看文件内容，只是免去了一直生成jar包的繁琐过程如果大家有可以在idea中可视化文件结构的方法或者其他补充欢迎在下面留言

下面介绍一下操作流程和我遇到的错误：

操作流程

下载对应的Hadoop包
在win10环境变量中添加hadoop包所在的路径（winutils.exe一定要在，其他不确定必不必要）

环境变量怎么找？打开windows的设置然后搜索环境变量，之后在高级设置中打开就可以看到了。
这里写图片描述
找到之后，在用户或者系统环境变量中添加HOME_HADOOP(名字可以自己起)
这里写图片描述
然后在Path中添加%HADOOP_HOME%\bin
这里写图片描述
注意这里\bin是因为我的winutils.exe和hadoop.dll文件在hadoop所在路径的\bin目录下。这个路径要能找到winutils.exe和hadoop.dll文件就可以了。

然后把hadoop.dll文件复制到C:\Windows\System32下（需要管理员权限），然后重启电脑，因为修改了环境变量要给系统一个重新认识自己的过程。

在Maven项目的POM文件中添加hadoop和junit的dependencies如下

<dependencies>
        <dependency>
            <
最低0.47元/天 解锁文章

200万优质内容无限畅学
使用IntelliJ IDEA编写SparkPi直接在Spark中运行
lqf的专栏
10-26 7758
使用IntelliJ IDEA编写Scala在Spark中运行环境说明：hadoop-2.2.0+spark-1.1.0 hadoop是完全分布式，spark是standalone。在master节点master1上安装了IntelliJ IDEA。1、开启spark进入到spark的sbin目录,./start-all.sh命令开启spark。 注意：因为演示的是SparkPi demo，无需
不导出jar包直接在eclipse上运行mapreduce程序
qq_41222057的博客
04-14 297
解决Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs 1.参考博客链接 链接: link. 2.操作 (1) 查看eclipse window ->preferences ->Hadoop Map/Reduce的Hadoop installation directory是否是自己...
Hadoop系列 - 本地调试代码（不使用jar包）
weixin_36985855的博客
12-01 309
问题 最近学习Hadoop过程中遇到这样一个问题：本地开发mapreduce程序，如果mapreduce到输入和输出都是设置本地，那么是可以进行本地Debug的。但是在我把输入源设成服务器的HDFS，输出设为HBase时，发现应用启动就报某个mapper或Outputformat类找不到；经过几天摸索，终于找到解决办法； 解决方法 项目配置文件mapred-site.xml增加配置： &lt;pr...
IntelliJ IDEA如何直接打开运行Java文件（idea如何直接运行Java程序）
热门推荐
MANONGMN的博客
05-02 2万+
只需要简单设置一下目录结构，IDEA就可以直接运行打开的Java文件
idea中hadoop本地debug调试以及本地提交模式（不需要打jar包上传）
Willian
11-30 2729
环境：ubuntn 14.04 1：将hadoop的目录加入环境变量中gedit .bashrc export JAVA_HOME=/usr/local/java export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/home/willian/programing/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HO
idea 集成使用 hive 需要导入的jar包.rar
02-12
总结来说，为了在IntelliJ IDEA中集成Apache Hive，我们需要准备Hive的JDBC驱动和其他相关依赖库，将它们添加到项目中，然后编写Java代码来连接Hive服务器并执行查询。通过这种方式，开发者可以在熟悉的IDE环境中...
Windows下IntelliJ IDEA远程连接服务器中Hadoop运行WordCount（详细版）
NBA首席形象大使坤坤
04-10 1万+
使用IDEA直接运行Hadoop项目，有两种方式，分别是本地式：本地安装Hadoop+IDEA；远程式：远程部署Hadoop，本地安装IDEA并连接， 本文介绍第二种。 文章目录一、安装配置Hadoop(1)虚拟机伪分布式(2)云服务器分布式二、配置IDEA1、安装配置Maven2、新建Maven项目三、设置连接Hadoop1、Linux中操作2、IDEA中操作四、可能出现的问题 一、安装配置Hadoop (1)虚拟机伪分布式 见上才艺！CentOS7从0到1部署Apache Hadoop生态集群 (2)云
Intellij IDEA远程向虚拟机hadoop集群提交作业(好多坑)
messenger
10-14 1911
最近在学习数据分析，用到了hadoop和spark。之前在虚拟机配置好了hadoop集群，今天想尝试一下在win10环境下，利用 IDEA 远程向虚拟机上的hadoop集群提交作业（以WordCount为例） 一： 环境以及准备工作： win10 + IntelliJ IDEA 2017.1.6 + hadoop 2.8.0 注意：hadoop在虚拟机和本地都要安装，安装步骤二者几乎一样，就...
关于idea在本地直接运行hadoop项目
人活着就是为了樱岛麻衣
01-21 1923
idea在本地直接运行hadoop项目 首先需要在本地安装hadoop 只需要安装即可 无需搭建集群 首先需要下载hadoop 可以去官网下载 hadopp下载链接 找到你需要的对应版本的hadoop 本次以hadoop3.0.0为例 下载好后 解压到你需要安装hadoop的目录下 先检查好自己的jdk是否安装好，必须先配置好JAVA。使用命令提示符中输入 java -version 显示版本号即为java安装好了 如果没有则需要先配置java环境 详情可参照 win10安装java教程
IDEA编写的jar项目如何在本地和虚拟机上执行
你怎么回事
09-08 2883
文章部分选自：https://blog.youkuaiyun.com/weixin_42370346/article/details/88688693 纸上得来终觉浅，绝知此事要躬行 IDEA编写的jar项目在虚拟机执行 一、添加依赖 二、编写项目 三、将项目打包成jar 1、右键项目名称——>Open Module Settings，如下： 2、Artifacts——>+——>JA...
hadoop的idea环境搭建
ShaneHolmes
03-12 6015
大数据专栏 上一篇 主目录 下一篇 目录1 在IDEA中安装Hadoop插件 【前言】 Intellij IDEA连接Hadoop HDFS实现本地调试 1 在IDEA中安装Hadoop插件 插件下载地址 优快云 GitHub 安装插件 重启IDEA 菜单栏Hadoop–设...
在CentOS上部署ASP.NET Core
流星之光的专栏
10-15 1883
vmware虚拟机安装 vmware哪里下载？360软件管家就可以下载。然后网上找个序列号。 我这里安装的是12.1.1 安装很简单一直下一步就好了。 CentOS7.3安装 下载CentOShttp://isoredirect.centos.org/centos/7/isos/x86_64/我们可以选择163或阿里云的节点，速度会快点。 下载完成后打开vmware准备安装 菜鸟可以选择有界面的 选好后然后开始安装，然后设置密码，然后重启就好了。 Windows的客户端软件 下载安装Xshel..
JAVA--打jar包运行程序
Xin6Yang的博客
09-05 369
步骤 1.添加包路径，将.class运行文件放入该包路径文件夹下 如以上文件，添加包路径：package menu; // 添加包名 2.运行带有包名的.java源文件 如: javac -d d:\111 MenuTest.java // -d:指定放置生成的类文件的位置，d:\111:指定生成包文件的目录，随意指定 3.新建txt文件1.txt,...
04本地机idea连接hadoop2.7.5
m0_51437455的博客
08-29 1876
big data tools插件实现idea对hdfs的可视化操作
mapreduce程序运行的两种方式
gwnszbd的博客
04-09 1402
1)在window系统中的IDE上运行，我用的是ideaconf.set("mapreduce.job.jar", "target/mapreduce_test-1.0-SNAPSHOT.jar");// 程序中必须指定jar包的本地路径 conf.set("mapreduce.app-submission.cross-platform", "true");// 跨平台提交还需要添加JVM参数：-...
助你加速开发效率！告别IDEA卡顿困扰的性能优化技巧
陈书予
03-07 1万+
IntelliJ IDEA是一个广受欢迎的IDE，但有时候IDE的性能可能会受到影响，导致开发人员的工作效率降低。使用合适的JDK版本 IDEA使用Java作为其开发语言，因此选择正确的JDK版本对于IDEA的性能至关重要。在使用IDEA时，最好选择与IDEA版本兼容的JDK版本。尽管这些功能很有用，但在处理大量代码时，它们会降低IDE的性能。在处理大量代码时，建议将代码检查关闭。因此，将代码文件分解成更小的文件并使用单独的类可以帮助提高IDE的性能。使用更快的硬件 硬件也对IDEA的性能有重要影响。
windows环境下安装spark，winutils.exe 报错
GameOverTryAgain的博客
05-14 3515
 安装hadoop winutils，下载链接https://github.com/steveloughran/winutils， 选择你要的hadoop版本号，比如2.8.1，你只需要下载winutils.exe，然后拷贝到C:\Hadoop\bin文件夹中。创建系统变量HADOOP_HOME，为C:\Hadoop，添加%HADOOP_HOME%\bin到PATH变量中 以管理员身份打开cmd，...
IntelliJ IDEA 连接 虚拟机 Hadoop 配置教程
最新发布
04-23
### 如何在 IntelliJ IDEA 中配置连接到虚拟机上的 Hadoop #### 配置环境 为了实现通过 IntelliJ IDEA 连接到运行于虚拟机中的 Hadoop，需完成以下几项准备工作： 1. **安装必要依赖库** 在项目中引入 Apache Hadoop 的核心类库文件。可以通过 Maven 或手动导入 JAR 文件来完成此操作。如果使用 Maven，则需要在 `pom.xml` 文件中添加如下依赖[^1]： ```xml <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.x.x</version> <!-- 替换为实际使用的版本 --> </dependency> ``` 2. **设置 HDFS URL 和端口号** 使用 Java API 访问 HDFS 时，通常会指定 HDFS 的 URI 地址以及对应的端口。默认情况下，NameNode 的 Web UI 页面会在 50070 端口监听请求；而客户端访问 NameNode 则一般通过 8020 端口进行通信。具体地址形式如下所示[^2]: ```java String hdfsUri = "hdfs://<namenode-ip>:8020"; Configuration conf = new Configuration(); conf.set("fs.defaultFS", hdfsUri); FileSystem fs = FileSystem.get(conf); ``` 3. **验证网络连通性** 若无法正常建立与虚拟机内部服务之间的联系，请先确认主机操作系统能够顺利抵达目标机器，并且相应的防火墙策略允许外部流量进入。可尝试执行简单的 ping 测试命令或者利用 telnet 工具探测特定的服务端口状态。 4. **启用 JetBrains Big Data Tools 插件 (推荐)** 自 IntelliJ IDEA 2019 版本之后推出了专门用于大数据处理场景下的工具支持功能模块——Big Data Tools 。借助该插件可以直接图形化管理远程存储资源实例，极大简化了日常开发流程。只需按照提示逐步填写服务器详情即可快速达成目的[^2]. --- #### 示例代码片段 以下是基于官方文档给出的一个基础样例程序演示如何读取位于分布式文件系统路径 `/user/test/input.txt` 下的内容并打印至控制台输出流。 ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HdfsTest { public static void main(String[] args) throws Exception{ BasicConfigurator.configure(); // 初始化日志记录器 String uri="hdfs://localhost:8020"; Configuration configuration=new Configuration(); configuration.set("fs.default.name",uri); try(FileSystem fileSystem=FileSystem.get(configuration)){ Path path=new Path("/user/test/input.txt"); if(fileSystem.exists(path)){ System.out.println(new String(fileSystem.open(path).readAllBytes())); }else{ throw new RuntimeException("File not found!"); } } } } ``` --- #### 常见问题排查指南 - 当遇到诸如 “Connection refused” 类型错误消息时，应仔细核查所设定的目标 IP 是否准确无误； - 对于因权限不足引发的操作失败情形，考虑调整用户角色定义或是赋予更宽松的安全机制选项； - 如果始终得不到预期响应反馈，建议重新启动涉及的所有组件节点服务后再试一次。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值