如何在IDEA编译器中连接HDFS，运行MapReduce程序(1)

最新推荐文章于 2025-05-15 08:58:25 发布

FZBH_Q

最新推荐文章于 2025-05-15 08:58:25 发布

阅读量779

点赞数 28

CC 4.0 BY-SA版权

分类专栏：程序员文章标签： intellij-idea hdfs mapreduce

本文链接：https://blog.youkuaiyun.com/FZBH_Q/article/details/137981836

440 篇文章

订阅专栏

本文介绍了如何在IntelliJ IDEA中配置连接HDFS并运行MapReduce程序的步骤，包括设置插件、配置信息、添加资源文件等内容。此外，作者还分享了个人的开发经验，提供了一份全面的Android开发者学习资料。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

链接直达：https://bbs.youkuaiyun.com/topics/603957283

⭐ ⭐ ⭐ ⭐ ⭐ 点点五星⭐ ⭐ ⭐ ⭐ ⭐

我正在参加年度博客之星评选，请大家帮我投票打分，您的每一分都是对我的支持与鼓励。

贡献您几秒钟时间，点个五星，在此感激不尽！！！

各大技术基础教学、实战开发教学（最新更新时间2021-12-4）

打开IDEA编译器–>>点击File–>>选择Settings

找到Plugins，在Installed中搜索big，找到下面这个，点击下载，我这里已经下载过了

下载之后展开在左侧的Tools下的Big…里，配置如下信息

上面的hadoop01:9000是之前的core-site.xml配置里的

然后点击右上角的这里，添加新的Application

然后在你的maven项目（MapReduce）的resource下面添加三个配置文件

core-site.xml

<property>

    <!-- URI 定义主机名称和 namenode 的 RPC 服务器工作的端口号 -->

    <name>fs.defaultFS</name>

    <value>hdfs://hadoop01:9000</value>

</property>

<!--

<property> 这个可以设置为本地路径，但没有什么用，这个路径是 Hadoop 集群用的

  Hadoop 临时目录，默认是系统的临时目录下，/tmp/hadoop-${username} 下

  <name>hadoop.tmp.dir</name>

  <value>/home/xian/hadoop/cluster</value>

</property>  -->

log4j.properties（打印日志）

log4j.appender.A1.Encoding=UTF-8

log4j.rootLogger=INFO, stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5.5p | %-16.16t | %-32.32c{1} | %-32.32C %4L | %m%n

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Android）

总而言之，成功是留给准备好的人的。无论是参加什么面试，都要做好充足的准备，注意好面试的礼仪和穿着，向面试官表现出自己的热忱与真诚就好。即使最后没有过关，也要做好经验的总结，为下一次面试做好充足准备。

这里我为大家准备了一些我在面试后整理的面试专题资料，除了面试题，还总结出了互联网公司Android程序员面试涉及到的绝大部分面试题及答案，并整理做成了文档，以及系统的进阶学习视频资料分享给大家，希望能帮助到你面试前的复习，且找到一个好的工作，也节省大家在网上搜索资料的时间来学习。

毕竟不管遇到什么样的面试官，去面试首先最主要的就是自己的实力，只要实力够硬，技术够强，就不怕面试拿不到offer！

为什么某些人会一直比你优秀，是因为他本身就很优秀还一直在持续努力变得更优秀，而你是不是还在满足于现状内心在窃喜！希望读到这的您能点个小赞和关注下我，以后还会更新技术干货，谢谢您的支持！

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！

[外链图片转存中…(img-DSpMogAA-1713544739863)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！