开篇
先简单描述一下这边博客主要要讲的内容,首先是配置idea可以编写hadoop的程序,然后是一个操作hdfs的小程序演示。
Hadoop的搭建
一直跟随的是厦门大学林老师的课程,这边是hadoop的搭建教程的链接,我是用自己的机子搭建的单机伪分布式。所以下面的一些操作都是适用于单机伪分布式的。
idea开发环境的搭建
这边需要我们做的是两件事,导入jar包,林老师的教程就让我导入了两个common下面的jar,我写完代码,半天执行不出结果,这边讲一下idea下面怎么导入jar包。
如下图所示:


建议大家导入的jar包有下面几个
(1)”/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar;
(2)/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包;
(3)“/usr/local/hadoop/share/hadoop/hdfs”目录下的haoop-hdfs-2.7.1.jar和haoop-hdfs-nfs-2.7.1.jar;
(4)“/usr/local/hadoop/share/hadoop/hdfs/lib”目录下的所有JAR包。
比如,如果要把“/usr/local/had

本文介绍了如何在Intellij IDEA中搭建Hadoop开发环境,包括单机伪分布式Hadoop的配置,详细讲解了所需导入的jar包,并通过编写首个HDFS程序,解决启动时缺少core-site.xml和hdfs-site.xml的问题。
最低0.47元/天 解锁文章
3288





