mapreduce书写遇到的问题总结

最新推荐文章于 2023-03-28 17:48:19 发布

原创

最新推荐文章于 2023-03-28 17:48:19 发布 · 829 阅读

1 ·

CC 4.0 BY-SA版权

本文总结了MapReduce在本地运行时的配置步骤，包括导入Hadoop相关jar包，配置log4j.properties、core-site.xml、hdfs-site.xml等文件，并介绍了在Idea中进行应用配置。在运行过程中遇到的问题包括：HDFS连接地址错误、staging目录权限问题和自定义类找不到。针对这些问题，给出了相应解决方案，如修改mapred-site.xml配置、执行hadoop fs -chown命令以及通过JVM远程调试解决类找不到的问题。

1.mapreduce本地运行：

1）导入jar包，找到hadoop的安装目录HADOOP_HOME就可以找到这些jar包

HADOOP_HOME/share/hadoop/common目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar；
HADOOP_HOME/share/hadoop/common/lib目录下的所有JAR包；
HADOOP_HOME/share/hadoop/hdfs目录下的haoop-hdfs-2.7.1.jar和haoop-hdfs-nfs-2.7.1.jar；
HADOOP_HOME/share/hadoop/hdfs/lib目录下的所有JAR包；
HADOOP_HOME/share/hadoop/mapreduce除hadoop-mapreduce-examples-2.7.1.jar之外的jar包；
HADOOP_HOME/share/hadoop/mapreduce/lib/所有jar包。
2）配置文件

将HADOOP_HOME/etc/hadoop目录下的log4j.properties，core-site.xml，hdfs-site.xml文件放到工程目录下的resources文件夹（如果没有resources则在idea中新建并将该文件夹设置为Sources Root）。

3）idea配置application