eclipse下调试MapReduce任务 WorkCount 遇到的各种坑（Hadoop版本2.7.3, Java编译环境（jdk1.8），IDE eclipse ）

最新推荐文章于 2023-05-26 19:24:06 发布
原创 最新推荐文章于 2023-05-26 19:24:06 发布 · 867 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #mapreduce #java

本文详细介绍了在Eclipse环境下调试Hadoop MapReduce作业时遇到的四种常见错误，包括NoClassDefFoundError、UnsatisfiedLinkError、输出目录已存在和Job运行模式问题，以及相应的解决方法，如检查和导入所需JAR包，更新hadoop.dll，删除HDFS中的冲突输出目录，设置HADOOP_USER_NAME属性等。

eclipser调试mapreduce 需要导入的Jar包

（最好把需要的jar包都导进去，不然会报N个错误）

  1. HADOOP_HOME/share/hadoop/hdfs/lib下全部的jar包
  2. HADOOP_HOME/share/hadoop/hdfs下hadoop-hdfs-2.7.3.jar
  3. HADOOP_HOME/share/hadoop/mapreduce 下全部的jar包
  4. HADOOP_HOME/share/hadoop/yarn下的全部的jar包
  5. HADOOP_HOME/share/hadoop/common/lib下全部的jar包
  6. HADOOP_HOME/share/hadoop/common/下hadoop-common-2.7.3.jar
遇到的第一个错误 java.lang.NoClassDefFoundError

这个的原因就是因为导入jar包的时候 ，缺少了一个关键的jar包，就报这个错误了，所以先检查一下Jar包都导入完了没。

遇到第二个错，Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)

这个问题在网上搜了半天，大部分是windows下hadoop/bin目录下的ha

最低0.47元/天 解锁文章
【Windows下】Eclipse 尝试 Mapreduce 编程
最新发布
撕得失败的标签的博客
12-04 1793
要在Windows下使用Eclipse进行MapReduce编程，你需要配置Hadoop环境，并在Eclipse中设置相关的开发工具。以下是一个简化的步骤指南： 安装和配置Hadoop： 下载并解压Hadoop的发行版到一个没有空格或特殊字符的目录。 配置系统环境变量：创建名为HADOOP_HOME的变量，其值为你的Hadoop解压路径；将%HADOOP_HOME%\bin添加到系统Path变量中。 下载依赖库： 获取适用于Windows的hadoop.dll和winutils.exe文件，通常可以从Gi
Eclipse远程提交MapReduce任务到Hadoop集群
wozipa的博客
03-30 6682
一、介绍 以前写完MapReduce任务以后总是打包上传到Hadoop集群，然后通过shell命令去启动任务，然后在各个节点上去查看Log日志文件，后来为了提高开发效率，需要找到通过Ecplise直接将MaprReduce任务直接提交到Hadoop集群中。该章节讲述用户如何从Eclipse的压缩包最终完成Eclipse提价任务给MapReduce集群。 二、详解 1、安装Eclipse，安装
大数据学习03——Eclipse运行第一个MapReduce程序
aldalee-blog
03-19 742
文章目录1. 插件安装1.1 基础环境准备1.2 ant环境配置1.3 编译hadoop-eclipse-plugin-2.6.5.jar2. eclipse环境配置2.1 上传插件2.2 启动eclipse2.3 设置Hadoop安装路径2.4 显示Hadoop连接配置窗口2.5 启动Hadoop集群，连接Hadoop3. 运行MapReduce程序3.1 新建MapReduce项目3.2数据上...
在eclipse运行MapReduce(Hadoop)程序的常见问题
Dandelion的博客
04-28 3021
主机名和端口在 hadoop/etc/hadoop/core-site.xml 可以看到 fs.defaultFS 的值为 hdfs://主机名:端口号。一般是在hdfs上的/user/root目录创建input文件夹，并把需要统计的文件放里面，而且如果存在output文件夹的话要先删掉该文件夹。2、M/R的端口号不要改它，依旧是50020，DFS的端口号就是在 core-site.xml 查到的端口号。只要是在代码import处出现报错的，都要导入相应的jar包。还要hdfs和yarn的jar包。
Job running in uber mode : false？
weixin_30768175的博客
04-26 7917
Hadoop的小作业模式， 数据量小非常节约时间，测试使用Uber，数据量超过块大小就会自动启用了。 要启动ubertask，reduce数得是1。 参数设置： mapreduce.job.ubertask.enable mapreduce.job.ubertask.maxbytes　　//块大小 转载于:https://www.cnblogs.com/catcoding/p/543533...
精选资源
mac hadoop安装hadoop 2.7.3
09-13
在Mac上安装Hadoop 2.7.3的过程涉及到多个步骤，包括Java环境的配置、Hadoop的下载与解压、环境变量的设置以及Eclipse的集成。以下将详细讲解这些知识点。 首先，Hadoop是分布式计算框架，主要用于大数据处理。版本...
Eclipse开发环境搭建指南：Hadoop2.7.3详细教程
在搭建Hadoop 2.7.3开发环境之前，我们需要了解Hadoop的基本概念和Eclipse IDE的基础使用。Hadoop是一个由Apache基金会开发的分布式系统基础架构，用于存储大量数据并提供高吞吐量的处理能力。它基于Google的Big ...
hadoop-eclipse-plugin-2.7.3.jar
10-26
总的来说，Hadoop-Eclipse-Plugin是Hadoop开发者的得力工具，它将Hadoop的开发环境与流行的Java IDE Eclipse完美结合，降低了Hadoop应用的开发门槛，提升了开发体验。对于那些想要深入Hadoop世界，或者正在寻找更...
Hadoop 2.7.3 Eclipse 插件安装与使用指南
“hadoop-eclipse-plugin-2.7.3”这一特定插件是针对Eclipse开发环境的Hadoop工具插件，版本对应的是Hadoop 2.7.3。该插件可以集成到Eclipse中，为开发者提供操作Hadoop文件系统（HDFS）、创建和管理Hadoop ...
Job 任务介绍
03-28
了解Quartz体系结构 Quartz对任务调度的领域问题进行了高度的抽象，提出了调度器、任务和触发器这3个核心的概念，并在org.quartz通过接口和类对重要的这些核心概念进行描述：
eclipse运行出现org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist错误
qq_44796583的博客
10-22 1814
问题出现场景 org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/ooxx/input org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThread...
报错org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileSpl...
weixin_33955681的博客
03-15 404
报错 java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileSplit    at org.apache.hadoop.mapred.LocalJobRunne...
4.hadoop集群扩容与hive异常处理
m0_63953077的博客
05-26 888
hadoop集群扩容与hive异常处理
项目启动的时候报Exception in thread main 错误解决方法
热门推荐
qq904274014的博客
10-26 11万+
  项目在运行过程中报错： Exception  in thread main 找到window---preferences--java--installed jres--找到对应jdk编辑default VM arguments。添加内存设置  -Xms512m -Xmx1024m -XX:MaxPermSize=256m 如果填写不对也可能会造成这个错误。 ...
Hadoop分布式搭建
qq_39124136的博客
10-29 408
运行环境 ubuntu18.04 hadoop2.7.1 jdk1.8 1.修改每台服务器的主机名 vim /etc/hostname 4台服务器的主机名分别为 Master、Slave1、Slave2、Slave3 保存修改后重启服务器reboot 2.修改每台服务器的hosts文件 vim /etc/hosts 添加以下内容 [Master的ip] Master [Slave1的ip] Sla...
hadoop解决Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps
记录和分享、
11-18 4835
hadoop解决Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps usr/local/hadoop-3.1.1/share/hadoop/yarn 中的外部包没有导入完全。还有sources目录下的所需要的jar包，全部拷贝至eclipse的lib下选择 构建依赖，重新运行，异常解决。没有导入或者没导入完整hadoop目录下的yarn相关jar包。
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist:
Anders 的专栏(Talk is cheap, show me the code！)
04-29 1万+
一个Hadoop小程序：将Hello world写入文件中，简要代码： public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = new Job(conf,"demo"); job.setJarByClass(HelloWo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值