Eclipse 运行MapReduce 错误 以及参考解决方法

Hadoop Shuffle秘钥错误
最新推荐文章于 2025-05-08 12:35:51 发布
原创 最新推荐文章于 2025-05-08 12:35:51 发布 · 2.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文解决了一个在使用Hadoop进行MapReduce作业时遇到的问题：生成shuffle秘钥时出现的错误。该问题由HmacSHA1KeyGenerator未找到引起，并通过更换JRESystemlibrary为JDK自带的JRE得以解决。
Exception in thread "main" java.io.IOException: Error generating shuffle secret key
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:476)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1296)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1293)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1293)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1314)
        at test123.EventCount.main(EventCount.java:93)
Caused by: java.security.NoSuchAlgorithmException: HmacSHA1 KeyGenerator not available
        at javax.crypto.KeyGenerator.<init>(KeyGenerator.java:158)
        at javax.crypto.KeyGenerator.getInstance(KeyGenerator.java:207)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:473)
        ... 8 more
        
        
        

更换JRE System library ,换成jdk下面的jre，不要用外面的jre，因为jdk中的jre中才有生成秘钥的相关类



秉寒
关注
MapReduce读取数据异常（NumberFormatException，ArrayIndexOutOfBoundsException）
beautiful_girl_love的博客
04-10 1620
最近实验有一个需求，分析50G左右的大文本数据，提取出指定字段，序列化对象。我想用MapReduce来进行读取，遂用MapReduce进行统计计算。首先建立bean类主要是记录Item的内部属性，如下所示： package tju.hadoop.mapreduce; import java.io.DataInput; import java.io.DataOutput; import jav...
使用Eclipse编译运行MapReduce程序
yruisa的博客
01-05 1387
使用Eclipse编译运行MapReduce程序 1. Hadoop的搭建 创建hadoop用户 如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。 首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 : sudo useradd -m hadoop -s /bin/bash Shell 命令 这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。 接着使用如下命令设置密码，可简单设置为 had
运行hadoop MapReduce程序常见错误及解决方法整理
u011762604的博客
06-13 6153
一、Permission denied 1、Win系统下用Eclipse中运行远程Hadoop MapReduce程序出现报错 [javascript] view plain copy org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.
hadoop集群在eclipse中运行mapreduce的一些问题
Amluee的博客
09-21 483
有一个问题，配置好了分布式集群后，把mapreduce程序打包成jar在命令行可以跑成功，得到结果；但是在eclipse中运行就会报错（class $map not found）就是说找不到map类。 最终问题原因及解决办法： 在项目src目录下导入core-site.xml,hdfs-site.xml,Log4j.propertise，这三个配置文件，千万不要导入其他的如yarn-stie....
解决 Eclipse连接Hadoop / An internal error occurred during: “Map/Reduce location status updater“
alongwaywith的博客
10-29 1900
如果是jar包没导入，或者是连接失败的话，可以出门左转。 出现这个错误是你hdfs上的文件是空的，你只需要 hadoop fs -mkdir /input/ 创建一个文件就不会报错了。
ubuntu上配置好hadoop后，运行MapReduce
网络工程专业本科生
05-18 1340
ubuntu上配置好hadoop环境后，运行官网MapReduce教程。
在Ubuntu Kylin系统中使用 Eclipse 开发 MapReduce 程序对单词计数
weixin_43385372的博客
12-12 1570
在Ubuntu Kylin系统中使用 Eclipse 开发 MapReduce 程序对单词计数 文章目录一、 首先在Windows中使用VirtualBox安装Ubuntu二、 前期准备工作2.读入数据四、 安装Hadoop五、 Hadoop伪分布式配置1.引入库2.读入数据六、 调用MapReduce执行WordCount对单词进行计数七、 个人总结 一、 首先在Windows中使用VirtualBox安装Ubuntu 本实验采用Ubuntu Kylin版本。相关下载文件可以从参考资料[1]中获取。
Ubuntu的安装与MapReduce程序的编译运行
g_zihao的博客
12-19 2342
目录一、在Windows中使用VirtualBox安装Ubuntu1.安装前的准备2. 安装Ubuntu二、Hadoop安装教程_单机/伪分布式配置1.创建hadoop用户2.更新apt3.安装SSH、配置SSH无密码登陆4.安装Java环境5.安装 Hadoop 26.Hadoop单机配置(非分布式)7.Hadoop伪分布式配置8.运行Hadoop伪分布式实例三、分布式文件系统HDFS1.利用Shell命令与HDFS进行交互1.目录操作2.文件操作2.利用Java API与HDFS进行交互3.利用Java
Eclipse运行WordCount（详细版）
围炉夜敲的博客
10-17 4897
相关连接 HDFS相关知识 Hadoop集群连接 HDFS Java API WordCount程序分析 Eclipse运行WordCount 文件下载 具体步骤
eclipse运行mapreduce 提示:Caused by: java.lang.ArrayIndexOutOfBoundsException
ZeroTeam_麒麟
04-07 5525
eclipse运行mapreduce 提示:Caused by: java.lang.ArrayIndexOutOfBoundsException
使用Eclipse运行Hadoop 2.x MapReduce程序常见问题
weixin_33834137的博客
10-21 243
2019独角兽企业重金招聘Python工程师标准>>> ...
关于Eclipse编译运行MapReduce程序报错问题的解决
weixin_30883311的博客
09-08 468
根据http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/进行下载安装 问题1：安装好后，关闭welcome界面后，没有DFS Location。经查询，是Hadoop-Eclipse-Plugin插件安装失败。 解决办法：将hadoop2x-eclipse-plugin-master.zip放在我开始新建的共...
hadoop中mapreduce本地运行是权限问题
Deltao_Taic的博客
09-03 967
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Nati...
hadoop中MapReduce的job提交流程的源码分析
newhandnew413的博客
07-28 608
hadoop中MapReduce的job提交流程的源码分析： 业务代码job对象调用提交方法waitForCompletion()，此时进入源码分析流程 进入到Job类中的此方法，首先判断任务的状态，如果state == JobState.DEFINE ，就执行submit()方法 一、建立连接 ​connect(); 创建提交Job的代理 new Cluster(getConfiguration()); 判断是本地yarn还是远程 ​initialize(jobTrackAddr, conf); 二
Hadoop 运行Java时发生异常：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not
分享我的点点滴滴，在成长路上与你同行！
06-01 1544
Java远程到集群上，统计单词！
深入理解Java安全架构：从认证到授权
最新发布
weixin_35649491的博客
05-08 311
本文深入探讨了Java 2平台安全架构的关键方面，包括类加载过程中的类验证、代码签名者的重要性、以及JAAS提供的用户中心认证和授权机制。文章详细介绍了如何通过JAAS进行基于主体的访问控制，以及如何利用回调函数和安全策略来实现安全敏感操作的保护。此外，还探讨了分布式系统中终端实体认证的挑战和解决方案。
centos7搭建MapReduce开发环境Eclipse
03-26
<think>嗯，用户想在CentOS 7上配置MapReduce开发环境并集成Eclipse。首先，我需要回忆一下相关的步骤，可能需要安装Java、Hadoop，然后配置Eclipse插件。记得之前有引用提到Hadoop 2.6和Eclipse整合的步骤，可能需要用ant编译插件。用户可能已经安装了Eclipse，但需要确认版本是否兼容。另外，引用中提到了需要手动安装的Eclipse，所以可能需要下载特定版本的Eclipse IDE for Java Developers，如引用2提到的。 接下来，步骤应该包括安装JDK，因为Hadoop依赖Java。然后安装Hadoop，配置环境变量，修改Hadoop的配置文件，比如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。这部分可能需要设置正确的路径和端口，比如HDFS的地址和端口号，确保本地模式或伪分布式模式正确运行。 然后是Eclipse插件的编译，引用1提到了使用git克隆仓库，然后用ant编译，指定eclipse.home和hadoop.home的路径。用户需要注意这两个路径是否正确，否则编译可能失败。编译成功后，将生成的jar文件放到Eclipse的plugins目录下，重启Eclipse应该就能看到Hadoop的插件了。 配置Eclipse的时候，需要添加MapReduce的Perspective，并设置Hadoop的安装路径。可能还需要配置运行参数，比如输入输出路径，以及确保HDFS上有测试文件，如引用4中提到的上传test.txt的例子。用户可能需要测试一个WordCount程序，确保整个环境搭建成功。 用户可能遇到的问题包括环境变量配置错误、插件编译失败、Eclipse无法识别Hadoop插件，或者运行时出现类路径错误。需要提醒用户检查路径是否正确，尤其是JDK和Hadoop的版本是否兼容，比如Hadoop 2.6可能需要Java 7或8。另外，ant编译时需要安装ant工具，可能需要通过yum安装。 还要注意，在配置Hadoop时，伪分布式模式需要启动HDFS和YARN服务，可能需要格式化namenode，并启动相关服务。如果用户遇到连接问题，可能是防火墙设置或者端口未开放，需要检查CentOS的防火墙状态，或者关闭防火墙进行测试。 最后，用户可能需要集成到Spring Boot项目中，如引用5提到的，不过这可能属于后续的开发步骤，当前问题主要是环境搭建。所以回答应该分步骤，详细说明安装、配置、编译插件、集成到Eclipse，以及测试的流程，确保用户能够逐步操作。</think>### 在CentOS 7上搭建MapReduce开发环境及集成Eclipse教程 #### 一、环境准备 1. **安装JDK** Hadoop依赖Java环境，需安装JDK 8或更高版本： ```bash sudo yum install java-1.8.0-openjdk-devel ``` 验证安装：`java -version`。 2. **安装Hadoop** - 下载Hadoop 2.6.0二进制包（或其他兼容版本） - 解压并配置环境变量（编辑`~/.bashrc`）： ```bash export HADOOP_HOME=/usr/local/hadoop-2.6.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` - 使配置生效：`source ~/.bashrc`。 3. **配置Hadoop伪分布式模式** 修改以下配置文件（路径：`$HADOOP_HOME/etc/hadoop/`）： - **core-site.xml**： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` - **hdfs-site.xml**： ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` - **mapred-site.xml**： ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` - **yarn-site.xml**： ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` #### 二、编译Hadoop Eclipse插件 1. **安装Eclipse** 下载Eclipse IDE for Java Developers（Linux x86_64）并解压[^2]。 2. **编译插件** ```bash git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git cd hadoop2x-eclipse-plugin/src/contrib/eclipse-plugin ant jar -Dversion=2.6.0 -Declipse.home=/usr/local/eclipse -Dhadoop.home=/usr/local/hadoop-2.6.0 ``` 编译成功后，生成的插件文件为`build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar`[^1]。 3. **安装插件** 将生成的JAR文件复制到Eclipse的`plugins`目录，重启Eclipse。 #### 三、配置Eclipse集成Hadoop 1. **添加MapReduce开发视图** 打开Eclipse，选择 `Window > Perspective > Open Perspective > Other > Map/Reduce`。 2. **配置Hadoop路径** 进入 `Window > Preferences > Hadoop Map/Reduce`，设置Hadoop安装路径为`$HADOOP_HOME`。 3. **测试WordCount程序** - 创建MapReduce项目，编写WordCount代码。 - 上传测试文件到HDFS（参考命令）： ```bash hadoop dfs -put test.txt /input ``` - 运行程序并验证输出[^4]。 #### 四、验证环境 1. **启动Hadoop服务** ```bash hdfs namenode -format start-dfs.sh start-yarn.sh ``` 2. **检查Web界面** 访问`http://localhost:50070`（HDFS）和`http://localhost:8088`（YARN）确认服务状态。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值