记一次mapreduce排错经历

最新推荐文章于 2021-02-27 02:31:43 发布
原创 最新推荐文章于 2021-02-27 02:31:43 发布 · 256 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在进行HDP性能测试时遇到任务挂掉问题，错误信息显示为'NumberFormatException'。通过排查发现失败任务集中于特定节点，疑似环境变量或二进制文件损坏导致。采取了从功能相似节点复制文件修复问题。

背景

最近要基于hdp做一次性能测试，早上提交任务时，发下，一直挂掉

具体报错如下：

java.lang.NumberFormatException: For input string: "32M"

# 查看所有的任务
yarn application -list -appStates ALL
# 找到最近失败的url，后台查看，发现失败的job全部集中在node8上，怀疑是2进制或者环境变量的问题
  1. 命令行调用接口上传测试
hadoop fs -put testfile s3a://hdp26/
报错
-put For input string: "32M"

  1. 怀疑2进制被破坏

  2. 修复

# 从功能相似的节点copy 全部文件
cd /usr/hdp/2.6.4.0-91/
scp -r * node8:/usr/hdp/2.6.4.0-91/
  1. 恢复
2023年大数据面试通关文牒系列篇
AuZn的博客
06-20 731
区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这个表的数据存放在这里）；删除内部表会直接删除元数据（metadata）及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除。
大数据大厂面试100题及详细答案解答，爆肝八小时近四万长文
weixin_56957149的博客
04-16 7473
前言：感觉大家对面试题比较感兴趣，之前发布的Python基础面试题阅读量都很高，后期会持续更新面试系列，以及收集一些大厂的面试题，希望能帮助到大家，同时本文比较长，可以关注之后收藏慢慢看，如果大家比较喜欢，大数据面试后续会持续更新，如果需要其他方向的面试题也可以评论或私信告诉我，记得三连呦。 大数据面试100题数据采集面试题FlumeFlume 使用场景Flume 丢包问题Flume 与 Kafka 的选取数据怎么采集到 Kafka，实现方式flume 管道内存，flume 宕机了数据丢失怎么解决flume
MapReduce程序错误如何排错
xxydzyr的博客
09-16 240
MapReduce程序错误如何排错 在MapReduce程序运行的时候，我们可以在yarn的web界面上查看到相关的进程。 一旦出现问题，我们可以先进入yarn的web界面，找到相关进程，然后点击进去。 进入后我们找到日志文件入口。 ...
java.lang.NumberFormatException: For input string: “undefined“
monica1_1的博客
05-24 1万+
java.lang.NumberFormatException: For input string: "undefined" 找了好久，从一个页面跳转到另一个页面的时候报错，但是并没有影响到内容展示，但是报错太难看了，所以就找办法解决喽！ 问题：点击跳转链接，出现以上报错信息 思路：先在controller层打断点，发现都能跑完到最后，跳转到页面的时候（.html）报错。所以，排除...
Maven工程的MapReduce程序2---实现统计各部门员工薪水总和功能：java.lang.NumberFormatException: For input string异常解决
monkey__yang的博客
10-26 743
标题:Maven工程的MapReduce程序2—实现统计各部门员工薪水总和功能：java.lang.NumberFormatException: For input string异常解决 报错详情： 当你的控制台或者日志出现java.lang.NumberFormatException时，很可能就是字符串转换成数字类型出现的问题。 错误出现具体原因： 我这里出现错误一直都再给我报数组越界，网上有繁多解决方法，五花八门。最后发现原因非常简单： 复制下来的代码如上，保存为CSV文件之后，如下图：可以发现每行数
Error: java.lang.NumberFormatException: For input string: ""
热门推荐
似水流年
05-18 1万+
Error: java.lang.NumberFormatException: For input string: "" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Integer.parseInt(Integer.java:504) at java.lang.Integer.parseInt(Integer.java:527) at
一节课轻松通关 Spark
个人总结
02-27 3410
大数据跟我学系列文章007-三节课轻松通关 Spark （一） 文章目录大数据跟我学系列文章007-三节课轻松通关 Spark （一）前言第01讲： MapReduce：计算框架和编程模型第02讲：Hadoop：集群的操作系统第03讲：如何设计与实现统一资源管理与调度系统第04讲：解析 Spark 数据处理与分析场景第05讲：如何选择 Spark 编程语言以及部署 Spark0 + 1 + 2 + 3 + 4关闭第06讲：Spark 抽象、架构与运行环境第07讲：Spark 核心数据结构：弹性分布式数据集
Kettle 构建 Hadoop ETL 实践（七）：定期自动执行 ETL 作业
wzy0623的专栏
10-16 4058
使用 crontab、使用 Oozie、使用 start 作业项
【SSDD的日志管理】：记录系统活动的最佳实践与技巧
!... # 摘要 SSDD日志管理作为系统监控和故障排查的关键组成部分，对于维护系统安全和性能至关重要。本文概述了日志管理的基础知识，探讨了日志的作用、分类、结构、格式及记录要素。在实践部分，详细介绍了系统日志...
计算机专业学生社会实践与技术应用报告
综上所述，《计算机专业社会实践报告.doc》不仅仅是一份简单的实习总结，更是连接学术教育与产业需求的桥梁，是对学生综合素质的一次全面检验，也是其迈向职业生涯的重要里程碑。它承载着理论与实践融合的价值，体现...
云计算概述
m0_52650404的博客
12-13 6741
云计算概述目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 目录 什么是云计算 云计算技术发展 云计算的主要服务模式 典型的云计算服务产品 云计算的技术与
关于MapReduce,Map能完全执行，Reduce执行到一半卡住不执行
qiaotongzxcv的专栏
10-10 3931
卡住了几个小时，死活停滞不前，发现后根据提示开始排错，进入50030，进入作业发现 这说明作业在map之完后的shuffle阶段中，reduce无法从map处拷贝数据，是因为客户端与数据节点通讯失败造成的。客户端程序应该能够和所有的节点通讯才能保证数据的传输正常，然后开始各种检查：所有节点hosts中写的完全相通，不是节点名称不同或者节点没有完全加上造成的，排除；找到slaves发现写的也完
大数据技术之Hadoop（MapReduce） 第8章 常见错误及解决方案
尚硅谷铁杆粉丝的博客
08-23 1170
1）导包容易出错。尤其Text和CombineTextInputFormat。 2）Mapper中第一个输入的参数必须是LongWritable或者NullWritable，不可以是IntWritable.  报的错误是类型转换异常。 3）java.lang.Exception: java.io.IOException: Illegal partition for 13926435656 (4...
MapReduce运行中遇到的问题
Make progress step by step everyday.....
05-17 2550
1：运行mapreduce任务任务过程中，出现下面现象,为啥？  TaskAttempt killed because it ran on unusable nodehadoopserver13:8041 Container released on a *lost* node    YARN error: TaskAttempt killed because it ran on unusab
【数据库管理】基于Navicat的毕业设计实战应用：图书管理系统数据建模与SQL优化方案
12-08
内容概要：本文围绕Navicat数据库管理工具在毕业设计中的实际应用展开，系统介绍了其在数据库设计、开发、优化与维护中的核心作用。文章结合“图书管理系统”实例，详细展示了数据库创建、表结构设计、存储过程与触发器的编写，并通过SQL代码示例说明关键功能的实现方式。同时，归纳了Navicat在数据建模、查询优化、团队协作、版本控制集成等方面的最佳实践，并展望了其在云数据库、DevOps集成和AI辅助开发等方向的发展趋势。; 适合人群：计算机及相关专业本科毕业生，具备一定数据库基础知识和SQL操作能力的学生及初阶开发者；; 使用场景及目标：①用于毕业设计中数据库部分的设计与实现，提升项目规范性与完整性；②掌握Navicat在真实项目中的高级功能应用，如存储过程、触发器、数据同步与性能调优；③学习如何将数据库开发融入团队协作与版本管理体系，对接企业级开发流程； 阅读建议：建议结合Navicat软件实操文中提供的代码案例，逐步构建完整的数据库系统，并尝试扩展功能（如添加用户权限管理、报表统计等），以深化对数据库应用的理解。
基于Verilog HDL的RISC-V五级流水线CPU实现与完整项目文档
最新发布
12-08
本设计项目实现了一个采用五级流水线架构的RISC-V处理器，其核心代码使用Verilog硬件描述语言编写。该项目已通过教学指导与评审，获得了优异的考核成绩，可直接应用于计算机体系结构等相关课程的设计实践与综合考核。项目压缩包内包含完整的处理器硬件实现代码、详细的设计报告文档以及明确的操作指南。所有内容均已完备，确保使用者能够直接部署并成功运行整个系统。 资源来源于网络分享，仅用于学习交流使用，请勿用于商业，如有侵权请联系我删除！
ACM算法竞赛题解与优化技巧 练习题
12-08
ACM算法竞赛题解与优化技巧
基于Benders、TSO-DSO协调的不确定性的输配电网双层优化模型研究（Matlab代码实现）
12-08
基于Benders、TSO-DSO协调的不确定性的输配电网双层优化模型研究（Matlab代码实现）
整个mapreduce阶段经历几次排序
05-13
### MapReduce 过程中排序次数详解 MapReduce 是一种用于大规模数据集并行处理的编程模型，其中排序是一个核心环节。以下是关于 MapReduce 阶段中排序次数的具体分析。 #### 1. **Map 端的排序** 在 MapTask 阶段，当 Mapper 输出键值对后，这些数据会被缓存到内存缓冲区中。一旦缓冲区达到一定阈值（默认为 `io.sort.mb` 参数设置的比例），后台线程会将这部分数据写入磁盘前先对其进行分区和排序[^3]。因此，在 Map 端会发生一次按键值的排序操作。 此阶段的主要目的是： - 将属于同一 Reduce 的数据划分为相同的分区。 - 对每个分区内的数据按键值进行初步排序，便于后续 Shuffle 和 Combine 操作。 ```java // 设置 Map 端排序内存大小 Configuration conf = new Configuration(); conf.setInt("mapreduce.task.io.sort.mb", 200); ``` #### 2. **Shuffle 阶段的排序** 进入 Shuffle 阶段后，Reducer 从多个 MapTask 获取对应的分区数据。在获取过程中，Reducer 并不会简单地拼接这些数据流，而是会对所有来自不同 MapTask 的数据再次按键值进行全局排序[^5]。这是因为在 Map 端完成的排序仅限于单个分区内部，而 Reducer 收到的是跨多个 MapTask 的分区数据，需要统一整理顺序。 此阶段的特点是： - 数据来源于不同的 MapTask，可能存在交错无序的情况。 - 排序完成后，数据才能按 Key 分组传递给 Reducer 处理。 #### 3. **总结：总排序次数** 综上所述，MapReduce 流程中共发生两次主要的排序操作： - **第一次排序**发生在 Map 端，针对每个分区的数据按键值进行局部排序[^3]。 - **第二次排序**发生在 Shuffle 阶段，由 Reducer 统一对来自多个 MapTask 的数据进行全局排序[^5]。 尽管 Combiner 可能会在 Map 端进一步优化中间结果，但它并不影响排序本身的逻辑或次数[^4]。 --- ### 示例代码片段 以下是一段简单的配置代码示例，展示了如何通过调整参数优化 Map 端的排序性能： ```java // 增加 Map 端排序使用的内存比例 conf.setInt("mapreduce.task.io.sort.mb", 256); // 开启中间数据压缩以减少 I/O 开销 conf.setBoolean("mapreduce.map.output.compress", true); conf.setClass("mapreduce.map.output.compress.codec", org.apache.hadoop.io.compress.GzipCodec.class, org.apache.hadoop.io.compress.CompressionCodec.class); ``` --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值