第51课：HadoopMapReduce多维排序解析与实战

最新推荐文章于 2021-04-12 17:54:23 发布

大模型与Agent智能体

最新推荐文章于 2021-04-12 17:54:23 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据IMF传奇行动－Spark Hadoop

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.youkuaiyun.com/duan_zhihua/article/details/50752866

大数据IMF传奇行动－Spark Hadoop 专栏收录该内容

109 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细记录了使用Hadoop MapReduce进行多维排序时遇到的问题及解决过程，包括数据文件格式错误导致的ArrayIndexOutOfBoundsException，以及如何通过随机数测试定位问题。经过修改，数据文件由tab分隔改为逗号分隔，程序成功运行并输出了预期的排序结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基于以下的失败过程，我们修改了数据文件再测试了一次，将tab分割改成了逗号“，”，相应的程序里面也进行了修改String[] splited = data.split(",");，再次运行，测试ok

数据文件

[root@master IMFdatatest]#hadoop dfs -cat /library/dataForMutipleSorting.txt
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

16/02/27 04:01:55 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Spark,100
Hadoop,60
Kafka,95
Spark,99
Hadoop,65
Kafka,98
Spark,99
Hadoop,63
Kafka,97

[root@master IMFdatatest]#hadoop dfs -cat /library/outputdataForMutipleSorting8/part-r-00000
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command

了解本专栏