MapReduce案例之排序

最新推荐文章于 2022-06-26 12:15:07 发布

QYHuiiQ

最新推荐文章于 2022-06-26 12:15:07 发布

阅读量561

点赞数

分类专栏：大数据之Hadoop 文章标签： mapreduce hadoop big data

本文链接：https://blog.youkuaiyun.com/QYHuiiQ/article/details/125124927

版权

大数据之Hadoop 专栏收录该内容

58 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文通过一个MapReduce案例详细介绍了如何对数码、出行、餐饮支出中的出行支出进行降序排序。首先，数据被上传到HDFS，然后创建项目并引入必要的pom依赖。接着，创建了一个自定义Bean来封装支出信息并实现序列化和排序功能。接下来，自定义了Mapper和Reducer类，Mapper用于切分数据，Reducer进行聚合排序。最后，打包成jar文件上传到服务器运行，并查看排序后的输出结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这次要实现的是对数码、出行、餐饮三项支出中的出行支出（第4列）进行排序（降序）。

数据准备

将数据上传至HDFS:

[root@hadoop01 test_data]# hdfs dfs -mkdir /test_shopping_sort_input
[root@hadoop01 test_data]# hdfs dfs -put test_shopping.txt /test_shopping_sort_input

新建project：

引入pom依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.ap

了解本专栏