文章目录 一、提出任务 二、准备工作 1、启动hadoop服务 2、上传数据文件到HDFS 3、创建Maven项目PartitionSort 4、修改pom.xml文件，添加依赖 5、创建log4j.properties文件 三、完成任务 1、创建SortPartitioner （1）分区思路：通过数字范围来判断 （2）分区思路：判断对应字符串长度 （3）分区思路：利用正则表达式 2、创建SortMapper 3、创建SortReducer 4、创建SortDriver 5、运行SortDriver，查看结果 四、项目下载 一、提出任务 原始数据： 82 239 231 23 22 213 123 232 124 213 3434 232 4546 565 123 231 231 2334
超级会员免费看
本文介绍了一种大数据处理任务，通过MapReduce实现数据分区全排序。任务要求将数据分为三个分区，根据数字位数进行划分。详细步骤包括启动Hadoop服务、上传数据、创建Maven项目、编写SortPartitioner、SortMapper、SortReducer和SortDriver，并最终运行验证排序结果。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
