文章目录 一、提出任务 二、完成任务 （一）准备数据 1、在虚拟机上创建文本文件 2、上传文件到HDFS指定目录 （二）实现步骤 1、创建Maven项目 2、添加相关依赖 3、创建日志属性文件 4、创建学生实体类 5、创建学生映射器类 5、创建学生归并器类 6、创建学生驱动器类 7、启动学生驱动器类，查看结果 三、拓展练习 任务：学生信息排序，先按性别升序，再按年龄降序 一、提出任务 学生表，包含五个字段（姓名、性别、年龄、手机、专业），有8条记录 使用MR，学生信息按年龄降序排列结果 二、完成任务 （一）准备数据 启动hadoop服务 1、在虚拟机上创建文本文件 创建sortstudent目录，在里面创建student.txt文件
超级会员免费看
该博客介绍了一个使用MapReduce（MR）对学生信息进行排序的任务。首先，任务是按年龄降序排列学生的记录。内容包括在虚拟机上创建和上传数据文件，创建Maven项目，添加依赖，构建学生实体类、映射器类、归并器类和驱动器类。在初始实现中，由于去重问题导致记录丢失，通过调整归并器解决了此问题。最后，作为拓展练习，提出了按性别升序、年龄降序的排序任务，并展示了运行结果。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
