Hadoop应用——sort

最新推荐文章于 2024-01-04 22:51:46 发布

lfdanding

最新推荐文章于 2024-01-04 22:51:46 发布

阅读量1.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据 hadoop 文章标签： hadoop sort

本文链接：https://blog.youkuaiyun.com/lfdanding/article/details/51438923

hadoop排序可以分为以下四种排序：
1、普通排序
1）MapReduce本身自带排序功能
2）IntWritable，LongWritable，Text等实现了WritableComparable类型的对象，都是可以排序的。
2、部分排序
map和reduce处理过程中包含了默认对key的排序，那么如果不要求全排序，可以直接把结果输出，每个输出文件中包含的就是按照key进行排序的结果
3、全局排序
1）Hadoop平台没有提供全局数据排序，而在大规模数据处理中进行数据的全局排序是非常普遍的需求。
2）使用hadoop进行大量的数据排序最直观的方法是把文件所有内容给map之后，map不做任何处理，直接输出给一个reduce，利用hadoop的自己的shuffle机制，对所有数据进行排序，而后由reduce直接输出。
3）主要思路就是将数据按照区间进行分割，比如对整数排序，[0,3300)的在partition 0中，(3300,6600]在partition 1中，剩下的在partition 2中
举例如下：
MyMapper.java

package com.sort;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class MyMapper extends Mapper<LongWritable, Text, LongWritable, NullWritable> {

    @Override
    protected void map(LongWritable key, Text value,Context context)
            throws IOException, InterruptedException {
        String[] values = value.toString().split("\\s+") ;
        conte