Hadoop实战任务-----编写MapReduce进行数据清洗

本文介绍了如何利用Hadoop的MapReduce模型,针对大量英文单词数据,找出由相同字母组成的单词。在Map阶段,对单词进行字母排序;在Reduce阶段,统计并聚合相同字母顺序的单词。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

标题项目需求:

一个英文书籍包含成千上万个单词或者短语,在大量的单词中,找出相同字母组成的所有单词.

策略:

为加快数据处理的速度,借助Hadoop中的MapReduce编程模型的特点,编写出并行计算程序.

解决方案:

   

1、在 Map
阶段,对每个word(单词)按字母进行排序生成sortedWord,然后输出key/value键值对(sortedWord,word)。
2、在 Reduce 阶段,统计出每组相同字母组成的所有文本

代码如下:

Map代码

package com.itstar.partitiontest;


import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
import java.util.Arrays;

/*
* 项目需求:
*       一个英文书籍包含成千上万个单词或者短语,在大量的单词中,找出相同字母组成的所有单词.
* 策略:
*       为加快数据处理的速度,借助Hadoop中的MapReduce编程模型的特点,编写出并行计算程序.
*
*解决方案:
*        1、在 Map 阶段,对每个word(单词)按字母进行排序生成sortedWord,然后输出key/value键值对(sortedWord,word)。
*        2、在 Reduce 阶段,统计出每组相同字母组成的所有文本。
*
*
*
* */
public class wordMap extends Mapper<Object, Text,Text,Text> {
   
     Text sortedText =new Text();
     Text orginalText =new Text();

    @Override
    protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
   
        String line = value.toString();<
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值