数据预处理

Hadoop MapReduce数据处理

最新推荐文章于 2021-02-11 10:54:38 发布

原创最新推荐文章于 2021-02-11 10:54:38 发布 · 433 阅读

0 ·

CC 4.0 BY-SA版权

MapReduce 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了一种基于Hadoop MapReduce的数据处理方法，通过自定义Mapper类实现数据的清洗和转换。具体包括如何使用Java编写Mapper类，处理数据行，进行字符串操作，如替换特殊字符，分割数据，并将处理后的数据写入上下文。

public class T3Mapper extends Mapper<LongWritable, Text,Text, NullWritable> {
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
String[] datas = line.split(" : “);
if (datas.length<10){
return;
}
if (datas[3].contains(”&")){
String str1 = line.substring(0, line.indexOf(datas[3]));
String str2 = datas[3].replace("&", “,”);
String str3 = line.substring(line.indexOf(datas[4]));
line=str1+str2+str3;
datas=line.split(" : “); }
int index=0;
try {
index=line.indexOf(datas[9]);
} catch (Exception e) {
return;
}
String str1 = line.substring(0, index).replace(” “,”").replace(":", “\t”);
String str2 = line.substring(index).replace(" “, “”).replace(”:", “,”);
context.write(new Text(str1+str2),NullWritable.get());
}
}