Mapper,Reducer,Wrapper的Java模板

最新推荐文章于 2024-08-07 11:09:24 发布
原创 最新推荐文章于 2024-08-07 11:09:24 发布 · 159 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #大数据

本文提供了一个快速创建和运行Hadoop任务的模板代码，包括Mapper类、Reducer类和Wrapper类的实现。代码中包含了空模板，允许用户替换为自己的类名，并详细解释了每个组件的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

http://www.easyigloo.org/?p=1145


很多时候想要测试hadoop上的一个想法，要求快速创建并运行任务。每个任务包含了至少3个组件。

Mapper类
Reducer类
Wrapper类

下面的代码用以产生空模板，只是将变量替换成自己的类名

MAPPER
-----------------------------------------------------------------------------------------------------------------------------------
MAPPER
-----------------------------------------------------------------------------------------------------------------------------------
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import java.io.IOException;

/* In case you are using Multiple outputs */
//import org.apache.hadoop.io.NullWritable;
//import org.apache.hadoop.mapreduce.lib.output.MultipleOutputs;

public class Mapper extends Mapper {
private Configuration conf;
private Text outputKey = new Text();
private Text outputValue = new Text();
private String line = null;

/* In case you are using Multiple outputs */
//private NullWritable outputValue = NullWritable.get();
//private MultipleOutputs contextMulti = null;

@Override
public void setup(Mapper.Context context) {
this.conf = context.getConfiguration();

/* In case you are using Multiple outputs */
//contextMulti = new MultipleOutputs(context);
}

@Override
public void map(LongWritable key, Text values, Context context)
throws IOException, InterruptedException {
}

@Override
public void cleanup (Mapper.Context context)throws IOException, InterruptedException {

/* In case you are using Multiple outputs */
//contextMulti.close();
}
}

-----------------------------------------------------------------------------------------------------------------------------------
REDUCER
-----------------------------------------------------------------------------------------------------------------------------------
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/* In case you are using Multiple outputs */
//import org.apache.hadoop.io.NullWritable;
//import org.apache.hadoop.mapreduce.lib.output.MultipleOutputs;

public class Reducer extends Reducer {
private Configuration conf;
private Text outputKey = new Text();
private Text outputValue = new Text();
private String line = null;

/* In case you are using Multiple outputs */
//private NullWritable outputValue = NullWritable.get();
//private MultipleOutputs contextMulti = null;

@Override
public void setup(Reducer.Context context) {
this.conf = context.getConfiguration();

/* In case you are using Multiple outputs */
//contextMulti = new MultipleOutputs(context);
}

@Override
public void reduce(Text key, Iterable values, Context context)
throws IOException, InterruptedException {
}

@Override
public void cleanup(Reducer.Context context) {
/* In case you are using Multiple outputs */
//contextMulti.close();
}
}
-----------------------------------------------------------------------------------------------------------------------------------
WRAPPER
这个类用到下面两个类

https://sites.google.com/site/hadoopandhive/home/ExtendedFileUtil.java?attredirects=0&d=1

https://sites.google.com/site/hadoopandhive/home/StringUtil.java?attredirects=0&d=1

-----------------------------------------------------------------------------------------------------------------------------------

import StringUtil;

import ExtendedFileUtil;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.io.IOException;
import java.text.ParseException;

public class extends Configured implements Tool, Constants {
private Configuration conf = null;
private Job job = null;
private String inputDirList = null;
private String outputDir = null;
private String[] filesToProcess = null;
private int totalReducers = 0;
private int jobRes = 0;
private ExtendedFileUtil fileUtil = new ExtendedFileUtil();

public static void main(String[] args) throws Exception {
ob = new ();
int jobRes = ToolRunner.run(ob, args);
}

public int run(String[] args)
throws ClassNotFoundException, IOException, InterruptedException, ParseException {
jobRes = readCmdArgs(args);
if (jobRes == 0) {
jobRes = readConfig();
}
if (jobRes == 0) {
jobRes = runMrJob();
}
return jobRes;
}

private int readCmdArgs(String[] args) {
if (args.length == 2) {
inputDirList = args[0];
outputDir = args[1];
} else {
printUsage();
System.exit(1);
}
return 0;
}

private int readConfig() throws IOException, InterruptedException, ClassNotFoundException {
conf = new Configuration();
//conf.set("SET_NEW_CONFIG_NAME", SET_NEW_CONFIG_VALUE);
job = new Job(conf);
if ((job.getJar() == null) || (job.getJar() == "")) {
job.setJarByClass(.class);
}
return 0;
}

private int runMrJob()
throws IOException, InterruptedException, ClassNotFoundException {
filesToProcess = fileUtil.getFilesOnly(inputDirList, true);
job.setJobName("");
TextInputFormat.addInputPaths(job, StringUtil.arrayToString(filesToProcess, ","));
TextOutputFormat.setOutputPath(job, new Path(outputDir));
System.out.println("Input Dir: " + inputDirList);
System.out.println("Output Dir: " + outputDir);

job.setMapperClass(Mapper.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);

job.setReducerClass(Reducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
totalReducers = Math.round((fileUtil.size(inputDirList) / 134217728) * 0.1F);
totalReducers = Math.max(totalReducers, 1);
job.setNumReduceTasks(totalReducers );
deleteOutputDirectory(outputDir);
jobRes = job.waitForCompletion(true) ? 0 : 1;
deleteLogsDirectory();
fileUtil.removeAllZeroByteFiles(outputDir);
return 0;
}

private int deleteOutputDirectory(String outputDir) throws IOException {
fileUtil.removeHdfsPath(new Path(outputDir).toString());
return 0;
}

private int printUsage() {
System.out.println("USAGE:
");
return 0;
}

private int deleteLogsDirectory()
throws IOException {
Path outputLogPath = new Path(new Path(outputDir).toString() + "/" + "_logs");
fileUtil.removeHdfsPath(outputLogPath.toString());
return 0;
}
}
Java的包装类（Wrapper）
weixin_69053029的博客
04-15 458
在JDK1.5以后，就有自动装箱和自动拆箱。二.将包装类转为基本数据类型（手动拆箱）自动装箱：将int转为Integer。自动拆箱：将Integer转为int。包装类.toString()方法。四.将字符串类型转为基本数据类型。包装类.parse***（）方法。三.将基本数据类型转为字符串。***Value（）方法。
计算广告小窥[下]要啥自行车！
龙心尘
08-26 6075
一是总结自己已掌握的知识，二是降低同学们的学习成本。本人能力有限，更缺乏实践经验，文章内容多为书籍和论文的读后感，若有不当或者错误之处，还望各位同学指出，我定悉心求教。在此，向编写《计算广告》的刘鹏和王超两位老师致谢，向各位paper作者致谢。
Java Service Wrapper工具把Java程序转换为Windows服务
sun_boyhappy的专栏
09-14 1573
之前曾使用Wrapper 将java的serve人转换为windows服务，后来在自己的win7上配置，出现了些问题，记录下。 大部分的操作网上都有，我这里做个摘录。 下载Wrapper http://sourceforge.net/project/showfiles.ph
Java Wrapper
qingsongxyz的博客
05-23 338
Java Wrapper 一、包装类 基本数据类型 包装类 byte Byte short Short int Integer long Long float Float double Double char Character boolean Boolean 二、自动装箱与拆箱 以int和Integer为例： //自动装箱,将int转换为Interger Integer integer = 1; //自动拆箱,将Integer转换为int int n
java中wrapper_Java 包装类(Wrapper)
weixin_31297157的博客
02-13 472
Java 包装类(Wrapper)在本教程中，我们将借助示例学习Java 包装类(Wrapper)。Java中的包装类用于将原始类型(int，char，float等)转换为相应的对象。8个基本类型中的每一个都有对应的包装器类。原始类型包装类byteBytebooleanBooleancharCharacterdoubleDoublefloatFloatintIntegerlongLongshort...
Java包装类（wrapper）
WQY992的博客
12-01 2113
定义： Java语言是面向对象的语言，而基本数据类型的值不是对象。有时候将简单数据类型的数据进行封装，从而得到的类，就是包装类。 以上就是基本数据类型与之对应的包装类。 包装类的作用： 1、包装类是final的，不能被继承。 2、包装类是不可变类，在构造包装类对象后，不允许更改包装在其中的值。 3、方便在基本数据类型与字符串之间进行转换。 4、可以更加便捷的对基本数据类型进行操作。 5、方便在集...
ML学习分享系列3_计算广告小窥[下]要啥自行车！
寒小阳
08-22 2万+
提笔写这篇博客，我的内心是惶恐的。原因很简单，作为一个资历尚浅的研究生，是没有资格对计算广告这样一个伟大的行业、领域和学科来评头论足的。之所以这么做，一是总结自己已掌握的知识，二是降低同学们的学习成本。本人能力有限，更缺乏实践经验，文章内容多为书籍和论文的读后感，若有不当或者错误之处，还望各位同学指出，我定悉心求教。在此，向编写《计算广告》的刘鹏和王超两位老师致谢，向各位paper作者致谢。
Python+HadoopStreaming：实战分布式编程与原理详解
Mapper和reducer程序只需通过标准输入(stdin)接收数据，处理后输出到标准输出(stdout)，Hadoop Streaming的Java wrapper会负责调度这些任务的执行，包括数据的分发、排序以及reduce阶段的操作。这就极大地扩展了...
记一次MRJob在centos中hadoop运行512和256错误解决方案
qq_40502034的博客
04-24 883
512错误解决（好像是512，反正是5开头） 将基于mrjob写的mapreduce python程序在hadoop上运行时会出现512错误，其原因很简单，是因为没有运行yarn（hadoop的任务调度程序），请参考网络上的相关配置教程对相应xml进行配置后启动yarn，512错误便能得到解决。个人配置及启动流程如下，供参考： 1.mapred-site.xml文件 位于/usr/local/hadoop/etc/hadoop目录下，配置如下： <configuration> &
# ==================== 5. 函数的高级特性 ==================== """ 📚 高级特性： 1. 闭包：函数记住并访问创建环境的能力 2. 递归：函数调用自身 3. 装饰器：增强函数功能而不修改原代码 4. 高阶函数：接收函数作为参数或返回函数 """ # 示例1：递归函数 def factorial(n): """计算阶乘（递归实现） 参数: n (int) - 非负整数 返回: int - n的阶乘 """ if n < 0: # 处理负数输入 raise ValueError("阶乘只定义在非负整数") if n == 0: # 基本情况 return 1 return n * factorial(n - 1) # 递归调用 # 测试示例1 print("\n=== 示例1: 递归函数 ===") print("5! =", factorial(5)) # 120 # 示例2：装饰器 def log_execution_time(func): """记录函数执行时间的装饰器""" def wrapper(*args, **kwargs): import time start_time = time.time() # 记录开始时间 result = func(*args, **kwargs) # 调用原始函数 end_time = time.time() # 记录结束时间 elapsed = end_time - start_time # 计算耗时 print(f"{func.__name__} 执行时间: {elapsed:.6f}秒") return result return wrapper @log_execution_time # 应用装饰器 def process_large_data(size): """处理大量数据（模拟耗时操作）""" return sum(range(size)) # 计算累加和 # 测试示例2 print("\n=== 示例2: 装饰器 ===") process_large_data(1000000) # 调用被装饰的函数 # 示例3：高阶函数 def apply_operation(data, operation): """应用操作到数据集的每个元素 参数: data (list) - 数据列表 operation (function) - 要应用的函数 返回: list - 应用操作后的结果列表 """ return [operation(item) for item in data] # 列表推导式应用函数 # 测试示例3 print("\n=== 示例3: 高阶函数 ===") numbers = [1, 2, 3, 4, 5] squared = apply_operation(numbers, lambda x: x ** 2) # 应用平方函数 cubed = apply_operation(numbers, lambda x: x ** 3) # 应用立方函数 print("原始数据:", numbers) print("平方结果:", squared) print("立方结果:", cubed) 这里有个问题，第一个问题，没有把每个特性都讲清楚，第二问题，示例缺少，每一个特性至少两个代码示例，第三个问题，每一行都要有注释，按照我的要求，重新返回一个py文件
最新发布
08-10
def data_pipeline(data, mapper, filter_cond, reducer): """数据处理管道 参数: data (iterable): 输入数据 mapper (function): 映射函数 filter_cond (function): 过滤函数 reducer (function): 归约函数...
java service wrapper
03-19
Java Service Wrapper 可以将Java程序包装成系统服务，这样就可以随着系统的运行而自动运行。Java Service Wrapper分为Professional、Standard、Community三个版本，并支持32位和64位的系统，其中Community版本为免费的社区版本。
SpringBoot 使用Java Service Wrapper 部署Windows服务
02-01
SpringBoot 使用Java Service Wrapper 部署Windows服务
Java 包装类(Wrapper)
weixin_62458944的博客
08-11 553
Java是一个面向对象的编程语言，但是Java中的八种基本数据类型却是不面向对象的，为了使用方便和解决这个不足，在设计类时为每个基本数据类型设计了一个对应的类进行代表，这样八种基本数据类型对应的类统称为包装类(Wrapper Class)，包装类均位于java.lang包。各数据类型对应的包装类这里除了int (包装类为Integer）和char(包装类为Character）外，其他数据类型的包装类型都是自己的首字母大写，所有记忆起来会比较容易。
Mapper和Reducer的java抽象类
大数据流浪法师的学习笔记与分享
11-15 623
下面这幅图是mapReduce大体的运行过程。 开发MapReduce程序，一共可以分为以上八个步骤。 其中每个步骤都是一个class类，通过job对象将程序组装成一个任务提交即可。 为了简化MapReduce程序的开发，每一个步骤的class类，都有一个既定的父类，直接继承即可。 因此可以大大简化MapReduce程序的开发难度，也可以快速的实现功能开发。 MapReduce编程当中，其中最重...
包装类 Wrapper - Java
yavlgloss的博客
12-01 1044
包装类 Wrapper - Java
java 包装类(Wrapper)
weixin_42379665的博客
05-12 1211
包装类（Wrapper）
JAVA中的Wrapper类
qa3629723的博客
08-07 1844
ava中的Wrapper类，也称为包装类，是Java提供的一组特殊类，它们将基本数据类型（如int、char、double等）封装为对象。Java的Wrapper类遵循了Java的自动装箱（Autoboxing）和拆箱（Unboxing）机制，使得基本数据类型与对应的包装类型之间的转换变得简单且高效。但需要注意的是，这种便利背后可能会隐藏性能问题，因为每次装箱和拆箱操作都会创建新的对象（对于`Integer`在[-128, 127]范围内的整数，Java会缓存这些对象的实例）。
java封装类（wrapper类）
热门推荐
老痒的农舍
03-15 5万+
一.封装类的构造器：1.对基本数据类型：Integer i=new Integer(10);2.对字符型：Integer i=new Integer("10");二.封装类的3种方法:1.valueOf();//静态方法，返回的是一个指定类型的封装类实例（目前jdk支持自动装箱与拆箱）2.***Value();//把封装类对象转化成基本数据类型的值3.parse***();//把String的对象...
Java中的八大包装类(Wrapper)
SakuraMG的博客
12-16 2159
包装类是指八种基本数据类型相对应的引用类型。这样做让基本数据类型有了类的特点，就可以调用类中的方法。
写一个mapperReducer代码
06-06
以下是一个简单的 Mapper 和 Reducer 代码示例： Mapper： ```java public class WordCountMapper extends Mapper, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值