mapreduce中的context类

最新推荐文章于 2022-06-10 19:27:27 发布
转载 最新推荐文章于 2022-06-10 19:27:27 发布 · 1.8k 阅读 · 5
文章标签：

#大数据 #Hadoop #MapReduce

博客围绕Hadoop展开，介绍了Mapper中map和Reducer中reduce里Context的作用，它用于传递数据和运行状态信息，map将数据写入context传给Reducer，Reducer处理后再写入context交给Hadoop写入hdfs系统，还提及了MapContext与ReduceContext的继承结构。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在Mapper中的map、以及Reducer中的reduce都有一个Context的类型
1 public void map(Object key, Textvalue, Context context)
2 throwsOException,InterruptedException{
3 StringTokenizer itr = new StringTokenizer(value.toString());
4 while (itr.hasMoreTokens()) {
5 word.set(itr.nextToken());
6 context.write(word, one);
7 }
8 }
9
10 public void reduce(Text key, Iterable values,Contextcontext)
11 throws IOException,InterruptedException {
12 int sum = 0;
13 for (IntWritable val : values){
14 sum += val.get();
15 }
16 result.set(sum);
17 context.write(key, result);
18 }
可以了解到，context应该是用来传递数据以及其他运行状态信息，map中的key、value写入context，让它传递给Reducer进行reduce，而reduce进行处理之后数据继续写入context，继续交给Hadoop写入hdfs系统。
从继承结构可以看出MapContext与ReduceContext均继承TaskInputOutputContext，没有重写继承而来的方法，所以它们继承的都是一致的）
java.lang.object
org.apache.hadoop.mapreduce.JobContext
org.apache.hadoop.mapreduce.TaskAttemptContext
org.apache.hadoop.mapreduce.TaskInputOutputContext<KEYIN,VALUEIN,KEYOUT,VALUEOUT> org.apache.hadoop.mapreduce.MapContext<KEYIN,VALUEIN,KEYOUT,VALUEOUT> org.apache.hadoop.mapreduce.ReduceContext<KEYIN,VALUEIN,KEYOUT,VALUEOUT>

MapReduce出参要一致，context.write
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
03-07 1963
1 2 end
Hadoop中MapReduce过程中Shuffle过程实现自定义排序
ning的博客
12-24 1653
MapReduce框架中的Shuffle过程是连接Map阶段和Reduce阶段的桥梁，负责将Map任务的输出结果按照key进行分组和排序，并将相同key的数据传递给对应的Reduce任务进行处理。Shuffle过程的性能直接影响到整个MapReduce作业的执行效率。在默认情况下，Hadoop使用进行排序，但有时我们需要根据特定的业务逻辑进行自定义排序。本文将介绍两种方法来实现自定义排序：实现接口和使用方法。下面是详细的步骤和代码示例。首先，我们需要定义一个类并实现接口，该接口要求实现compareTo。
Mapreduce中context的作用
热门推荐
Xlucas的博客
08-14 1万+
在我们写mapreduce的程序时候总会有这么一段代码，这个代码就是map方法的实现，里面有一个参数 context对象，但是这个context对象究竟是干什么的呢？ public void map(Object key, Text value, Context context ) throws IOException, InterruptedExceptio
MapReduce解析之Map，Context，Reduce
weixin_30951389的博客
06-03 291
要理解MapReduce，就必须理解其框架结构，把这三者放在一起讲是为了便于大家理解。 也就是两大组件Map与Reduce 首先看看Map （声明：这里感谢Pig2的文章，对我启发很大，也顺便引用一下她的一些东西） 首先看看Map类中包含哪些方法： 首先看看run方法，它就像是一个控制器 很明显，Map中的run方法遵循setup--->map----->clean...
MapReduce中context的作用
w
07-29 3682
首先Context是Mapper的内部类，为了在map或reduce任务中跟踪task的状态，MapContext记录map执行的上下文，同时context也是map和reduce执行的各个函数的桥梁，与session对象相似
MapReduce中的mapper和reducer以及context
crg18438610577的博客
11-01 4901
关于MapReduce中的mapper Mapper有setup()，map()，cleanup()和run()四个方法。其中setup()一般是用来进行一些map()前的准备工作，map()则一般承担主要的处理工作，cleanup()则是收尾工作如关闭文件或者执行map()后的K-V分发等。run()方法提供了setup-&gt;map-&gt;cleanup()的执行模板。     在Ma...
Hadoop：MapReduce之Mapper类的输入
Jodness' Blogs
05-15 4704
目录 Mapper类 Mapper的输入 InputFormat 文件输入FileInputFormat & 输入分片InputSplit 文本输入TextInputFormat & 行记录阅读器LineRecordReader Mapper的输出 收集器Collector 分区器Partitioner 案例：分别计算奇数行和偶数行之和 Hadoop的代码中为作...
Mapreduce中获取输入文件名及路径的方法
YF_Li123的博客
04-15 3626
在map函数中想要获取当前split所读取的文件名，方法如下： 1 不通用方法 1 如果读入的文件类型为 TextInputFormat，则获取文件名如下： String filePath = context.getConfiguration().get("mapreduce.map.input.file"); Path tmpFilePath = new Path(filePath)...
MapReduce中词频统计简单实现
swx7410852963的博客
12-28 694
MapReduce中词频统计简单实现
分布式计算模型MapReduce的学习
weixin_43288858的博客
06-10 1299
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上MapReduce是采用一种分而治之的思想设计出来的分布式计算框架那什么是分而治之呢？比如一复杂、计算量大、耗时长的的任务，暂且称为“大任务”；此时使用单台服务器无法计算或较短时间内计算出结果时，可将此大任务切分成一个个小的任务，小任务分别在不同的服务器上并行的执行；最终再汇
Hadoop中Context类的作用和Mapper＜LongWritable, Text, Text, LongWritable＞.Context context是怎么回事【笔记自用】
#姚大姚 的博客
05-03 2637
问题导读： 1.Context能干什么？ 2.你对Context类了解多少？ 3.Context在mapreduce中的作用是什么？ 下面我们通过来源码，来得到Context的作用： 下面主要对Setup函数进行深入探讨：首先看下两个程序的区别： 区别在于第一个程序把 context这个上下文对象作为map函数的参数传到map函数中，第二个程序则是在setup函数中处理了 context对象，从这个角度讲，在Map类的实例中是可以拿到Context这个上下文对象的，这一点是毋庸置疑的，不管是在类内部的哪
MapReduce如何从Map端获取数据源的路径
heihei2017的博客
06-05 839
在Mapreduce流程中，在Map端常常遇到需要根据来自不同数据源的<key,value>，进行不同的操作。因此，经常需要获取到<key,value>的数据来源。 获取文件名的大致流程为：Context(map函数里) → InputSplit → FileSplit → Path → String(file name)。 Context Context是Mapper的内部类，在Map或Reduce任务中跟踪task的状态，Context在Map端执行时携带上下文信息。可理解
解决MapReduce函数中访问缓存文件失败的问题
qq_37011273的博客
05-17 847
最近在imooc中初步的学习hadoop，这是一个学习中解决问题的博客，可能还存在问题，欢迎大家指点@Override protected void setup(Context context) throws IOException, InterruptedException { super.setup(context); //通过输入流将全局缓存变量中的 右侧矩阵 读入List&lt;Str...
MapReduce知识点（2）
AnswerLinWJ的博客
03-22 329
计数器 内置计数器 定义计数器 使用上下文对象context的getCounter方法，两个参数，计数器类型和名字 枚举创建 排序和序列化 原数据： 需求： 第一列按字典顺序进行排列 第一列相同时，第二列按升序进行排序 定义sortbean类实现WritableComparable接口,按照需求定义成员变量，重写compareTo方法和write、readFields方法 package com.bigdata.mapreduce.sort; import org.apac
MapReduce学习笔记和总结（一）
Agent_Ethan的博客
02-08 786
目录 第一章 MapReduce 1.1 用Java写一个WordCount（单词统计）程序 1.1.1 统计一个文件中，每个单词出现的次数 1.1.2 统计多个文件中，每个单词出现的总次数 1.2 用MapReduce框架编写WordCount 1.2.1 继承Mapper类（Map） 1.2.2 继承Reducer类（Reduce端） 1.2.3 驱动类（代码提交类） 1.3...
【Hadoop】24-MapReduce的类型
通往神秘的道路的专栏
07-23 1144
MapReduce的类型Hadoop的MapReduce中，map函数和reduce函数遵循如下常规格式：map:(K1,V1)-&gt;list(K2,V2)reduce:(K2,list(V2))-&gt;list(K3,K4)一般来说，map函数输人的键／值类型（K1和V1）不同于输出类型（K2和V2)。然而，reduce函数的输人类型必须与map函数的输出类型相同，但reduce函数的输出...
MapReduce的类型和格式
liu1390910的博客
01-23 541
MapReduce的类型 Context类对象用于输出键-值对 map: (k1, v1) -> list(k2, v2) combiner: (k2, list(v2)) -> list(k2, v2) reduce: (k2, list(v2)) -> list(k3, v3) partition函数对中间结果的键值对 (k2 , v2)进行处理，并返回一个分区索引 
【HADOOP】关于MapReduce中的reduce参数中的Text重复值问题
菜鸟sdut的博客
04-25 1428
说明 在一次Mapreduce任务处理中，碰到了一个有趣的问题，关于在reduce过程中 Iterable<Text>获取值的问题。 问题重现 待处理的文本文件内容： 20012 小明 20015 小红 20012 王伟 20013 刘浩 20015 王明 20015 王亮 20015 曾仓 20012 刘工 目标代码： protected void reduce(Text key,...
mapreduce鸢尾花分类
最新发布
01-02
### 使用 MapReduce 实现鸢尾花数据集分类 #### 设计思路 为了利用MapReduce框架实现KNN算法对鸢尾花数据集进行分类，整个过程可以分为几个阶段来完成。首先是对输入数据的预处理，接着是Mapper阶段计算各个测试样本到训练集中所有点的距离；随后进入Combiner阶段汇总部分结果以减少网络传输量；最后由Reducer负责最终决策类别。 #### 预处理 在正式运行之前，需要准备好用于训练和验证的数据文件。通常会将原始CSV格式的Iris数据集转换成适合HDFS存储的形式，并按照一定比例划分为训练集与测试集[^2]。 #### Mapper 类 (KNN_Mapper.java) 此组件接收来自HDFS上的键值对形式记录作为输入，其中key代表偏移位置而value则是具体的一条观测记录字符串表示法。对于每一条读取进来的记录，如果属于训练集合，则直接输出其特征向量及其标签构成的新键值对；若是测试样本则需遍历已知的所有训练样本来求解欧氏距离并连同待测项ID一起发出等待后续聚合操作。 ```java public static class KNN_Mapper extends Mapper<LongWritable, Text, IntWritable, PairOfWritables> { @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] line = value.toString().split(","); double[] features = Arrays.stream(line).mapToDouble(Double::parseDouble).toArray(); if (isTrainingSample(key.get())) { // 判断是否为训练样本 context.write(new IntWritable(-1), new PairOfWritables(new VectorWritable(features), new LabelWritable(getLabel()))); } else { List<Pair<Double, Integer>> distances = calculateDistancesFromAllTrainSamples(features); for(Pair<Double,Integer> p : distances){ context.write(new IntWritable(p.getValue()),new PairOfWritables(new DistanceWritable(p.getKey()),new VectorWritable(features))); } } } private boolean isTrainingSample(long offset){/*...*/} } ``` #### Combiner 类 (可选优化措施) 考虑到当训练规模较大时可能会造成过多中间状态传递给reducer端从而影响效率的问题，在这里引入了一个简单的combiner机制用来提前筛选出k个最近邻居的信息发送出去即可满足需求[^3]。 ```java public static class KNN_Combiner extends Reducer<IntWritable,PairOfWritables,IntWritable,PairOfWritables>{ int k; public void setup(Context context)throws IOException{ Configuration conf=context.getConfiguration(); this.k=Integer.parseInt(conf.get("k")); } @Override protected void reduce(IntWritable key, Iterable<PairOfWritables> values,Context context)throws IOException,InterruptedException{ PriorityQueue<Pair<DistanceWritable,VectorWritable>> queue=new PriorityQueue<>(Comparator.comparing(o->o.getLeft())); for(var v:values){ queue.offer(new ImmutablePair<>((DistanceWritable)v.getLeft(),(VectorWritable)v.getRight())); while(queue.size()>this.k){ queue.poll(); } } for(;!queue.isEmpty();){ var item=queue.poll(); context.write(key,new PairOfWritables(item.getLeft(),item.getRight())); } } } ``` #### Reducer 类 (KNN_Reducer.java) 接受到来自mapper层经过可能存在的组合器初步过滤后的候选邻近距离列表后，依据设定好的参数`k`选取最接近前几名对应的类别统计频次最高者即为目标预测结果。 ```java public static class KNN_Reducer extends Reducer<IntWritable,PairOfWritables,NullWritable,Text>{ int k; @Override protected void setup(Context context)throws IOException{ Configuration conf=context.getConfiguration(); this.k=Integer.parseInt(conf.get("k")); } @Override protected void reduce(IntWritable key,Iterable<PairOfWritables> values,Context context)throws IOException,InterruptedException{ HashMap<Integer,Integer> labelCount=new HashMap<>(); Iterator<PairOfWritables> iterator=values.iterator(); for(int i=0;i<k&&iterator.hasNext();i++){ DoubleWritable distance=(DoubleWritable)((PairOfWritables)(iterator.next())).getLeft(); VectorWritable vector=((PairOfWritables)value).getRight(); // 假设vector中包含了label信息... int predictedLabel=getPredictedLabel(vector); labelCount.merge(predictedLabel, 1, Integer::sum); } Entry<Integer, Integer> mostFrequentEntry=labelCount.entrySet() .stream() .max(Map.Entry.<Integer, Integer>comparingByValue()) .orElseThrow(IllegalStateException::new); context.write(NullWritable.get(),new Text(String.valueOf(mostFrequentEntry.getKey()))); } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值