MepReduce面试题：我们在开发分布式计算 job 时,是否可以去掉 reduce()阶段？为什么？

最新推荐文章于 2025-02-16 21:41:21 发布
原创 最新推荐文章于 2025-02-16 21:41:21 发布 · 868 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#MepReduce面试题

本文探讨了专为文件存储设计的集群架构，强调了在不需要数据计算场景下，如何简化MapReduce流程，避免排序和shuffle操作。以流量运营项目的行为轨迹增强功能为例，展示了存储优化策略。

可以，例如我们的集群就是为了存储文件而设计的，不涉及到数据的计算，就可以将mapReduce都省掉。去掉之后就不排序了，不进行shuffle操作了。

比如，流量运营项目中的行为轨迹增强功能部分。

大数据面试题——Hadoop篇
南国的技术栈
04-12 1615
前言 结合南国 不到一年时间 学习大数据的知识梳理，加上2019年春天找实习的经历，在这里南国写博客的同时会参考一些资料 写出大数据内一些高频的面试知识点。 1.Hadoop基础 通常是集群的最主要瓶颈：磁盘IO cpu 和内存在大数据集群中都是可以扩充的，磁盘不行。 Yarn,ClouderaManager可以作为集群的管理，zookeeper不可以。 Zookeeper:是一个开源的分布式应...
MepReduce架构及原理
zbq1334的博客
08-17 1027
1. MapReduce 定义 Hadoop中的MepReduce是一个使用简单的软件框架，基于它写出来的程序能运行在由上千个机器组成的大型集群上，并以一种可靠容错并行处理TB级别的数据集。 2.MepReduce特点 1）MepReduce易于编程 它简单的实现一些接口，就可以完成一个分布式程序。这个分布式程序可以分布到大量的廉价PC上运行。也就是说你写一个分布式...
MapReduce如何去除reducer阶段，如何去除map的排序？
L
06-30 1077
以WordCount为例，假设已经按正常情况编写了Mapper和Reducer，主程序中job如下设置： Job job = Job.getInstance(conf,"Word-Count"); job.setJarByClass(WordCountMain.class); job.setMapperClass(WordCountMapper.class); job.setReducerClass(WordCountReducer.class); job.setOutputKey...
hive 只有map没有reducer 的优化
yisun123456的博客
08-02 3077
hive中在做查询时，经常会碰到这种问题，任务只起map不起reduce； 环境： hive  100出头的节点 7T左右的内存 basic表有300-400个分区，总数据量在6亿-7亿； 如下sql： select * from  basic_sum where user_log_acct='abcd'; 这个sql只会起一个job，这个job只有map，没有reduce；输入数...
大数据面试总结 - scala & sqoop
zlmldylinke的博客
02-23 1701
1.7 Sqoop 1.7.1 Sqoop参数 /opt/module/sqoop/bin/sqoop import \ --connect \ --username \ --password \ --target-dir \ --delete-target-dir \ --num-mappers \ --fields-terminated-by \ --query "$2" ' and $CONDITIONS;' 1.7.2 Sqoop导入导出Null存储一致性问题 Hiv..
MapReduce面试题1
张小丑
05-11 4113
简述MapReduce的流程Mapreduce数据倾斜原因和解决方案https://blog.youkuaiyun.com/wypersist/article/details/79797075MapReduce执行过程分析https://blog.youkuaiyun.com/WYpersist/article/details/80045044MapReduce文件切分个数计算方法https://blog.csdn.n...
MapReduce介绍及执行过程
小叮当的博客
07-26 6622
mapreduce基本原理及介绍
HadoopMapReduce和Spark究竟存在什么差异
最新发布
m0_73889530的博客
02-16 1217
注：HDFS全程Hadoop Distributed File System,它是专门为大数据存储设计的分布式文件系统，它设计的目标是有三个，1是超大规模存储，它的单个集群可扩展到PB级 2.具有高容错性，硬件的故障视为常态而非异常，3.流式数据访问：优化数据吞吐量而非低延迟（适合批量处理而非实时访问）1.在Map阶段中，它执行的操作是：读取HDFS数据 ----->本地计算------>写本地磁盘。3.在Reduce阶段：拉取数据 ---->聚合计算------>写HDFS。
精选资源
大数据实验四-MapReduce编程实践
04-03
3. **分布式计算的认识**：认识到分布式计算的局限性与优势，在实际应用中需要权衡数据规模和计算需求。 4. **Hadoop框架的理解**：对Hadoop框架有了更全面的认识，为进一步学习Hadoop生态系统打下基础。 5. **编程...
精选资源
大数据技术基础实验报告-MapReduce编程.doc
08-21
实验中，我们可以在Eclipse中编写并运行`WordCount`程序，观察HDFS中的输出结果，如`output/part-r-00000`文件，它记录了每个单词及其计数。 注意，Eclipse不会自动刷新HDFS中的内容变化。如果需要查看最新的文件...
MapReduce
nuobing1314的博客
08-13 4597
mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。mapreduce的核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并运行在一个hadoop集群上。MapReduce的优缺点优点：易于编程良好的扩展性高容错性适合tb/pb级以上海量数据的离线处理缺点：不擅长实时计算不擅长流式计算不擅长DAG（有向无环图）计算。...
Hadoop就业面试题
weixin_34055910的博客
06-16 4483
----------------------------------------------------------------------------- [申明：资料来源于互联网] 本文链接：http://blog.youkuaiyun.com/sdksdk0/article/details/51695341 编辑：朱培 ID：sdksdk0 -------...
大数据面试-04-大数据工程师面试题
九师兄
01-12 7904
2.23. 我们开发job时，是否可以去掉reduce阶段。 可以。设置reduce数为0 即可。 2.24. datanode在什么情况下不会备份 datanode在强制关闭或者非正常断电不会备份。 2.25. combiner出现在那个过程 出现在map阶段的map方法后等。 2.26. hdfs的体系结构 hdfs有namenode、secondraynamenode、data
Hadoop面试题
代码_搬运工
07-06 8970
Hadoop MapReduce采用Master/Slave结构 1. 列举出hadoop中定义的最常用的InputFormats.哪个是默认的？     TextInputFormat(默认)用于读取纯文本文件,key是每一行的位置偏移量，是LongWritable类型的，value是每一行的内容，为Text类型     KeyValueTextInputFormat 同样用于读取
停止正在运行中的MapReduce任务
新生代农民工Steven
01-03 1783
如何停止正在运行中的MapReduce任务 找到任务的id , 如上图所示 , 新开一个连接窗口 # 旧版通用命令 hadoop job -list # 查看当前任务列表 hadoop job -kill job_id # 杀掉某一任务 # 上面的两个命令已经过时,被弃用了,但是还是能使用的,下面也给出新版命令 yarn application -list # 查看当前任务列表 yarn application -kill application_id # 杀掉某一任务 查看任务列表1 hado
MapReduce系统学习
MyySophia的博客
08-15 1366
新思潮： 移动计算比移动数据更划算，因为大量数据的时间耗时主要是在网络I/O 和磁盘I/O. 案例： 如果copy一个50G的内容，就算是内网的两台机器也很慢，如果是用U盘，那就比较快。 为什么呢？ 因为没有网络IO，而磁盘IO一直是存在的。 MapReduce原理剖析 map端做的是局部的聚合排序，reduce是全局的聚合和排序。reduce是处理多个map多个分区的聚合结果。不可以混淆两者 ...
Mapreduce不设置reduce，只执行map的输出结果
热门推荐
yongjian_luo的专栏
08-14 1万+
在写MR程序时候，有时我们不需要reduce，比如对原始数据做Format等，这样我们再MR程序中就不需要写reduce函数，同样在main函数配置中也不需要reduce相关的配置信息 ，在MR执行的过程中，会为MR生成一个系统自带的reduce，这个reduce是系统为了保持框架的完整性自动调用的reduce函数，但这个函数并不做shuffle和数据拖去，生成的结果文件就是map的输出文件，也
MapReduce课程结构
weixin_46130146的博客
11-16 2415
MapReduce的定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce的核心功能是将用户编写的业务逻辑代码和自带默认组件结合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 MapReduce的优缺点 优点： MapReduce易于编程，他简单的实现一些接口，就可以完成一个分布式程序。这个分布式程序可以分布到大量廉价的PC机器上的运行；也就是说，编写一个分布式程序，和写一个串行的程序是一样的，这样子可以减轻了程序
hadoop面试100道收集（带答案）
小飞侠的博客
12-09 7818
1.列出安装hadoop流程步骤 a) 创建hadoop账号 b) 更改ip c) 安装java 更改/etc/profile 配置环境变量 d) 修改host文件域名 e) 安装ssh 配置无密码登录 f) 解压hadoop g) 配置hadoop  conf下面的配置文件 h) Hadoop namenode -format  格式化 i) Start 启动 2.列出had
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值