如何降低MapReduce延时

最新推荐文章于 2024-06-29 21:38:35 发布
原创 最新推荐文章于 2024-06-29 21:38:35 发布 · 451 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文主要介绍在学习过程中如何通过修改配置降低HIVE使用MapReduce时的延时。首先，将MapReduce运行环境从YARN切换到本地，即设置`mapreduce.framework.name`为`local`，默认情况下也是这个配置。对于小数据量场景，这种做法可以减少延时。但在大数据场景下，应确保MapReduce在YARN上运行以保证效率。

文章目录

场景

学习过程中（就是数据量很少），HIVE（MapReduce）延时过高
本文通过修改配置，降低HIVE（MapReduce）延时

降低MapReduce延时的配置

之前配置了让MapReduce跑在YARN上

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

让MapReduce不要在YARN上运行，而在本地运行

vi $HADOOP_HOME/etc/hadoop/mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>local</value>
</property>

其实默认配置就是local，所以也可以直接把mapreduce.framework.name注释掉

友情链接：如何降低HIVE延时

https://yellow520.blog.youkuaiyun.com/article/details/116084292

补充

搞清楚什么是慢
慢有两种，一种是延时高，另一种是运行慢
小数据场景下，HIVE慢 是因为 延时高
大数据场景下，MySQL慢 是因为 运行慢

大数据场景下，记得把MapReduce改回在YARN上跑噢~

MapReduce基础知识
rakuphone的博客
12-10 221
MapReduce处理海量数据的技术（分布式计算框架，离线，高吞吐高延时） 划分方法--最基本的海量技术思想 传统Hash，最基本的划分方法 如何将大数据、流量均分到N台服务器 找到合理的key,hash(key)尽量分布均匀 随机划分 一致性Hash：支持动态增长，更高级的划分方法 目的是解决分布式缓存的问题。在移除或者添加一个服务器时，能够尽可能小地改变已存在的服务请求与处理请求服务器之间的映射关系。一致性哈希解决了简单哈希算...
大数据理论与实践5 分布式计算框架MapReduce和Spark
mxb1234567的博客
10-29 2080
MapReduce 简介 MapReduce是一个面向离线批处理的分布式计算框架。 离线：对时间不敏感，慢慢算 批处理：数据攒一批，处理一批（相对于流处理） 分布式编程模型：MapReduce程序被分为Map（映射）阶段和Reduce（化简）阶段 特点： 计算跟着数据走 良好的扩展性：计算能力随着节点数增加，近似线性增长 高容错 状态监控 适合海量数据的离线批处理 降低了分布式编程的门槛 使用场景：对时间不敏感，非流式数据（不适用OLAP、流计算、DAG计算） 原理示例 WordCount示例 实际上
MapReduce调优----Reduce延迟启动参数调整
猿说新宇的博客
11-14 862
参数说明 mapreduce.job,reduce.slowstart.completemaps默认为0.05，在5%的map执行成功之后，就会启动reduce作业，会导致Reduce占用大量资源，却无法有效利用（需要等待对应的Map执行完成），降低资源的使用效率，影响集群的整体性能，可调至0.9。 测试跟踪 更改了e3base07, e3base104，e3base105下的$HADOOP...
CDH优化
あずにゃん梓喵的博客
02-13 1721
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 1.MapReduce shuffle处理程序和IFile阅读器使用本机Linux调用，在安装了Hadoop本机库的Linux系统上。 2.改善随机处理程序 1.您可以通过启用shuffle readahead来改进MapReduce shuffle处理程序的性能。 这...
Hadoop总结
m0_54853420的博客
07-27 1236
大数据的4V大量化、快速化、多样化、价值密度低。大数据对思维方式的影响颠覆了传统的思维方式——全样而非抽样、效率而非精确、相关而非因果大数据对科学研究的影响实验、理论、计算、数据三次信息化浪潮第一次——1980——个人计算机为标志——解决信息处理——Intel、AMD、IBM第二次——1995——互联网——信息传输——雅虎、谷歌第三次——2010——物联网、云计算和大数据——信息爆炸——亚马逊、美团信息科技为大数据提供的技术存储设备容量增加、成本降低CPU性能提升数据变革阶段注。...
MapReduce跑得慢的原因以及优化方法
weixin_44976835的博客
11-04 3876
MapReduce跑得慢的原因 MapReduce程序的效率瓶颈在于两个方面： 一、 计算机性能 CPU、内存、磁盘健康、网络 二、 I/O操作 数据倾斜 map和reduce数量设置不合理 reduce等待时间过久 小文件过多 大量不可拆分的超大文件 spill次数过多 merge次数过多 我们优化的重点是I/O操作 MapReduce优化方法 一、数据输入 合并小文件：在执行mr任务前将小文件进行合并，因为大量的小文件会产生大量的map任务，增大map任务装载次数，而任务的装载比较耗时，从而导
快速入门人工智能的方法，持续更新ing
湾区人工智能
11-15 2343
快速入门就是要先了解AI相关的概念，常识。 最快的方法就是通过阅读别人整理好的文章。     方法是搜索关键字： 通过你自己查阅文章，认真读完，相信你对AI有了初步了解，并且一定一头雾水。慢慢的把每个碰到的生词查一遍，你就入门了。   以下是你做AI必须懂的知识点   关键词搜索如下：   深度学习总结 机器学习总结 https://blog.youkuaiyun.com/alice...
如何降低HIVE延时
ArYe
04-24 1018
文章目录1、场景2、配置：让HIVE运行在本地2.1、临时修改2.2、永久修改3、降低HIVE延时的第二种方法：4、补充 1、场景 学习过程中（就是数据量很少），HIVE（MapReduce）延时过高 本文通过修改配置，降低HIVE（MapReduce）延时 2、配置：让HIVE运行在本地 2.1、临时修改 SET hive.exec.mode.local.auto=true 2.2、永久修改 1、编辑配置文件 vi $HIVE_HOME/conf/hive-site.xml 2、加入性质 <
【图解大数据技术】Hadoop、HDFS、MapReduce、Yarn
weixin_43889578的博客
06-29 2948
MapReduce是一个分布式离线计算框架，专门用于处理大数据场景中与实时性无关的一些离线计算任务。MapReduce的数据输入一般是HDFS，然后经过InputFormat进行输入格式化，变成格式；然后执行用户实现的Mapper类型的map方法，进行数据映射，映射处理的结果也是格式；然后执行一个shuffle过程，对映射结果进行按key进行分组分区，把同一区域的所有KV发送到同一个Reducer，由一个节点进行；Reducer对同一个key分组下的所有value进行聚合操作；
分布式论文精读1：MapReduce
qq_41988892的博客
03-18 749
Simplified Data Processing on large Clusters 在大型集群上简化数据处理流程 摘要 MapReduce 是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现，用户首先创建一个Map函数处理一组key/value对，从而产生中间 key/value 对集。然后再创建一个Reduce函数用于合并所有的具有相同中间key的中间value。现实世界中有很多满足上述处理模型的例子，本论文将详细描述这个模型。 以这种方式实现的程序能够在由普通计算机共同组成的大型集
MapReduce 不适合处理实时数据的原因剖析
weixin_34402090的博客
04-25 7192
1.概述　 　　Hadoop已被公认为大数据分析领域无可争辩的王者，它专注与批处理。这种模型对许多情形（比如：为网页建立索引）已经足够，但还存在其他一 些使用模型，它们需要来自高度动态的来源的实时信息。为了解决这个问题，就得借助Twitter推出得Storm。Storm不处理静态数据，但它处理预 计会连续的流数据。考虑到Twitter用户每天生成1.4亿...
MapReduce编程：1.groupBy, 统计每月航班延迟到达的比例
叶小东的博客
03-15 3080
MapReduce编程：1.groupBy, 统计每月航班延迟到达的比例
Flink前世今生和原理
wu_noah的博客
10-10 1157
1. 基本概念 Why-分布式计算发展史 为什么需要流式计算，为什么需要Flink，是需要从分布式计算的历史开始说。 随着大数据时代到来，单机的计算已经不能满足数据计算的需求，将多个计算机组成集群去处理一个问题的方案成为主流，即分布式计算。而分布式系统的发展也伴随批处理向流处理的演进过程 MapReduce 首先是MapReduce的分布式计算编程范式，它通过将一个问题拆分为多个子问题，并在多个机器上求解，同时机器间进行数据交换和数据合并，最终输出结果。基于这种模式诞生了Hadoop框架，
一、MapReduce已死，Spark称霸
linuxheik的专栏
07-05 2043
一、MapReduce已死，Spark称霸 2014-09-17 11:20 王家林 Spark亚太研究院 字号：T | T 综合评级： 想读(35)  在读(13)  已读(2)   品书斋鉴(0)   已有50人发表书评 《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作；使用S
几种MAPE的实现方式
热门推荐
liangdaojun的博客
04-05 1万+
目录方法一 （label 中有NaN值）方法二（label 中有零值）方法三 （限制过大过小值） 方法一 （label 中有NaN值） 这种方式是为了防止label里面有NaN值，但没考虑是否为零值。 def masked_mape(preds, labels, null_val=np.nan): if np.isnan(null_val): mask = ~torch.i...
从 MapReduce 的运行机制看它为什么比 Spark 慢
weixin_33834137的博客
06-16 332
在 Hadoop1 中，MapReduce 计算框架即负责集群资源的调度，还负责 MapReduce 程序的运行。 一，MapReduce 组成 MapReduce 的运行过程有三个关键进程： 1，大数据应用进程。这是用户启动的 MapReduce 程序进程，主要是指定 Map 和 Reduce 类、输入输出文件路径等，并提交作业给 Hadoop 集群的 JobTracker 进程。 2，JobT...
MAPE低而RMSE高？
myblog
12-22 4331
遇到一个奇怪的问题，RMSE和MAE很低，而MAPE居高，不知道为啥 而另一个对比实验则很低。先记录，找到原因再更新。
MapReduce跑的慢的原因
让，
05-31 514
算法的评价标准:ROC,假阳性，mape
小屋
11-19 7211
1，ROC曲线去医院做检查化验单或报告单会出现（+）跟（-），其分别表型阳性和阴性。比如你去检查是不是得了某种病，阳性（+）就说明得了，阴性（-）就说明没事。 科研人员在设计这种检验方法的时候希望知道，如果这个人确实得了病，那么这个方法能检查出来的概率是多少呢（真阳率）？如果这个人没有得病，那么这个方法误诊其有病的概率是多少呢（假阳率）？ 如下表所示： 金标准就是实际中的病人阳性和阴性的情
flink相比mapreduce的优势
最新发布
01-09
### Flink相较于MapReduce的优势 Flink作为一种流处理框架，在多个方面优于传统的批处理框架MapReduce。对于实时数据和历史数据的统一查询需求，Flink能够提供更低延迟的数据访问能力[^1]。 #### 实时处理能力 Flink设计之初就考虑到了事件时间(event time)语义的支持以及窗口操作(window operations)，这使得它非常适合用于需要精确控制时间和顺序的应用场景。相比之下，MapReduce更适合于离线批量计算任务，难以满足低延时的要求。 #### 高效内存管理 Flink采用了更先进的内存管理和序列化机制，减少了磁盘I/O开销并提高了整体性能。而MapReduce则依赖HDFS作为中间存储层，增加了额外的读写成本。 #### 容错性 当遇到失败情况时，Flink通过轻量级检查点(checkpointing)来实现快速恢复；而在MapReduce中，则可能需要重新执行整个作业以确保一致性。 ```java // Example of checkpoint configuration in Apache Flink env.enableCheckpointing(5000); // checkpoint every 5 seconds ``` #### 数据本地性和资源调度优化 Flink可以更好地利用集群中的节点位置信息来进行任务分配，从而减少网络传输带来的瓶颈问题。此外，其内置的任务调度器也更加灵活高效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值