MapReduce和Yarn知识回顾

原创 已于 2023-05-19 20:41:46 修改 · 82 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mapreduce #大数据

于 2023-05-06 17:18:34 首次发布
MapReduce理论中，Map的数量增加能提升计算速度，但过多会导致资源浪费。它适合处理Map间关联度不大的数据，而不适合有强关联的数据。Map的逻辑切数据默认128M，MapReduce的Hdfs切块大小不可调。文章还探讨了MapReduce的底层工作原理。

一、MapReduce基础知识

        理论上，Map数量越多，程序计算速度也会越快。但是到达一定量级时，就不能在增加了，否则会造成资源的浪费。（因为每次启动Map也需要消耗大量的计算机资源）。

        适合MR的应用场景： MR适合进行计算一些各Map之间==关联度不大或者没有关联度的数据==。

        不适合MR的应用场景：各Map之间==存在关联==的情况，==不适合使用MR==

         MapReduce需要关注successful下面的输出日志:

二、MapReduce计算流程(天龙八步）

        Map逻辑切数据默认128M，可以调；Hdfs12不可调。

 

 

 三、MapReduce底层原理

 

 

 

 

 

 

【Hive中常见的优化手段----数据采集！Join 优化！Hive索引！数据倾斜！mapreduce本地模式！map和reduce数量调整！】
书生的技术分享
06-27 2200
Hive中常见的优化手段----索引的定义：关系型数据库中的索引：在关系数据库中，索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。一般是建立在主键上的。关系型数据库中的索引：hive中的索引功能是有限的，hive中没有关系数据库中主键的概念，但是还是可以对某一些字段建立索引。Hive索引的目标是提高对表的某些列进行查询查找的速度。
大数据知识面试题-MapReduce和YARN（2022版）
拉格朗日的学习笔记
05-25 5791
序列号 内容 链接 1 大数据知识面试题-通用（2022版） 待续… 2 大数据知识面试题-Hadoop（2022版） 待续… 3 大数据知识面试题-MapReduce和yarn（2022版） 待续… 4 大数据知识面试题-Zookeepr （2022版） 待续… 5 大数据知识面试题-Hive （2022版） 待续… 6 大数据知识面试题-Flume（2022版） 待续… 7 大数据知识面试题-Hbase（2022版） 待续… 8 大数据知识面试题-sqoop（....
MapReduce知识
weixin_56345512的博客
10-26 290
环形数据缓冲区默认设置大小是100M，在其中写入切片数据和对应的元数据，当数据写入达到80%时开始溢写，并在剩余20%的中间位置设置新的赤道。溢写的时候可以使用Combiner组合器进行预聚合,每次溢写生成一个spilln.out和一个spilln.out.index文件，.index文件中记录.out文件 的分区信息和数据长度。一个切片会生成多个.index和.out文件，最后都会对他们进行合并，并生成 file.out和file.out.index文件，合并时，一次最多同时合并十个文件。
Hadoop技术(二)资源管理器YARN和分布式计算框架MapReduce
时间静止
11-03 2691
Hadoop技术之分布式文件系统MapReduce 第一章 Hadoop MapReduce 是什么一 MapReduce 介绍1. 基本介绍 2. MR数据流程方向 3. MR 原语/ 核心思想( 重点记忆 ) 4. MR运行原理 5. 块 ,切片 , map ,reduce ,组 ,分区 ,输出文件之间的关系6. 计算框架MR7.计算框架 Map8.计算框架Reduce二 Ha...
Hadoop知识回顾一
m0_37298602的博客
03-28 248
近来心血来潮，考虑将过去两年学习的一些知识回顾一下，一来巩固知识，再来希望能够对过去的知识盲点有所领悟。 1.环境 虽然hadoop也能安装在windows环境下，不过我们无论是在生产还是工作调试，都会在linux环境下，而且linux基本知识是作为一个程序员必备也是必须熟悉的知识，因此还是建议将hadoop安装在linux环境下，后期我会附上linux（centos）安装教程，以及hadoo...
MapReduce原理剖析（深入源码）
fengxiandada的博客
06-26 2358
MapReduce源码学习
2020.9.13(MapReduce原理，Yarn原理)
超可爱慕之
09-13 376
在某个领域比我牛的人，一定是我不擅长的领域。我擅长的领域，没有几个比我牛的。 今天把前面的知识稍微的讲一讲，主要是交学习方法。如果只是干讲知识的话，后面学习新的知识的时候，等于会重复造轮子，没有学习方法，更强调的是学习方法。随着学的东西越来越多，会有一个感觉，我学的这个东西和前面的东西好像。这时候如果能找到这个感觉的话，是件好事。因为技术是经常迭代更新的。 比如说从hdfs说起，它的模型-存储模型，主要描述它的特征：切块，块散列到及群里，为了分治，在讲hdfs分布式文件系统的时候还刻意强调一点，通过模型要关
Hadoop之YARN相关知识点汇总
zhongwen7710的专栏
11-13 1617
一、yarn的基本概念 最近一段时间，经常看到有人在微博上说，“很多公司暂时用不到YARN，因为一般公司的集群规模并未像Yahoo、Facebook那样达到几千台，甚至将来几万台”。这完全是一种错误的观念，在Hadoop高速发展的时代，必须更正。 实际上，上述观念只看到了YARN的扩展性（Scalability），扩展性是可用可不用的特性，中小型公司将YARN部署到小集群（按照IB
Hadoop知识点回顾
qq_39143103的博客
06-13 456
HDFS读写流程 hadoop的shuffle流程 shuffle优化 yarn工作机制 zookeeper的选举机制
Hadoop进阶教程：深入MapReduce与Yarn架构解析
资源通过WordCount实例回顾了MapReduce过程，包括Split、Map、Shuffle和Reduce四个阶段。在Split阶段，数据被分割成一个个小块，以便进行并行处理。在Map阶段，每个小块的数据被读取，并生成一系列的键值对。在...
YARN.Essentials
05-04
文档的综述部分往往提供了对章节内容的精要总结，以帮助读者巩固和回顾本章所学知识。整体而言，YARN Essentials不仅适合于希望深入理解YARN内在工作原理的读者，也是对于那些期望在现有Hadoop集群中部署和管理YARN...
MapReduce入门（一）—— MapReduce概述 + WordCount案例实操
热门推荐
小哨的博客
05-05 2万+
MapReduce入门（一）—— MapReduce概述 MapReduce知识点总览图 MapReduce入门（一）—— MapReduce 概述 1.1 MapReduce 定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。 1.2 MapReduce 优缺点 1.2.1 优点 1
Hadoop之MapReduce
AGreenRegiment的博客
11-18 840
如果想要把⼀个⾃定义的数据类型作为K2V2或者K3V3来使⽤，那么就必须要实现序列化的接⼝Writable。如果这个⾃定义的数据类型是⼀个Key的数据类型，则还需要在满⾜⽐较的条件，也就是再额外实现⼀个Comparable的接⼝或者可以直接实现WritableComparable接⼝。/*一些java自定义函数.... *///* 序列化⽅法，将属性序列化成字节序列//将属性写到输出流程//如果不是hadoop类型，⽐如是java类型。
Apache Kafka高吞吐消息系统实践分享：实时数据流处理与消息可靠性优化经验
2501_94114477的博客
11-23 569
合理主题与分区设计保证吞吐量和顺序性生产者批量与压缩优化提升发送效率消费者多线程与手动提交偏移保证可靠消费副本与幂等策略确保消息不丢失实时监控与告警提升系统稳定性Kafka 通过高吞吐量、低延迟和可扩展性，为企业实时数据流和消息系统提供可靠解决方案，是金融、电商和 IoT 系统不可或缺的核心组件。
hive-----广电大数据分析
2401_87586917的博客
11-26 628
1．创建存储格式为TextFile的观看历史表text_see和用户信息表text_user（用于存储原始数据）。并创建存储格式为ORC的表orc_see和orc_user。12. 对orc_see表按照用户Group By聚合，然后统计组内的时长即可。3. 用户信息文件userevents.txt存储在本地系统/opt/datas目录下，将其导入表text_user中。5. 将表text_user中数据加载到表orc_user中。4. 将表text_see中数据加载到表orc_see中。
Python在云原生微服务监控与自动化运维平台中日志处理与告警实践
2501_94182049的博客
11-23 692
开发效率高：快速实现日志解析、指标聚合和告警逻辑生态丰富：支持 Kafka、Prometheus、ElasticSearch、Celery 等易扩展与维护：模块化、异步、插件化设计性能优化灵活：批量、异步、缓存、序列化优化通过异步日志处理、实时指标聚合、告警策略和自动化运维集成，Python 能够支撑高并发云原生服务的监控需求，实现低延迟、高吞吐、可监控、可扩展的运维平台，为企业稳定运营和快速响应提供保障。
Go语言高性能并发编程实践分享：从基础协程到分布式服务优化实战经验总结
2501_94108919的博客
11-23 453
充分利用goroutine和channel，实现轻量级并发。控制并发规模，避免无限增长导致系统压力。合理使用连接池和异步操作，优化网络和数据库IO。监控与分析，借助pprof定位性能瓶颈。简单、静态部署，提升服务稳定性和运维效率。总之，Go语言凭借原生并发支持和高效性能，非常适合构建高吞吐量、高并发的分布式服务。通过本文经验分享，希望开发者能在Go语言实践中少踩坑，快速构建稳定、高性能的互联网系统。全文字数：约1205字内容原创度：低相似度（独立实践经验、代码示例、优化策略）地区信息：广州。
金融大数据风控系统中的多语言语法引擎与分布式架构实践
最新发布
2501_94114711的博客
11-27 169
在金融大数据风控系统中，交易量大、风险复杂，实时性和准确性要求极高。多语言微服务环境中，Python、Java、C++、Go 等服务需要统一的规则解析和执行能力，以保证风控决策快速准确。
Python微服务架构在分布式电商系统中的高性能设计与实战经验总结分享
2501_94181083的博客
11-23 668
I/O 使用协程，CPU 使用进程池缓存层是真正的性能保障消息队列极大提升系统抗压能力系统组件可水平扩展是核心竞争力监控能力比性能更必要，问题才能提前预警Python 借助异步事件模型、缓存、分库分表、微服务拆分与自动扩容机制，在电商这种重 I/O 高并发的场景中完全可以支撑高性能要求。同时开发效率高、维护成本低，使其非常适合构建快速迭代的互联网核心业务服务模块。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值