Hadoop2.x与Hadoop1.x的MapReduce比较

hadoop1.x与hadoop2.x在HDFS和MapReduce上的区别 HDFS改进  ·hadoop1.x的HDFS体系架构          在Hadoop1.x中的NameNode只可能有一个,虽然可以通过SecondaryNameNode与NameNode进行数据同步备份,但是总会存在一定的延时,如果NameNode挂掉,但是如果有部份数据还没有同步到SecondaryNameNode上,还是可能会存在着数据丢失的问题。       下面顺便介绍一下Se 阅读详情

hadoop2.0中的jobtracker和tasktracker哪里去了??

一、低版本的hadoop下MapReduce处理流程

    1.jobtracker和tasktracker简介
    
        首先用户程序(JobClient)提交了一个job,job的信息会发送到JobTracker。
        *JobTracker
            *Map-reduce框架的中心
            *与集群中的机器定时通信heartbeat
            *管理哪些程序应该跑在哪些机器上
            *管理所有job失败、重启等操作
            
        *TaskTracker
            *集群中每台机器都有的一个部分
            *监视自己所在机器的资源情况/tasks运行状况
            *通过heartbeat把资源情况/tasks运行状况的信息发送给JobTracker,JobTracker会搜集这些信息以给新提交的job分配运行在哪些机器上
            
    2.问题
        *JobTracker
            *JobTracker是Map-reduce的集中处理点,存在单点故障
            *JobTracker完成了太多的任务,造成了过多的资源消耗,当map-reduce job非常多的时候,会造成很大的内存开销,潜在来说,也增加了JobTracker fail的风险,这也是业界普遍总结出老hadoop 的Map-Reduce只能支持4000节点主机的上限
        
        *TaskTracker
            *在TaskTracker端,以map/reduce task的数目作为资源的表示过于简单,没有考虑到cpu/内存的占用情况,如果两个大内存消耗的task被调度到了一块,很容易出现OOM(内存溢出)
            *在TaskTracker端,把资源强制划分为map task slot和reduce task slot,如果当系统中只有map task或者只有reduce task的时候,会造成资源的浪费,也就是前面提到过的集群资源利用的问题。
            *源代码非常难读,因为一个类做了太多的事情,而代码量过多,造成class的任务不清晰,增加bug的修复和版本维护的难读。
            
二、Hadoop2.x的Yarn运行原理机制

    为了从根本上解决旧的MapReduce框架的性能瓶颈,促进Hadoop框架的更长远发展,从0.23.0版本开始,Hadoop的MapReduce框架完全重构,叫做MapReduceV2或者Yarn.
    
    基本思想就是将JobTracker两个主要的功能分离成单独的组件,这两个功能是:资源管理、任务调度/监控。
        *ResourceManager:
            ResourceManager有两个主要组件:Scheduler和ApplicationsManager。
    
                Scheduler:(分配资源给应用程序)
                    *负责根据熟悉的容量,队列等约束将资源分配给各种正在运行的应用程序。它不执行应用程序状态的监视或跟踪。
                    *根据应用程序的资源需求执行其调度功能;它是基于资源Container的抽象概念,它包含内存,cpu,磁盘,网络等元素。
                    *调度程序具有可插入策略,该策略负责在各种队列,应用程序等之间对集群资源进行分区。
                    
                ApplicationsManager:(接受作业提交并执行ApplicationMaster)
                    *负责接受作业提交,协商第一个容器以执行特定于应用程序的ApplicationMaster
                    *提供在失败时重新启动ApplicationMaster容器的服务
        *NodeManager:
        
            *每一台机器框架的代理,是执行应用程序的容器,监控应用程序的资源使用情况(CPU 内存 磁盘 网络)并且向调度器汇报
    
        *ApplicationMaster:负责从Scheduler协商适当的资源容器,并与NodeManager跟踪其状态并监视进度。
        
    
三、新旧Hadoop MapReduce框架对比

    *客户端不变,其调用API及接口大部分保持兼容,这也是为了开发使用者透明化,对原码不必做大的改变,但是原框架的JobTracker和TaskTracker不见了,取而代之的是ResourceManager AppliactionMaster NodeManager三个部分。
    *ResourceManager是一个中心的服务,它做的事情是:
        *ResourceManager负责作业与资源的调度,接收JobSubmitter提交的作业,按照作业的上下文(context)信息,以及从NodeManager收集来的状态信息,启动调度过程,分配一个Container作为Application Master
        *启动每一个Job所属的ApplicationMaster、另外监控ApplicationMaster的存在情况
    *NodeManager功能比较专一,就是负责Container状态的维护,并向RM保持心跳。
    *ApplicationMaster负责一个Job生命周期内的所有工作,类似老的框架中JobTracker,但注意每一个Job都有一个ApplicationMaster,他可以运行在ResourceManager以外的机器上.
    
四、Hadoop Yran的优势

    *大大减小了JobTracker(也就是现在的ResourceManager)的资源消耗,并且让检测每一个Job子任务(tasks)状态的程序分布式化了。更安全、更优美
    *在新的Yarn中,ApplicationMaster是一个可变更的部分,用户可以对不同的编程模型写自己的ApplicationMaster,让更多类型的编程模型能够跑在Hadoop集群中。
    *对于资源的表示以内存为单位,比之前以剩余slot数目更合理
    *老的框架中,JobTracker一个很大的负担就是监控job的运行状况,现在,这个部分就扔给ApplicationMaster了,而ResourceManager中有一个模块叫做ApplicationsManager,它是检测ApplicationMaster的运行状况,
       如果出问题,会将其在其他机器上重启
    *Container是Yarn为了将来做资源隔离而提出的一个框架,这一点应该借鉴了Mesos的工作,目前是一个框架,仅仅提供Java虚拟机内存的隔离,hadoop团队的设计思路应该后续能支持更多的资源调度和控制,既然资源表示成内存量,
       那就没有了之前的map slot/reduce slot分开造成集群资源闲置的尴尬情况。
       
转载:https://blog.youkuaiyun.com/weixin_38655836/article/details/80333404

Maven构件Hadoop1.x以及Hadoop2.x项目 Hadoop的Maven项目构建 阅读详情

相关推荐

Hadoop从入门到精通之 如何从Hadoop1.x转到Hadoop2.x

Hello 大家好,我是stefan,今天来和大家分享下如何将Hadoop1.x迁移至Hadoop2.x。这篇博文提供了将Hadoop MapReduce应用从Hadoop1.x迁移到Hadoop2.x的方法。 在2.x的版本中,apache将resource management剥离出来集成到Hadoop YARN里了,目的在于将application management框架分开使得

郭胜龙的技术博客 2125

详解hadoop1.x和hadoop2.x的区别及补充hadoop3.x新特性

hadoop1.x和hadoop2.x的主要区别在于: 1、hadoop1.x没有提供架构中主节点namenode及jobtrack的高可用及负载均机制。而在hadoop2.x中有。 2、第二个区别就体现在mapreduce的架构设计上,hadoop1.x中mapreduce兼具计算和资源调度两个作用, 而在hadoop2.x中则将mapreduce中的资源调度功能...

曹利荣的博客 4309

hadoop2.X配置详解和mapreduce详解

hadoop2.X配置详解和mapreduce详解

hadoop1.x和hadoop2.x的区别

1.组成 hadoop1.x有common、mapreduce、hdfs hadoop2.x有common、mapreduce、hdfs、yarn hadoop1.x的mapreduce负责计算、资源调度 hadoop2.x的mapreduce负责计算、yarn负责资源调度 2.功能 1、 HDFS的NameNodes可以以集群的方式布署,增强了NameNodes的水平扩展能力和可用性; 首先HD...

qq_45292079的博客 491

STM32 HAL库ADC+DMA配置详解:从CubeMX到实战调试

在嵌入式系统开发中,模数转换器(ADC)是实现传感器数据采集、信号处理等功能的基石。其工作原理是将连续的模拟信号转换为离散的数字量,为微控制器(MCU)提供可处理的数字信息。为了提升系统效率,直接存储器访问(DMA)技术被引入,它作为独立于CPU的数据搬运工,能在不占用CPU资源的情况下,自动完成外设与内存间的数据传输,从而解放CPU以执行更复杂的控制算法或通信任务。这种ADC与DMA的协同工作模式,对于实现高效、实时的数据流处理具有重要价值,广泛应用于电机控制、环境监测、音频处理等场景。本文聚焦于STM3

weixin_30698297的博客 408

图像识别火灾检测系统实战:从火焰特征到YOLO部署全解析

计算机视觉技术正深入改变传统消防的感知方式。图像识别火灾检测利用摄像头采集的视频流,通过颜色、动态和形态特征分析,实现早期火情的自动发现与定位。其核心原理在于,火焰在视觉上具有独特的颜色分布、闪烁特性和轮廓变化,借助目标检测模型如YOLO,可在复杂场景中区分真实火焰与干扰物。这项技术广泛应用于仓库、园区、隧道等大空间场所,是智慧消防的重要支撑。本文从火焰视觉特征、数据集构建、模型选型与系统架构设计出发,结合部署实践中的误报与算力优化经验,为开发者提供一套可落地的视频火焰检测方案。

weixin_42533751的博客 246

Hadoop1.x和Hadoop2.x区别

Hadoop1.x中MapReduce处理业务逻辑同时负责资源调度耦合性较高,在Hadoop2.x增加Yarn,Yarn只负责资源调度,MapReduce只负责运算。

codeSmart的博客 290

深入浅出:.sh文件在Linux系统中的实战应用与技巧

本文深入浅出地介绍了.sh文件在Linux系统中的实战应用与技巧。从基础概念入手,详细讲解了Bash脚本的运行方法、权限管理,并通过编写自动化备份脚本等实例,展示了如何利用Shell脚本提升工作效率。文章还涵盖了脚本调试、错误处理以及函数、参数解析等进阶技巧,帮助读者从入门到精通,掌握这一强大的自动化工具。

weixin_29243279的博客 353

Hadoop1.x与Hadoop2.x的区别?

Hadoop--解读大数据雪崩的解决方案,从谷歌2003年发布论文和2004年MapReduce论文开始已经走过了漫长的道路。它通过横向扩展而不是扩展战略创造了波澜。来自Doug Cutting以及雅虎和Apache Hadoop项目团队的进展推动了MapReduce编程的普及 - 这种编程适用于I / O密集型数据处理,不适用于交互式分析、迭代计算(Spark更好)、流式计算(Storm更好)方...

huangpengbo2596的专栏 996

VASPKIT绘制平面平均电荷差分密度

平面平均密度差(planar-averaged electron density difference)是密度差的衍生。密度差是个三维空间函数,经常通过绘制平面图、等值面图方式图形化考察。虽然这两种图很直观,但平面图会受到截面选取的影响,而等值面图会受到等值面数值(isovalue)选取的影响,因此都有一定任意性,也不容易定量讨论。对于电子转移有比较明确方向的情况,可以绘制平面平均密度差曲线,由此可以清楚地考察垂直于选取的方向上每个截面上的密度差积分值,在定量讨论、对比上比较便利。

weixin_43948934的博客 1万+

人大金仓数据库Kingbase FlySync同步程序安装

Kingbase FlySync同步程序(以下简称 KFS)是面向异地容灾、数据集中共享的场景推出的具备在异构数据平台间实现实时、增量数据同步的工具类产品,主要采用了物理日志解析技术,帮助用户解决不同数据平台的数据间可实现任意方向实时移动流转的问题,并保证此过程中数据不丢失,状态可监控,流转数据量可统计。KFS 需要安装的主要组件有 2 个,分别是后端同步程序和管理控制平台,另外KFS的部署方式也有2种,为分离部署何集中部署•集中部署:KFS与数据库部署在同一机器上。

weixin_44312518的博客 1181

Hadoop面试重点

文章目录1. Hadoop 常用端口号 1. Hadoop 常用端口号 hadoop2.x hadoop3.x 访问HDFS 端口 50070 9870 访问 MR 执行情况端口 8088 8088 历史服务器 19888 19888 客户端访问集群端口 9000 8020

weixin_41767872的博客 416

告别手动打点!用Cesium为你的大疆无人机快速生成区域巡查航线(保姆级教程)

本文详细介绍了如何利用Cesium平台为大疆无人机快速生成区域巡查航线的保姆级教程。通过自动化航线规划,告别传统手动打点的繁琐操作,实现高效、无死角的区域覆盖。文章涵盖环境搭建、实战案例及高级优化技巧,特别适合无人机操作员和巡检工作者提升工作效率。

weixin_30399821的博客 521

【源】从零自学Hadoop(10):Hadoop1.x与Hadoop2.x

阅读目录 序 里程碑 Hadoop1.x与Hadoop2.x 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。 文章是哥(mephisto)写的,SourceLink   序   上一篇,我们使用Maven构建了我的MapReduce程序,并且成功的运行了Job。那么大家可能会觉得为什么要

sinodzh的专栏 303

手把手教你从入门到精通C# 操作MySql数据库

本文是《C#操作MySql数据库从入门到精通》专栏的导读,帮助大家知道学习本专栏能够获取什么!

qq_34059233的博客 1936

CADENCE 25.1打开元件库ERRORCannot perform the operation because of an exception.

摘要:解决CADENCE25.1打开元件库报错"ERRORCannotperformtheoperationbecauseofanexception"的方法:该错误通常由软件中文设置导致。解决方案为:进入Options→Preferences→MorePreferences,取消勾选两个本地语言选项后重启软件即可恢复正常。此方法简单有效,能快速解决因语言设置导致的元件库访问异常问题。(98字)

0 1022

Hadoop1.x与Hadoop2.x的区别

Hadoop1.x与Hadoop2.x的区别 1、变更介绍   Hadoop2.x相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有了很大的提高,Hadoop2中有两个重要的变更: HDFS的NameNodes可以以集群的方式布署,增强了NameNodes的水平扩展能力和可用性 MapReduce将JobTracker中的资源管理及任务生命...

ThreeAspects的博客 2655

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

【大数据】Hadoop 2.X和1.X升级优化对比

一文详解hadoop 2.X版本对于1.X版本做出的优化和升级

BugMan的博客 4117

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Hadoop1.X 与 Hadoop2.X比较

0.20.x版本最后演化成了现在的1.0.x版本0.23.x版本最后演化成了现在的2.x版本hadoop 1.0 指的是1.x(0.20.x),0.21,0.22hadoop 2.0 指的是2.x,0.23.xCDH3,CDH4分别对应了hadoop1.0 hadoop2.0。

m0_54849806的博客 1250

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

MapReduce 1.x VS 2.x架构对比

1.Hadoop 1.X架构 Hadoop 1.X的组件主要有两个 1.HDFS(HDFS V1) 2.MapReduce(MR V1) 其中HDFS是分布式文件存储系统,MapReduce是计算框架。 MapReduce 1.X是Master/Slave家头,有全局唯一的Jobtracker与多个TaskTracker。其中Master是指唯一的Jobtracker,slave是指TaskTra...

bitcarmanlee的博客 1264

三、Hadoop1.X及其组件的深度剖析

Hadoop 到底是干嘛的?它的 1.X 版本为什么总被提起?这篇文章用简单的语言帮你梳理清楚:HDFS 负责存,MapReduce 负责算,组件怎么协作一目了然。还有图、有例子,适合初学者入门,也适合复习回顾,咱们一起把“大象”看明白 🐘!

专注于 Agent 工程、AI 产品、Harness Engineering、LLM 算法等方向,OpenMathModel、Nivik 等开源项目作者 4万+

Hadoop 1.x 和 Hadoop 2.x 有什么区别?

前言 本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 YARN Hadoop 和 Hadoop 之间的最大不同是 YARN 。 YARN 是“ Yet Another Resource Negotiator ”的缩写。 Hadoop 仅仅是 HDFS 和 MapReduce 计算框架的组合。 正如我们所看到的,在 Hadoop 中, YARN 位于 HDF

Shockang的博客 1万+

简单比较hadoop1.x和hadoop2.x的区别

hadoop1.x和hadoop2.x的区别: Hadoop1.x版本: 内核主要由Hdfs和Mapreduce两个系统组成,其中Mapreduce是一个离线分布式计算框架,由一个JobTracker和多个TaskTracker组成。 JobTracker的主要作用:JobTracker是框架的中心,接收任务,计算资源,分配资源,分配任务,与DataNode进行交流等功能。决策程序失败时 重启等操...

hearting的博客 1449

hadoop1.x 与hadoop2.x 架构变化分析

Hadoop2相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有了很大的提高,Hadoop2中有两个重要的变更: (1)HDFS的NameNode可以以集群的方式布署,增强了NameNodes的水平扩展能力和高可用性,分别是:HDFSFederation与HA; (2)MapReduce将JobTracker中的资源管理及任务生命周期管理

reylee的博客 3737

Hadoop2.x的MapReduce改进

1.1 Hadoop1.x时代的MapReduce   在Hadoop1.x时代,Hadoop中的MapReduce实现是做了很多的事情,而该框架的核心Job Tracker则是既当爹又当妈的意思,如图4所示:                         图4 Hadoop1.x时代的MapReduce框架架构图   (1)首先用户程序 (JobClient) 提交了

权威 1409
上一篇: Hadoop1.x MapReduce过程详解及其性能优化
下一篇: Eclipse中Hadoop插件的配置
Rita楠神
博客等级 码龄9年 27粉丝 61原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值