Apache HAWQ LIBYARN模块简介 [作者:林文]

解密Apache HAWQ ——功能强大的SQL-on-Hadoop引擎 [作者:常雷] 作者:常雷 博士,Pivotal中国研发中心研发总监,HAWQ并行Hadoop SQL引擎创始人,Pivotal HAWQ团队负责人,曾任EMC高级研究员。专注于大数据与云计算领域,在国内外顶级数据管理期刊和会议发表数篇论文,并拥有多项美国专利。 分享主要分为以下五个部分: HAWQ基本介绍;HAWQ架构以及各重要组件的基本原理;HAWQ的中短期规划;如何贡献到HAWQ和成为Apach 阅读详情

Apache Hadoop YARN (Yet Another Resource Negotiator)是Hadoop系统的资源管理器,为各类应用程序进行资源的管理和调度。Apache HAWQ通过libyarn模块,把自己作为一个Hadoop应用,注册到YARN的Resource Manager,这样就可以与Map Reduce、Spark等其他应用一起被纳入YARN的资源管理中,由YARN统一对资源进行管理和调度。本文将简单介绍HAWQ libyarn模块的基本原理和功能。


YARN的基本设计思想是将MapReduceV1中JobTracker的两个主要功能——资源管理和作业调度拆分成两个独立的服务:一个全局的资源管理器Resource Manager和多个针对Hadoop应用的Application Master。ResourceManager负责整个Hadoop系统中所有应用的资源管理和分配,每个应用对应一个Application Master实例,负责相应的调度和协调。每个节点上有一个Node Manager实例,监控应用程序的资源使用情况,并且向Resource Manager汇报,以及负责处理来自Application Master启动或停止container的请求。容器container是YARN对资源的一种抽象,可以看做资源分配的单位。



HAWQ的资源管理有NONE和YARN两种模式,可以在hawq-site.xml中进行配置:



当HAWQ运行在NONE模式下,HAWQ会独占集群的资源,对各节点的资源进行调度和分配;当运行在YARN模式下,HAWQ会把自己当做Hadoop应用,与YARN的Resource Manager协调申请、释放资源。HAWQ的libyarn模块,从本质上讲,是类似hadoop-yarn Java版的C++实现。HAWQ通过使用libyarn所提供的接口,创建一个Unmanaged Application Master实例,与YARN的全局Resource Manager以及各个节点的Node Manager进行交互,从而实现应用程序的注册、资源的申请与释放等各项功能。


接下来讲一下HAWQ是怎样通过Libyarn接口,完成注册、申请/释放资源。Libyarn接口定义可以参考HAWQ代码中LibYarnClient.h文件(/depends/libyarn/src/libyarnclient/LibYarnClient.h)

  1. 应用启动后,首先需要通过调用createJob函数向Resource Manager注册自己,只有注册成功后,才有资格向RM申请资源。

  2. 如果createJob调用成功,一个独立的心跳线程会被创建并且定时向Resource Manager发送心跳RPC汇报自己状态。

  3. 应用申请资源时,调用addContainerRequests函数指明所需container的个数以及优先级等信息,然后调用allocateResources函数向Resource Manager申请资源。

  4. 应用申请资源成功后,调用activeResources函数向资源所在的各个节点NodeManager发送active container的请求。

  5. 在应用运行过程中,可以调用getContainerStatuses函数向NodeManager获取该节点上的container的状态信息;或者调用getContainerReports函数向ResourceManager获取container报告。

  6. 资源使用完毕,应用的Application Master需要调用releaseResources释放资源。

  7. 当应用运行结束,调用finishJob函数向RM注销自己。


目前libyarn模块已经支持Kerberos安全协议和HA,用户可以根据应用的需求在yarn-client.xml文件中配置,具体配置请参考HAWQ用户手册。

Hadoop YARN的HA功能是利用ZooKeeper,配置一个Standby Resource Manager,如果配置自动Failover功能,当Acitve Resource Manager发生故障停止运行时,Standby Resource Manager会自动切换成Active。在HAWQ中,Application Master调用libyarn接口发现经过若干次(次数可以在yarn-client.xml配置)尝试连接不到ActiveRM时,会自动尝试连接StandbyRM,直到成功。

Apache HAWQ集群的安装部署 最近Pivotal公司发布了Apache HAWQ的企业版HDB 2.0,因功能强大,性能出色,很多人已经迫不及待想要安装来玩玩了。今天我们就来聊聊怎么部署强大的HAWQ 2.0吧。   企业版的HAWQ你花了钱基本就可以躺着等它安装好了,所以这里先不讨论,我们来讲讲社区版 HAWQ的多节点集群的安装部署。   ( 想装个单节点来试试的同学也可以参考这里:https://c 阅读详情

相关推荐

新一代数据仓库HAWQ的体系架构

从首次提出到发展至今,数据仓库大概可以分为三个阶段,第一阶段是采用共享架构的传统数据仓库,这类数仓主要是面向传统的BI分析,可扩展性较差,大概是十几个节点;第二阶段是无共享架构的MPP,这类数仓主要是面向有复杂需求的传统BI分析,典型的代表有Teradata、Vertica、Greenplum等等;前两个阶段的数据仓库架构都存在缺乏弹性、不易调整、难以实现秒级扩容等问题,而新一代数据仓库克服了这些

新一代数据仓库明星企业偶数科技 2098

hawq 集成yarn

安装好hawq,参考:http://blog.youkuaiyun.com/u011563666/article/details/78814520 hawq配置yarn支持分为yarn和yarn HA。本文简单介绍hawq配置yarn。配置yarn HA请参考: http://hawq.incubator.apache.org/docs/userguide/2.1.0.0-incubating/resou

jpc00939的博客 462

工业界实战:小红书推荐系统中的AB测试策略解析——分层、Holdout与反转实验

本文深入解析了小红书推荐系统在工业界实践中采用的AB测试核心策略。重点阐述了分层实验如何解决多实验并行与干扰问题,Holdout机制如何作为评估黄金标准提供稳定基准,以及反转实验如何作为全量上线后的终极安全网进行风险控制。这些策略共同构成了科学、严谨的线上评估体系,是保障推荐系统迭代效果与决策质量的关键。

transformer2023的博客 479

HAWQ集成Yarn HA作为资源管理服务

一、第一步当然是配置YARN HA,这在使用ambari管理时很简单,这里不在赘述。 二、建立HAWQ的专用资源队列queue 不要手工编辑scheduler设置,最方便的当然是使用queue manager,入口看图。 添加一个hawq_queue 三、重启受影响的yarn服务 添加或修改queue之后,ambari管理界面中会有提示,点击重启即可。 四、编辑hawq的配置文件 1,修改ha...

weixin_33854644的博客 246

从零到一:用AXI DataMover在Zynq MPSoC上实现高效DMA传输(附Vitis HLS驱动示例)

本文详细介绍了如何在Xilinx Zynq UltraScale+ MPSoC平台上使用AXI DataMover实现高效的DMA数据传输。通过解析AXI DataMover架构、Vivado工程配置、Vitis HLS驱动开发及性能优化技巧,帮助开发者快速构建高性能数据传输通道,并提供了可直接复用的代码示例。

weixin_42520796的博客 430

S4 Hana SD -信贷管理 - 02

在S4版本中,客户的信用管理数据在事务代码BP维护,业务伙伴角色是UKM000。在维护过程中,我们并不能直接输入信贷控制范围这个组织架构,而是需要输入一个信用段,并且在信用段的维度下去维护相应信用管理数据。对于信用段,可以分为主信用段(信用段是0000)和其他临时信用段,我们可以通过配置把次级信用段的客户信贷负债汇总到主信用段。当然,在后台也有配置,会把信用段和信贷控制范围这两者进行关联.3.2SPROIMG > 财务供应链管理 > 信用管理 > 信贷风险监视 > 主数据 > 创建信用段。

weixin_46525734的博客 1972

Apache HAWQ 基于 YARN 的弹性资源管理 [作者:金毅]

[作者:金毅] 本文概要介绍 Apache HAWQ 通过 YARN 申请和归还资源的行为。其弹性资源管理功能使得 Apache HAWQ 能够与其它Hadoop应用高效共存,从而达到充分利用Hadoop平台计算资源服务于实际业务需求的目的。

“大数据社区”博客 1892

(11-3-01 )

以太坊(Ethereum)是一种基于区块链技术的开源平台和加密货币。它于2015年由Vitalik Buterin和Gavin Wood等开发者创建,并成为比特币之后最受欢迎的加密货币之一。以太坊不仅支持加密货币交易,还为开发者和企业提供了构建去中心化应用程序的强大工具。在本节的内容中,将实型一个完整的机器学习模型项目,智能检测出以太坊区块链中的非法账户。从问题定义到模型建立和评估,再到最终的总结和建议。本实例突出了处理类别不平衡问题的重要性,并展示了如何使用多种机器学习算法来解决实际问题。此外,通过数据可

码农三叔 2171

Yarn模式下Apache HAWQ的运行 [作者:白洁]

Apache HAWQ支持两种类型的资源管理模式,Standalone模式和Yarn模式。当Apache HAWQ集群在Standalone模式下运行时,会独占整个集群的资源而不去考虑其他共存的应用程序的资源使用需求。当Apache HAWQ集群在Yarn模式下运行时,Apache HAWQ会作为Yarn的一个应用程序动态地从Yarn申请资源,从而达到Apache HAWQ与其他Yarn应用程

“大数据社区”博客 3424

大学生数学建模赛题解析及优秀论文-2021电工杯A题高铁牵引供电系统运行数据分析及等值建模(附Python代码)

我国是世界上电气化铁路运营里程最长、服役电力机车型号最多、运营最 繁忙的国家。截至 2020年底,我国铁路年消耗电量约800亿千瓦时,约占三峡 年总发电量的 80%。图1为高速铁路牵引供电系统示意图,主要包括牵引变电所、牵引网和动车 组。牵引变电所将 220kV三相电压转换为满足电力机车运行的27.5kV单相电压, 其核心元件是牵引变压器。牵引网由馈线、接触网、钢轨、回流线等组成,完成 对电力机车的送电任务。...

wenyusuran的专栏 3172

深度学习实战42-基于大模型开发MathGPT的原理介绍,让数学问题智能解答变为可能

大家好,我是微学AI,今天给大家介绍一下深度学习实战42-基于大模型开发MathGPT的原理介绍,让数学问题智能解答变为可能。在去年ChatGPT的发布后,各种国内外的大语言模型层出不穷涌现,但是大家都知道现在的模型的诟病的数学能力不足,就算是简单的数学题都可能算错,今天我就来给大家引入MathGPT的模型,用来解决GPT解决数学问题,对于简单的初中数学高中数学都可以解决,让数学问题精准答题得到实现。

微学AI的博客 1653

hawq入门

1:高性能吞吐量和低延迟 HAWQ的并行处理架构提供了高性能吞吐量和低延迟 - 可能接近实时的查询响应,可以扩展到PB级数据集。在Hadoop本地操作。 SQL兼容性 利用熟悉的技能 实现基于SQL的应用程序和BI /数据可视化工具的更高级别的兼容性。执行复杂的查询和连接,包括汇总和嵌套查询。 Hadoop生态系统的可管理性和整合 集成和管理与YARN。提供Ambari。

步步为赢的专栏 1241

RAP 语义键:让 UUID 世界变得可读、可导航、可校验

RAP 语义键的核心价值与实现要点 语义键(Semantic Key)是 ABAP RAP 模型中连接技术实现与业务体验的关键设计:通过为实体指定一组业务可读的标识字段(如订单号、物料编码等),在保持技术主键(如UUID)不变的同时,显著提升用户界面的可读性和导航体验。 主要优势: 提升UI可读性:Fiori元素会突出显示语义键字段,帮助用户快速识别关键业务数据 改善导航体验:OData URL会使用可读的语义键而非技术ID,便于分享和排查问题 降低沟通成本:业务人员能准确引用有意义的业务标识而非技术ID

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 160

HAWQ 技术解析(一) —— 功能概述

SQL on Hadoop、HAWQ 的历史和现状、HAWQ 简介

wzy0623的专栏 3万+

setup和hold互卡问题剖析

当然,在不同corner下出现setup和hold互卡的情况也是最常见的。那么,一段timing path,如果launch clock latency为10ns,capture clock latency也为10ns,它们之间并没有common path,Data latency为1ns,Clock period为5ns。在计算setup时,launch path的ocv一般都是乘一个大于1的系数,假设是1.2,capture path的derate取0.8。这就变成了setup和hold互卡的情况了。

芯冰乐 1179

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

yarn初识

用自己的话表述YARN和MR之间的区别和联系 YARN是一个资源管理和作业框架,MR是计算框架 但。MR1中,JobTracker作为核心,管理集群中的每一台机器以及所有的job分配,需要很大的资源消耗,并存在单点故障。MR2以YARN作为资源和作业管理系统,把JobTracker所做的工作拆成两部分,一个是资源管理器ResourceManager,负责所有任务的资源管理和分配,一个是任务调度器A

1039

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

HAWQ 技术解析(十八) —— 问题排查

查询性能问题、拒绝查询资源请求、VMEM 使用超高引起的查询取消、segment 没在 gp_segment_configuration 中出现、调查标记为 Down 的 segment、处理 segment 资源碎片

wzy0623的专栏 7241

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

HDB—Apache HAWQ系统要求(二)

本章主题:主机内存配置HAWQ内存配置无密码的SSH配置磁盘要求网络要求端口要求Umask要求遵循这些准则来配置每台将运行Apache HAWQ或PXF服务的主机。主机内存配置为了防止Apache HAWQ集群中的数据丢失或损坏,您必须在每台主机上配置内存,以便由于OOM条件而导致Linux内存不足(OOM)杀手进程永不杀死HAWQ进程。(HAWQ使用自己的规则来强制执行内存限制。)对于HAWQ的...

周源的专栏 972

对HAWQ进行TPC-DS测试

hawk跑TPC-DS 创建文件夹,把TPC工具放入 cd /tpcds/v2.1.0/tools/ ./dsdgen -DIR /opt/3t_data -SCALE 3000-parallel 20 -child 20 -TERMINATE N [root@node2 /]# mkdir tpcds_3t [root@node2 /]# ls bin  boot

huangmr的专栏 2714

HAWQ 技术解析(十七) —— 最佳实践

HAWQ 参数配置最佳实践、HAWQ 操作最佳实践、HAWQ安全最佳实践、资源管理最佳实践、数据管理最佳实践、数据查询最佳实践

wzy0623的专栏 5029

记一次YarnClient使用过程中遇到的问题

问题现象: yarnClient通过kerbroes认证,查询nodereport正常,但是当使用getApplications时,查询失败,日志中提示从客户端发送给RM的protobuff格式不对,在RM产生了异常信息。 ...

weixin_42305433的博客 763

HAWQ 技术解析(十三) —— 资源管理

HAWQ 如何管理资源、资源管理器配置最佳实践、独立资源管理器、整合YARN、资源队列层次、查询资源管理器状态

wzy0623的专栏 7677

HAWQ 取代传统数仓实践(十九) —— OLAP

OLAP 简介、OLAP 实例、交互查询与图形化显示

wzy0623的专栏 7778

ElasticSearch(一)API的使用

elasticsearch的API使用

qq_40358025的博客 225

企业如何同时管理用电安全、电能质量和节能降碳?从异常溯源看施耐德电气EEO的协同管理价值

通过整合电力运行信息,并结合EEO资产健康模块、EEO电能质量模块与EEO能碳管理模块,企业可以围绕设备、回路和负荷建立更连续的分析流程,使不同专业人员能够基于相互关联的数据开展判断。企业需要进一步核对异常出现的时间、涉及的配电回路、生产负荷变化以及设备运行状态,才能判断问题来自正常的生产调整、设备运行异常,还是需要采取措施的电能质量问题。从关键回路的异常排查入手,逐步完善设备数据、专业分析和治理验证流程,企业可以让用电安全、电能质量与节能降碳从分散的管理任务,转变为相互关联的日常运营工作。

科技,技术,行业类博主 188
上一篇: 大数据数据库的技术对垒:MapReduce vs. MPP[作者:李明]
下一篇: 解密Apache HAWQ ——功能强大的SQL-on-Hadoop引擎 [作者:常雷]
大数据社区
博客等级 码龄11年 45粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值