Apache HAWQ的资源管理之资源管控 [作者:霍瑞龙]

FusionInsight-ELK与Apache HAWQ对比(MPP分析型数据库) 1.FusionInsight-ELK 1.1产品简介 ​Elk是一个分布式交互查询分析数据仓库引擎,支持标准的SQL2003规范,支持标准SQL对数据的并行插入、删除、修改、查询等功能。ElK是FusionInsightHD提供标准SQL接口的即时查询组件。 Elk具备以下特点: 1.支持SQL2003标准语法。 2.采用高速分布式并行计算引擎。 3.提供高性能的HDFS(Hadoop Distributed File System)结构化数据的即时及复杂分析查询功能。 4. 阅读详情

资源是软件系统中重要的对象,通常所讲的资源包括:内存,CPU时间片,网络I/O和磁盘读写带宽等。


在Apache HAWQ中,我们利用资源管理器来完成对这些重要资源的管理。它包含两方面的功能:


1) 对外与资源拥有者(如操作系统,YARN等)通信完成资源的申请和释放;


2) 对内进行资源管理,并将其分配给使用者,同时管控使用者,防止被资源过度使用。


由于资源的稀缺性,并发的查询在HAWQ中执行时必然产生对资源的竞争。为了避免一些查询过多占用资源而使得其他查询无法被调度或者执行,我们采用了资源管控(Resource Enforcement)的方法,从而保证不同查询之间对资源使用的公平性,最终达到保证系统可用性,提高系统吞吐量和稳定性的目的。


鉴于内存和CPU的工作原理和特性不一样,我们采用不同的策略来分别处理。具体来讲:


1) 内存在使用时以字节(byte)为单位,通过申请(malloc)和释放(free)以固定的量来完成。一次申请只存在成功或者失败两种可能;


2) 而CPU时间片则是通过操作系统内核的任务调度器的动态调度给不同的执行进程,一个进程在执行阶段可能会多次被换入换出到CPU上,因此它是"相对比例“的方式。


下面就HAWQ中资源管控的设计和实现从内存和CPU两方面进行介绍:


1. 内存管控


查询计划(Query Plan)是一个树形的结构(如图1中TPC-H Query 12的查询计划),它是查询在执行阶段的逻辑和物理表示。该结构中的各个操作符(Operator)都需要或多或少的内存来完成执行。


图1: TPC-H Query 12的查询计划


理论上来讲,内存的管控可以做到这棵树的任何粒度上:小到查询处理的每个操作上,大到整个查询上。但实际上由于对期望内存用量的估计不准,许多操作符都可能超过预计的内存用量。换句话说,如果我们在较低级别的操作符上进行内存用量的管控,将会出现频繁的内存不足(Out of Memory),从而导致大量的查询被中止(Query Abort)。很显然,这会使 HAWQ变成不可用的系统。实验表明,查询级别也存在同样的问题。


观察并发的查询在HAWQ中执行的情况就可以发现:大部分进程在其生命期内使用内存的模式是“申请 - 执行 - 释放”的重复过程。鲜有进程会申请所有内存,执行完毕后才释放所占用内存。如果我们在物理节点的级别管控 所有并发执行的查询的内存用量,就可以达到“错峰”的效果。


如果把HAWQ看成一个应用,我们只需要保证HAWQ中所有查询用到的内存总量不会超过资源管理器从资源所有者申请给它的资源总量即可。这样的处理会带来两个好处:


1)绝大部分情况下所有并发的查询可以顺利执行;


2)HAWQ占用的内存不会超过其申请到的总量,保证集群中其他应用的可用性(如Hadoop的Map Reduce任务等)。



图2:内存管控器的原理


图2给出了HAWQ中内存管控器(Memory Enforcer)的原理以及与其他模块的交互过程(如资源管理器等)。而它的实现主要包括以下模块:


1) 实际内存用量监控器(Memory Monitoring Framework ):负责在每个从节点上统计不同粒度上的操作符的内存使用量,并汇总到高层次级别(如查询级别,会话级别,节点级别等)。


2) 期望内存用量估计与更新:负责从主节点上的资源管理器得到当前从节点上的内存可用量(Segment Memory Quota),该值将作为我们判断是否存在“过度”使用内存的标准。


3) 热点区域处理器(Red Zone Handler):负责检查当前从节点上所有的查询执行器所用的内存量是否超过期望内存用量的一定比例(如80%)。如超过,它就会启动异常查询处理器来清除内存用量较多的查询,避免当前从节点“过热”。


4) 异常查询处理器(Runaway Query Terminator):负责遍历当前从节点上执行的所有查询,找出内存用量最大者并将其撤销,从而使当前从节点进入合理的内存使用状态。


2. CPU管控


直观上来看,在不同查询间协调CPU时间片,从而让它们占用不同比例的CPU资源有一点无从下手。这里,我们借助Linux内核提供的Control Group(CGroup)。它可以将内存,CPU,网络,磁盘读写等资源子系统或者它们的任意组合分配给一个或一组正在执行的进程,并限制其用量保持在合理范围内。


在HAWQ中,一个查询的执行实际上由各个从节点上的一组查询执行器进程(Query Executor Process)完成。


基于此,我们通过查询代价计算出查询的CPU资源(以vcore为单位),然后将查询的vcore转换成CGroup中对应的cpu.shares的权重,最后借助CGroup调度属于该查询的CPU时间片,从而达到CPU管控的目的。


CPU管控的典型处理过程如图3所示:


图3:CPU Enforcer原理


详细来讲,它主要包含以下过程:


1) 主节点(Master)上的资源管理根据查询计划和查询代价得到查询需要的CPU资源(以vcore为单位)。


2) 查询计划分发器(Dispatcher)将查询计划和资源分发到参与该查询的从节点(Segment)上。


3) 从节点上的查询执行器接受到查询计划和CPU资源量后,向从节点上的资源管理发送MoveToCGroup的请求。


4) 从节点上的资源管理器将该请求交给它的一个专门负责操作CGroup的服务线程。


5) 从节点上的服务线程将该QE进程的PID加入到CPU子系统中对应的cgroup.procs,并将CPU资源量vcore转换后写入cpu.shares。


6) 在查询执行器执行阶段,CGroup将根据不同查询中的cpu.shares的权重的比例在内核中分配CPU时间片。


7) 查询执行器执行结束后,在进程退出前它会向从节点上的资源管理发送MoveOutCGroup的请求,这时服务线程会将对应的PID从cgroup.procs中移除。


并发执行的查询对应的CGroup的目录结构如图4所示:


图4:并发的查询对应的CGroup的目录结构


鉴于篇幅的关系,本文只简要介绍了Apache HAWQ中内存和CPU等重要资源管控的设计和实现。如果大家感兴趣,我们可以在后续的分享中详细介绍各个部分。


对于热衷开源,愿意一起推动国内开源大数据社区的朋友,可以贡献到https://github.com/apache/incubator-hawq。


更多精彩内容,请关注大数据社区公共帐号!

长按识别图片二维码

解密Apache HAWQ ——功能强大的SQL-on-Hadoop引擎 [作者:常雷] 作者:常雷 博士,Pivotal中国研发中心研发总监,HAWQ并行Hadoop SQL引擎创始人,Pivotal HAWQ团队负责人,曾任EMC高级研究员。专注于大数据与云计算领域,在国内外顶级数据管理期刊和会议发表数篇论文,并拥有多项美国专利。 分享主要分为以下五个部分: HAWQ基本介绍;HAWQ架构以及各重要组件的基本原理;HAWQ的中短期规划;如何贡献到HAWQ和成为Apach 阅读详情

相关推荐

Apache HAWQ集群的安装部署

最近Pivotal公司发布了Apache HAWQ的企业版HDB 2.0,因功能强大,性能出色,很多人已经迫不及待想要安装来玩玩了。今天我们就来聊聊怎么部署强大的HAWQ 2.0吧。   企业版的HAWQ你花了钱基本就可以躺着等它安装好了,所以这里先不讨论,我们来讲讲社区版 HAWQ的多节点集群的安装部署。   ( 想装个单节点来试试的同学也可以参考这里:https://c

“大数据社区”博客 9623

Apache HAWQ:高性能大数据SQL查询引擎

Apache HAWQ:高性能大数据SQL查询引擎 项目介绍 Apache HAWQ是一款由Apache软件基金会孵化的项目,它是一个原生Hadoop的SQL查询引擎,将MPP(大规模并行处理)数据库的关键优势与Hadoop的可扩展性和便利性相结合。HAWQ能够直接从HDFS读取和写入数据,并提供了业界领先的性能和线性可扩展性。无论是在本地部署还是云环境中,HAWQ都是处理大规模数据集的理想选择。...

gitblog_00019的博客 581

HAWQ ——功能强大的SQL-on-Hadoop引擎

HAWQ ——功能强大的SQL-on-Hadoop引擎

杨鑫newlife的专栏 3369

Apache HAWQ 项目常见问题解决方案

Apache HAWQ 项目常见问题解决方案 项目基础介绍 Apache HAWQ 是一个 Hadoop 原生的 SQL 查询引擎,结合了 MPP(大规模并行处理)数据库的关键技术优势和 Hadoop 的可扩展性和便利性。HAWQ 能够直接从 HDFS 读取和写入数据,提供行业领先的性能和线性可扩展性。它为用户提供了完整的、符合标准的 SQL 接口,支持 ANSI SQL-92、SQL-99、SQ...

gitblog_00824的博客 304

大数据+常雷-新一代数据仓库:Apache+HAWQ

大数据+常雷-新一代数据仓库:Apache+HAWQ 大数据+常雷-新一代数据仓库:Apache+HAWQ

Mac Pro M2芯片成功安装麒麟银河高级服务器虚拟机

本人用的是1、Macbook m2pro芯片 16G+5123、安装homebrew、wegt、qemu。

vagatable_XX的博客 3306

探索Apache HAWQ:大数据处理的强大引擎

探索Apache HAWQ:大数据处理的强大引擎 在当今数据驱动的世界中,高效处理和分析大数据的能力至关重要。Apache HAWQ,作为一个Hadoop原生的SQL查询引擎,以其卓越的性能和线性可扩展性,成为了大数据处理领域的佼佼者。本文将深入介绍Apache HAWQ,分析其技术特点,并探讨其在实际应用中的场景。 项目介绍 Apache HAWQ是一个Hadoop原生的SQL查询引擎,它结合了...

gitblog_01145的博客 1157

四、Burpsuite工具之proxy模块详解-intercept功能

过了一个年,感觉好久都没有更新了,今天就从burpsuite的更新开始吧。前面已经说过了burpsuite的安装和proxy代理的配置,今天说一下proxy模块中非常有用的intercept功能。intercept是拦截的意思,在这里相当于拦截请求,可以实时的对请求进行拦截,然后请求参数的篡改,再把请求放通,从而达到实时修改请求的功能intercept的总体界面如下图所示其中下图红框中是可以修改请求目标的相关信息。

SmileAssassn的博客 1663

HAWQ 技术解析(一) —— 功能概述

SQL on Hadoop、HAWQ 的历史和现状、HAWQ 简介

wzy0623的专栏 3万+

C语言入门系列:指针入门(超详细)

指针与内存是息息相关的,在学习指针之前,先回忆下内存相关的知识。内存是程序运行期间存储数据的硬件设备,为了方便管理,计算机将内存划分为一个个小的单元,每个单元的大小是一个字节。如果把内存比作一栋酒店大楼,内存单元就像是一个个小的房间,数据就住在小房间里。我们知道,为了客人能准确找到属于自己的房间,酒店房间是有房号的。同样,内存单元也是有编号的,这个编号在计算机中称之为“内存地址。

epitomizelu的专栏 3699

SAP-MM-采购过账接口(与WMS集成)-代码

1、判断传入值非空检验; 2、判断过账日期是否允许在当前期间; 3、判断是否为集采订单业务,是否审批完成; 4、判断是否发布标准成本发布(此业务场景与价格控制3+S有关) 5、保存日志表; 6、判断业务公司订单审批状态; 7、创建STO交货单、集采公司订单过账、STO公司间创建交货单、交货单过账(两步法)、过账失败回滚(冲销交货、删除交货单、冲销集采入库)

qq_32198063的博客 421

Apache HAWQ 项目使用教程

Apache HAWQ 项目使用教程 1. 项目的目录结构及介绍 Apache HAWQ 是一个高性能的分布式 SQL 查询引擎,专为 Hadoop 环境设计。以下是项目的主要目录结构及其介绍: bin: 包含 HAWQ 的可执行文件和脚本,用于启动、停止和管理 HAWQ 集群。 conf: 包含 HAWQ 的配置文件,如 hawq-site.xml 和 pg_hba.conf。 docs: 包...

gitblog_00710的博客 514

UCIE Specification详解(五)

Logical Physical Layer(逻辑物理层)

Crazzy_M的博客 1229

HAWQ 技术解析(十三) —— 资源管理

HAWQ 如何管理资源、资源管理器配置最佳实践、独立资源管理器、整合YARN、资源队列层次、查询资源管理器状态

wzy0623的专栏 7677

第1集:面试官视角:AIOps 核心能力模型与面试项目全局搭建【免费试读】

本文介绍了一门面向AIOps工程师的面试实战课程,针对当前运维领域薪资差距明显的痛点,帮助学员系统掌握企业级AIOps平台开发能力。课程承诺提供可直接用于面试和生产环境的代码实现,从零构建模块化AIOps平台。第一集重点讲解了面试官视角下的核心能力模型,并指导学员搭建项目基础环境,包括Python虚拟环境配置、本地大模型部署(Ollama)以及智能巡检Agent的代码实现。课程强调实战导向,通过40集系统讲解,帮助学员实现薪资40-60万的职业跃升。

qq_2937655951的博客 616

Transformer实战(32)——Transformer模型压缩

在本节中,我们学习了如何在硬件资源受限的情况下减轻运行大模型的负担。我们介绍了如何通过蒸馏、剪枝和量化从训练好的模型中提取高效模型。预训练轻量级的通用语言模型(如 DistilBERT) 可以在各种任务上进行微调,并表现出与非蒸馏模型相当的性能。随着数据量的不断增加,我们希望模型能够更快地运行,在这方面,高效 Transformer 起着至关重要的作用。

盼小辉丶的博客 2632

Oushu Database和Apache HAWQ的不同

全新执行引擎,充分利用硬件的所有特性,比Apache HAWQ性能高出5-10倍 支持Update和Delete,以及索引 C++可插拔外部存储 替换JAVA PXF,性能高数倍,无需安装部署PXF额外组件,极大简化了用户安装部署和运维 原生支持CSV/TEXT外部存储 可以用于不同集群之间共享数据,比如数据仓库和集市之间共享及传输数据 可以用于高速数据加载和数据导出 可以实现高速备份和恢复 可以实现可插拔文件系统:比如S3, Ceph等 可以实现可插拔文件格式:比如...

新一代数据仓库明星企业偶数科技 206

C 语言多文件编程 : 大型程序的组织与管理

本文介绍了C语言多文件编程的核心概念与实践方法。主要内容包括:1. 多文件编程的必要性:解决单文件编程在大型项目中的维护和协作问题;2. 文件组织方式:头文件(.h)负责声明接口,源文件(.c)实现具体功能;3. 编译链接过程:分阶段编译和链接多个源文件;4. 头文件设计原则:包含接口声明、使用保护机制、保持自包含性;5. 模块化实践:通过示例展示学生信息管理系统的模块划分;6. 构建工具:介绍Makefile的编写和使用方法。文章还提供了创建静态库和动态库的指导,并强调了模块化设计、信息隐藏等软件工程原则

2503_91057718的博客 1948

源码编译ApacheHAWQ

文章目录参考源码编译hawq下载添加用户gpadminInstall dependencies on Rad Hat/CentOS 7.XDependenciesinstall hawq on Rad Hat/CentOS 7.X问题汇总问题解决方法问题解决方法问题解决方法问题解决方法问题解决方法问题解决方法问题解决方法问题解决方法 参考 自己博客 源码编译hawq 下载 # https://github.com/apache/hawq 添加用户gpadmin ># groupadd -g 3030

qq_23490833的博客 915

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

HDB—Apache HAWQ系统要求(二)

本章主题:主机内存配置HAWQ内存配置无密码的SSH配置磁盘要求网络要求端口要求Umask要求遵循这些准则来配置每台将运行Apache HAWQ或PXF服务的主机。主机内存配置为了防止Apache HAWQ集群中的数据丢失或损坏,您必须在每台主机上配置内存,以便由于OOM条件而导致Linux内存不足(OOM)杀手进程永不杀死HAWQ进程。(HAWQ使用自己的规则来强制执行内存限制。)对于HAWQ的...

周源的专栏 972

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

HAWQ 技术解析(三) —— 基本架构

HAWQ 的架构、表的分布与存储、运行时弹性查询、资源管理、HDFS 目录缓存、管理工具、高可用、冗余和容错

wzy0623的专栏 8331

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

HAWQ 取代传统数仓实践(五) —— 自动调度工作流(Oozie、Falcon)

Oozie 简介、建立工作流前的准备、用 Oozie 建立定期 ETL 工作流、Falcon 简介、用 Falcon process 调度 Oozie 工作流自动执行

wzy0623的专栏 8685

【遇见Doris】Apache Doris在京东双十一大促中的实践

Doris线下沙龙完美收官!本次沙龙邀请了来自百度、美团、京...

ucanuup_的博客 271

apache Web服务器资源使用限制配置

本文出自 “王达博客” 博客,转载请与作者联系! 作者已授权本博客转载 以下内容摘自笔者编著的《网管员必读——网络应用》(第2版)一书: 3.4.3Apache Web服务器资源使用限制配置 “资源使用限制”就是要限制用户对网站特定资源(如目录、服务器硬件等)的访问。相关指令包括:LimitRequestBody、LimitRequestFields、Li...

weixin_34416754的博客 322

Hadoop 个人学习笔记(一)——HAWQ介绍

Hadoop 1.Hadoop是什么? ​ 开源的 分布式存储 分布式计算 2.核心部分 ​ HDFS:(系统)分布式文件系统,用于存储海量的数据 ​ MapReduce:(框架)并行处理框架,实现任务分解和调度 ​ 其他 : ​ HIV ​ HBASE (HDFS的区别,它可以提供数据的随机读写和实时访问,实现对表数据的读写功能) ​ zookeeper (监控,维护) 3.优势 ​ 1.高扩展 ​ 2.低成本 ​ 3.成熟的生态圈 4.HDFS 4.1基本概念 ​ 块(Block):HDF

qq_42349305的博客 651

小程序Skyline原生网页不支持-东方仙盟

时间线:2020 年前后小程序纯 WebView 渲染,嵌网页是标准能力;2023 年 Skyline 正式版上线后,新引擎没有移植web-view,官方标注"暂不考虑"。根因:Skyline 用独立渲染线程和原生视图树取代了浏览器内核,web-view这个独立浏览器实例接不进新的合成与手势管线,架构方向上不相容。替代方向:网页单独放在一个的承载页里,Skyline 页面通过路由跳转混跳进入,页面间用参数和事件通道通信。简化路径:第三方不可控页面走通用承载页(必要时半屏弹出);

cybersnow精通 28 门计算机语言,凭借其超凡的技术能力,成功开发过上万个应用,广泛涉及政府、商业、个人等众多领域,甚至在检察院、环保局、公安局等专业场景中也大放异彩。不仅熟练掌握单片机和物联网开发,在软件架构设计方面更是独树一帜,自创了跨平台软件 321
上一篇: Apache HAWQ 基于 YARN 的弹性资源管理 [作者:金毅]
下一篇: 走进大数据开源项目 [作者:翁岩青]
大数据社区
博客等级 码龄11年 45粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值