Apache HAWQ的资源管理之资源管控 [作者:霍瑞龙]

FusionInsight-ELK与Apache HAWQ对比(MPP分析型数据库) 1.FusionInsight-ELK 1.1产品简介 ​Elk是一个分布式交互查询分析数据仓库引擎,支持标准的SQL2003规范,支持标准SQL对数据的并行插入、删除、修改、查询等功能。ElK是FusionInsightHD提供标准SQL接口的即时查询组件。 Elk具备以下特点: 1.支持SQL2003标准语法。 2.采用高速分布式并行计算引擎。 3.提供高性能的HDFS(Hadoop Distributed File System)结构化数据的即时及复杂分析查询功能。 4. 阅读详情

资源是软件系统中重要的对象,通常所讲的资源包括:内存,CPU时间片,网络I/O和磁盘读写带宽等。


在Apache HAWQ中,我们利用资源管理器来完成对这些重要资源的管理。它包含两方面的功能:


1) 对外与资源拥有者(如操作系统,YARN等)通信完成资源的申请和释放;


2) 对内进行资源管理,并将其分配给使用者,同时管控使用者,防止被资源过度使用。


由于资源的稀缺性,并发的查询在HAWQ中执行时必然产生对资源的竞争。为了避免一些查询过多占用资源而使得其他查询无法被调度或者执行,我们采用了资源管控(Resource Enforcement)的方法,从而保证不同查询之间对资源使用的公平性,最终达到保证系统可用性,提高系统吞吐量和稳定性的目的。


鉴于内存和CPU的工作原理和特性不一样,我们采用不同的策略来分别处理。具体来讲:


1) 内存在使用时以字节(byte)为单位,通过申请(malloc)和释放(free)以固定的量来完成。一次申请只存在成功或者失败两种可能;


2) 而CPU时间片则是通过操作系统内核的任务调度器的动态调度给不同的执行进程,一个进程在执行阶段可能会多次被换入换出到CPU上,因此它是"相对比例“的方式。


下面就HAWQ中资源管控的设计和实现从内存和CPU两方面进行介绍:


1. 内存管控


查询计划(Query Plan)是一个树形的结构(如图1中TPC-H Query 12的查询计划),它是查询在执行阶段的逻辑和物理表示。该结构中的各个操作符(Operator)都需要或多或少的内存来完成执行。


图1: TPC-H Query 12的查询计划


理论上来讲,内存的管控可以做到这棵树的任何粒度上:小到查询处理的每个操作上,大到整个查询上。但实际上由于对期望内存用量的估计不准,许多操作符都可能超过预计的内存用量。换句话说,如果我们在较低级别的操作符上进行内存用量的管控,将会出现频繁的内存不足(Out of Memory),从而导致大量的查询被中止(Query Abort)。很显然,这会使 HAWQ变成不可用的系统。实验表明,查询级别也存在同样的问题。


观察并发的查询在HAWQ中执行的情况就可以发现:大部分进程在其生命期内使用内存的模式是“申请 - 执行 - 释放”的重复过程。鲜有进程会申请所有内存,执行完毕后才释放所占用内存。如果我们在物理节点的级别管控 所有并发执行的查询的内存用量,就可以达到“错峰”的效果。


如果把HAWQ看成一个应用,我们只需要保证HAWQ中所有查询用到的内存总量不会超过资源管理器从资源所有者申请给它的资源总量即可。这样的处理会带来两个好处:


1)绝大部分情况下所有并发的查询可以顺利执行;


2)HAWQ占用的内存不会超过其申请到的总量,保证集群中其他应用的可用性(如Hadoop的Map Reduce任务等)。



图2:内存管控器的原理


图2给出了HAWQ中内存管控器(Memory Enforcer)的原理以及与其他模块的交互过程(如资源管理器等)。而它的实现主要包括以下模块:


1) 实际内存用量监控器(Memory Monitoring Framework ):负责在每个从节点上统计不同粒度上的操作符的内存使用量,并汇总到高层次级别(如查询级别,会话级别,节点级别等)。


2) 期望内存用量估计与更新:负责从主节点上的资源管理器得到当前从节点上的内存可用量(Segment Memory Quota),该值将作为我们判断是否存在“过度”使用内存的标准。


3) 热点区域处理器(Red Zone Handler):负责检查当前从节点上所有的查询执行器所用的内存量是否超过期望内存用量的一定比例(如80%)。如超过,它就会启动异常查询处理器来清除内存用量较多的查询,避免当前从节点“过热”。


4) 异常查询处理器(Runaway Query Terminator):负责遍历当前从节点上执行的所有查询,找出内存用量最大者并将其撤销,从而使当前从节点进入合理的内存使用状态。


2. CPU管控


直观上来看,在不同查询间协调CPU时间片,从而让它们占用不同比例的CPU资源有一点无从下手。这里,我们借助Linux内核提供的Control Group(CGroup)。它可以将内存,CPU,网络,磁盘读写等资源子系统或者它们的任意组合分配给一个或一组正在执行的进程,并限制其用量保持在合理范围内。


在HAWQ中,一个查询的执行实际上由各个从节点上的一组查询执行器进程(Query Executor Process)完成。


基于此,我们通过查询代价计算出查询的CPU资源(以vcore为单位),然后将查询的vcore转换成CGroup中对应的cpu.shares的权重,最后借助CGroup调度属于该查询的CPU时间片,从而达到CPU管控的目的。


CPU管控的典型处理过程如图3所示:


图3:CPU Enforcer原理


详细来讲,它主要包含以下过程:


1) 主节点(Master)上的资源管理根据查询计划和查询代价得到查询需要的CPU资源(以vcore为单位)。


2) 查询计划分发器(Dispatcher)将查询计划和资源分发到参与该查询的从节点(Segment)上。


3) 从节点上的查询执行器接受到查询计划和CPU资源量后,向从节点上的资源管理发送MoveToCGroup的请求。


4) 从节点上的资源管理器将该请求交给它的一个专门负责操作CGroup的服务线程。


5) 从节点上的服务线程将该QE进程的PID加入到CPU子系统中对应的cgroup.procs,并将CPU资源量vcore转换后写入cpu.shares。


6) 在查询执行器执行阶段,CGroup将根据不同查询中的cpu.shares的权重的比例在内核中分配CPU时间片。


7) 查询执行器执行结束后,在进程退出前它会向从节点上的资源管理发送MoveOutCGroup的请求,这时服务线程会将对应的PID从cgroup.procs中移除。


并发执行的查询对应的CGroup的目录结构如图4所示:


图4:并发的查询对应的CGroup的目录结构


鉴于篇幅的关系,本文只简要介绍了Apache HAWQ中内存和CPU等重要资源管控的设计和实现。如果大家感兴趣,我们可以在后续的分享中详细介绍各个部分。


对于热衷开源,愿意一起推动国内开源大数据社区的朋友,可以贡献到https://github.com/apache/incubator-hawq。


更多精彩内容,请关注大数据社区公共帐号!

长按识别图片二维码

解密Apache HAWQ ——功能强大的SQL-on-Hadoop引擎 [作者:常雷] 作者:常雷 博士,Pivotal中国研发中心研发总监,HAWQ并行Hadoop SQL引擎创始人,Pivotal HAWQ团队负责人,曾任EMC高级研究员。专注于大数据与云计算领域,在国内外顶级数据管理期刊和会议发表数篇论文,并拥有多项美国专利。 分享主要分为以下五个部分: HAWQ基本介绍;HAWQ架构以及各重要组件的基本原理;HAWQ的中短期规划;如何贡献到HAWQ和成为Apach 阅读详情

相关推荐

Apache HAWQ集群的安装部署

最近Pivotal公司发布了Apache HAWQ的企业版HDB 2.0,因功能强大,性能出色,很多人已经迫不及待想要安装来玩玩了。今天我们就来聊聊怎么部署强大的HAWQ 2.0吧。   企业版的HAWQ你花了钱基本就可以躺着等它安装好了,所以这里先不讨论,我们来讲讲社区版 HAWQ的多节点集群的安装部署。   ( 想装个单节点来试试的同学也可以参考这里:https://c

“大数据社区”博客 9623

Apache HAWQ:高性能大数据SQL查询引擎

Apache HAWQ:高性能大数据SQL查询引擎 项目介绍 Apache HAWQ是一款由Apache软件基金会孵化的项目,它是一个原生Hadoop的SQL查询引擎,将MPP(大规模并行处理)数据库的关键优势与Hadoop的可扩展性和便利性相结合。HAWQ能够直接从HDFS读取和写入数据,并提供了业界领先的性能和线性可扩展性。无论是在本地部署还是云环境中,HAWQ都是处理大规模数据集的理想选择。...

gitblog_00019的博客 581

HAWQ ——功能强大的SQL-on-Hadoop引擎

HAWQ ——功能强大的SQL-on-Hadoop引擎

杨鑫newlife的专栏 3369

Apache HAWQ 项目常见问题解决方案

Apache HAWQ 项目常见问题解决方案 项目基础介绍 Apache HAWQ 是一个 Hadoop 原生的 SQL 查询引擎,结合了 MPP(大规模并行处理)数据库的关键技术优势和 Hadoop 的可扩展性和便利性。HAWQ 能够直接从 HDFS 读取和写入数据,提供行业领先的性能和线性可扩展性。它为用户提供了完整的、符合标准的 SQL 接口,支持 ANSI SQL-92、SQL-99、SQ...

gitblog_00824的博客 304

大数据+常雷-新一代数据仓库:Apache+HAWQ

大数据+常雷-新一代数据仓库:Apache+HAWQ 大数据+常雷-新一代数据仓库:Apache+HAWQ

CentOS 7 离线升级 OpenSSH 9.9p2 保姆级教程(含依赖包下载与常见报错解决)

本文提供了一份详尽的CentOS 7系统离线升级OpenSSH至9.9p2版本的完整教程。针对无外网环境,重点讲解了依赖包(尤其是OpenSSL 3.x)的离线下载与编译部署,并深入解决了编译过程中常见的“libcrypto.so缺失”等动态库链接错误。教程涵盖从环境准备、源码编译、服务配置到系统集成的全流程,最后还提供了关键的回滚方案与应急预案,是运维人员在内网环境中进行安全加固的实用指南。

weixin_29248313的博客 325

探索Apache HAWQ:大数据处理的强大引擎

探索Apache HAWQ:大数据处理的强大引擎 在当今数据驱动的世界中,高效处理和分析大数据的能力至关重要。Apache HAWQ,作为一个Hadoop原生的SQL查询引擎,以其卓越的性能和线性可扩展性,成为了大数据处理领域的佼佼者。本文将深入介绍Apache HAWQ,分析其技术特点,并探讨其在实际应用中的场景。 项目介绍 Apache HAWQ是一个Hadoop原生的SQL查询引擎,它结合了...

gitblog_01145的博客 1157

反激电源反馈环路设计:UC3842的FB脚与COMP脚接法对比与选型

在开关电源设计中,PWM控制器与光耦的反馈环路接法直接影响系统稳定性与动态响应。UC3842作为经典电流模式控制器,其FB脚和COMP脚分别对应内部误差放大器的输入与输出,决定了环路补偿由内部还是外部承担。FB脚接法利用内部基准和运放,设计简单、成本低,适合小功率适配器;COMP脚接法旁路内部运放,补偿网络外置,动态响应快、精度高,适合中大功率工业电源。理解两种接法的原理与差异,有助于在反激电源设计中优化环路补偿,提升负载调整率和批量一致性。

weixin_31887307的博客 322

HAWQ 技术解析(一) —— 功能概述

SQL on Hadoop、HAWQ 的历史和现状、HAWQ 简介

wzy0623的专栏 3万+

CANoe基础讲解01:从零开始使用CANoe轻松搭建你的第一个CAN网络

本文是一篇CANoe软件入门实操指南,逐步演示了如何从零创建并运行一个CAN FD仿真工程。内容包括:启动软件、配置硬件通道与网络、加载DBC数据库、使用CAPL编写仿真节点发送CAN报文,最终启动测量并在Trace窗口中查看通信结果。通过七个清晰步骤,帮助初学者快速掌握CANoe基本操作,完成首个可运行的仿真网络搭建

车载网络小D的博客 1575

ESXI 8.0.3 ubuntu 24.04 直通显卡P40

手把手,一步步教你直通GPU,ESXI 8.0.3 ubuntu 24.04 直通显卡P40

qq_36433118的博客 4687

Apache HAWQ 项目使用教程

Apache HAWQ 项目使用教程 1. 项目的目录结构及介绍 Apache HAWQ 是一个高性能的分布式 SQL 查询引擎,专为 Hadoop 环境设计。以下是项目的主要目录结构及其介绍: bin: 包含 HAWQ 的可执行文件和脚本,用于启动、停止和管理 HAWQ 集群。 conf: 包含 HAWQ 的配置文件,如 hawq-site.xml 和 pg_hba.conf。 docs: 包...

gitblog_00710的博客 514

别再被SpringerLink虐了!手把手教你搞定LaTeX源文件提交(附正确文件顺序和类型选择)

本文详细解析了SpringerLink投稿系统中LaTeX源文件提交的常见问题与解决方案,包括文件打包、类型选择和顺序排列等关键步骤。通过实战经验,帮助科研人员避开隐形陷阱,一次性完成LaTeX提交,提升投稿效率。特别针对`.bst`和`.cls`文件的正确处理提供了专业指导。

weixin_42522964的博客 445

HAWQ 技术解析(十三) —— 资源管理

HAWQ 如何管理资源、资源管理器配置最佳实践、独立资源管理器、整合YARN、资源队列层次、查询资源管理器状态

wzy0623的专栏 7677

从零开始:使用Labelme完成图像语义分割标注全流程

本文详细介绍了如何使用Labelme工具完成图像语义分割标注的全流程,从环境安装、数据准备到核心标注操作,并重点讲解了如何将标注结果转换为PASCAL VOC等深度学习框架可用的标准数据集格式。文章还提供了关键的避坑指南和高效技巧,帮助初学者快速上手,高效产出高质量的标注数据。

weixin_29073241的博客 493

【 Git学习记录(三)】推荐四款主流的Git代码托管平台 —— GitHub、GitLab、Gitee、Coding

了解过Git之后,作为一个程序猿最基本的,你还需要了解目前主流的在线代码托管平台,并至少选择其中一款在平时开发中使用。这里特别介绍以下四款: 国外平台 GitHub —— 全球最流行的代码托管平台 GitLab —— 基于git的仓库管理程序 国内平台 Gitee —— 开源中国旗下的代码托管平台 Coding —— 支持社交元素的代码托管平台 一. GitHub 链接地址:https://github.com/ GitHub目前是全球最流行的代码托管平台(别称:全球最大的同性交友.

JZevin的博客 6095

Oushu Database和Apache HAWQ的不同

全新执行引擎,充分利用硬件的所有特性,比Apache HAWQ性能高出5-10倍 支持Update和Delete,以及索引 C++可插拔外部存储 替换JAVA PXF,性能高数倍,无需安装部署PXF额外组件,极大简化了用户安装部署和运维 原生支持CSV/TEXT外部存储 可以用于不同集群之间共享数据,比如数据仓库和集市之间共享及传输数据 可以用于高速数据加载和数据导出 可以实现高速备份和恢复 可以实现可插拔文件系统:比如S3, Ceph等 可以实现可插拔文件格式:比如...

新一代数据仓库明星企业偶数科技 206

基于STM32XX的LCD液晶显示屏(HS19264G06A、驱动芯片:ST7525)驱动C程序设计

define USE_HW_SPI 1 // 1:使用硬件SPI, 0:使用软件模拟SPI。

myron6688的博客 238

源码编译ApacheHAWQ

文章目录参考源码编译hawq下载添加用户gpadminInstall dependencies on Rad Hat/CentOS 7.XDependenciesinstall hawq on Rad Hat/CentOS 7.X问题汇总问题解决方法问题解决方法问题解决方法问题解决方法问题解决方法问题解决方法问题解决方法问题解决方法 参考 自己博客 源码编译hawq 下载 # https://github.com/apache/hawq 添加用户gpadmin ># groupadd -g 3030

qq_23490833的博客 915

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

HDB—Apache HAWQ系统要求(二)

本章主题:主机内存配置HAWQ内存配置无密码的SSH配置磁盘要求网络要求端口要求Umask要求遵循这些准则来配置每台将运行Apache HAWQ或PXF服务的主机。主机内存配置为了防止Apache HAWQ集群中的数据丢失或损坏,您必须在每台主机上配置内存,以便由于OOM条件而导致Linux内存不足(OOM)杀手进程永不杀死HAWQ进程。(HAWQ使用自己的规则来强制执行内存限制。)对于HAWQ的...

周源的专栏 972

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

HAWQ 技术解析(三) —— 基本架构

HAWQ 的架构、表的分布与存储、运行时弹性查询、资源管理、HDFS 目录缓存、管理工具、高可用、冗余和容错

wzy0623的专栏 8331

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

HAWQ 取代传统数仓实践(五) —— 自动调度工作流(Oozie、Falcon)

Oozie 简介、建立工作流前的准备、用 Oozie 建立定期 ETL 工作流、Falcon 简介、用 Falcon process 调度 Oozie 工作流自动执行

wzy0623的专栏 8685

【遇见Doris】Apache Doris在京东双十一大促中的实践

Doris线下沙龙完美收官!本次沙龙邀请了来自百度、美团、京...

ucanuup_的博客 271

apache Web服务器资源使用限制配置

本文出自 “王达博客” 博客,转载请与作者联系! 作者已授权本博客转载 以下内容摘自笔者编著的《网管员必读——网络应用》(第2版)一书: 3.4.3Apache Web服务器资源使用限制配置 “资源使用限制”就是要限制用户对网站特定资源(如目录、服务器硬件等)的访问。相关指令包括:LimitRequestBody、LimitRequestFields、Li...

weixin_34416754的博客 322

Hadoop 个人学习笔记(一)——HAWQ介绍

Hadoop 1.Hadoop是什么? ​ 开源的 分布式存储 分布式计算 2.核心部分 ​ HDFS:(系统)分布式文件系统,用于存储海量的数据 ​ MapReduce:(框架)并行处理框架,实现任务分解和调度 ​ 其他 : ​ HIV ​ HBASE (HDFS的区别,它可以提供数据的随机读写和实时访问,实现对表数据的读写功能) ​ zookeeper (监控,维护) 3.优势 ​ 1.高扩展 ​ 2.低成本 ​ 3.成熟的生态圈 4.HDFS 4.1基本概念 ​ 块(Block):HDF

qq_42349305的博客 651

小程序Skyline原生网页不支持-东方仙盟

时间线:2020 年前后小程序纯 WebView 渲染,嵌网页是标准能力;2023 年 Skyline 正式版上线后,新引擎没有移植web-view,官方标注"暂不考虑"。根因:Skyline 用独立渲染线程和原生视图树取代了浏览器内核,web-view这个独立浏览器实例接不进新的合成与手势管线,架构方向上不相容。替代方向:网页单独放在一个的承载页里,Skyline 页面通过路由跳转混跳进入,页面间用参数和事件通道通信。简化路径:第三方不可控页面走通用承载页(必要时半屏弹出);

cybersnow精通 28 门计算机语言,凭借其超凡的技术能力,成功开发过上万个应用,广泛涉及政府、商业、个人等众多领域,甚至在检察院、环保局、公安局等专业场景中也大放异彩。不仅熟练掌握单片机和物联网开发,在软件架构设计方面更是独树一帜,自创了跨平台软件 324
上一篇: Apache HAWQ 基于 YARN 的弹性资源管理 [作者:金毅]
下一篇: 走进大数据开源项目 [作者:翁岩青]
大数据社区
博客等级 码龄11年 45粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值