Apache Hawq Data Locality简介 (1) [作者:张桓]

解密Apache HAWQ ——功能强大的SQL-on-Hadoop引擎 [作者:常雷] 作者:常雷 博士,Pivotal中国研发中心研发总监,HAWQ并行Hadoop SQL引擎创始人,Pivotal HAWQ团队负责人,曾任EMC高级研究员。专注于大数据与云计算领域,在国内外顶级数据管理期刊和会议发表数篇论文,并拥有多项美国专利。 分享主要分为以下五个部分: HAWQ基本介绍;HAWQ架构以及各重要组件的基本原理;HAWQ的中短期规划;如何贡献到HAWQ和成为Apach 阅读详情

Apache Hawq作为一款重量级的开源sql-on-hadoop产品,在性能方面做了很多优化工作。其中针对datalocality设计了单独的模块,使得查询中本地磁盘IO的比例最大化。那么什么是datalocality呢?举个日常生活中的例子,我们经常会在网上购物,那么自营仓库的电商的送货流程是这样的,如果你所在片区的网点有订单物品,那么快递小哥直接送货,如果没有,则会向临近的区级仓库申请调货,区级仓库还没有就市级仓库调货,市级仓库还没有就省级仓库,如果是跨境电商还可以从其他国家的仓库调货。网购的送货时间与订单物品所在仓库的级别息息相关。如果在网点或者区级仓库,我们往往当天就能收到货,如果需要从市级仓库调货,那么需要隔天才能收货,如果跨国,我们甚至需要等一到两周的时间。由此可见,如何最大化从网点或区级仓库直接发货的比例,决定了电商的送货速度。

在Hawq中,一条查询被分拆成多个stage,每个stage由多个计算进程以pipeline的形式执行。Hawq的datalocality与电商送货类似,执行计算的进程可以看作收货人,数据在hdfs中存储单位是block,因此每个block可以看作订单中的物品,无形的“快递员”将数据传递到计算进程空间中,datalocality模块的目标就是将数据传递到计算进程空间的速度最大化。Block可以存储在计算进程所在机器的内存中,本地磁盘中,也可能在同一hdfs集群的其他机器上,可以在同一个机架内,也可能跨机架,甚至跨数据中心,这就对应了商品是在本地网点还是在区级,市级,省级甚至跨国仓库。 当指定计算进程在哪些机器后,我们可以设计相应的datalocality算法,保证系统整体的本地磁盘IO最大化。

前面介绍了datalocality的基本概念,下面来点干货,介绍一下Hawq中hash表的datalocality算法。Hawq的hash表以某列为分布键,将数据打散到hdfs的不同文件中,打散的文件数等于hash表的bucket number。在针对该表执行查询时,hawq会在查询的每个stage中启动bucket number个计算进程处理数据,计算进程在机器间平均分布。最下面的scan stage中,每个进程恰好负责读取一个文件,由于hdfs插入的时候会在本地保留一个备份,Hawq的设计可以保证同一个文件至少在一台机器上有所有block的备份。因此只要调度scan进程读取本机插入的文件,就可以保证100%的本地读取。当然,这是理想情况,如果插入操作时hdfs某个结点过于忙碌,也会产生插入进程在本机没有block备份的情况。

对于Hawq random表,无法保证一个文件至少在一台机器上有该文件所有block的备份,因此针对random表的data locality算法也更为复杂,我们会在以后介绍。

最后,和大家分享一个电商对datalocality算法设计的启示。假设一个进程正在扫描一个由多个block组成的hdfs文件,这些block有的在进程所在机器上有备份,有的没有备份,传统的做法是依次扫描这些block,速度也因此会受到网络IO的限制,总时间=磁盘IO+网络IO。参考一下电商,如果我们订单中的物品一部分本地网点有,一部分在市级仓库,那么快递员会先配送本地网点的物品,同时市级仓库开始调货,等到第二天收到市级仓库的物品后,再由快递员配送。从市级仓库调货并没有阻塞快递员配送本地网点的物品,如果datalocality算法借鉴这个思路,可以优先读取本地block,同时在一个后台进程(线程)中不断收集在其他机器上的block,收集完毕后再交由计算进程处理。跨学科、跨领域会激发创新,无论您来自哪个领域,欢迎给Apache Hawq提出宝贵的意见和建议。

https://cwiki.apache.org/confluence/display/HAWQ/Apache+HAWQ+Home


[Hadoop]Hadoop上Data Locality Hadoop上的Data Locality是指数据与Mapper任务运行时数据的距离接近程度(Data Locality in Hadoop refers to the“proximity” of the data with respect to the Mapper tasks working on the data.)1. why data locality is imporant?当数据集存 阅读详情

相关推荐

大数据+常雷-新一代数据仓库:Apache+HAWQ

大数据+常雷-新一代数据仓库:Apache+HAWQ 大数据+常雷-新一代数据仓库:Apache+HAWQ

EloqKV 作为高性能缓存数据库的优势

在这篇文章中,我们将重点介绍 EloqKV 作为缓存数据库的表现,重点关注其单节点性能。我们会与主流缓存方案 Redis 以及 DragonflyDB 进行比较。(DragonflyDB 是一款支持多线程架构的高性能缓存数据库)。所有基准测试均在 AWS(us-east-1)的 EC2 实例上进行,操作系统为 Ubuntu 22.04。我们使用 memtier-benchmark 工具生成工作负载。

maomeimeimao的博客 1020

使用海康机器人的SDK进行DWS开发时如何筛选不同类型的相机

使用MVIDCodeReader、MvCodeReaderSDK、MvVolMeasureSDK联合开发时,通常会做一些设备枚举列表,但是不同类型的设备需要枚举在不同的列表中,便于软件使用者配置参数,例如: 如何保证枚举出来的设备是可以选择的对应的设备。我们通常枚举出来的是这样的: 解决办法 在联合开发中,我们发现,只有MvVolMeasureSDK的枚举设备接口EnumStereoCamEx可以正确的只枚举出网络内的体积设备,其余的MVIDCodeReader、MvCodeReaderS

qq_29123967的博客 2736

国产非关系型数据库 Eloqkv 初体验

数据库国产化是这两年的一个热门话题,各行各业都在进行国产化,甚至各种类型的数据库也要进行国产化,Oracle、MySQL、SQL Server、DB2 等关系型数据库进行国产化毋庸置疑,但之前有位朋友说他们的客户 MongoDB、Redis 等非关系型数据库也要进行国产化,这让我很吃惊。EloqKV 支持与可插拔数据存储的集成,即使 EloqKV 服务停止,也能实现数据持久化。全文完,希望可以帮到正在阅读的你,如果觉得有帮助,可以分享给你身边的朋友,同事,你关心谁就分享给谁,一起学习共同进步~~~

JiekeXu的博客 1686

从软体机器人到鞋垫分析:Abaqus超弹性材料(Ogden模型)仿真配置全流程

本文详细介绍了Abaqus中Ogden模型在超弹性材料仿真中的应用全流程,涵盖从实验数据导入、参数拟合到模型构建与求解优化的关键步骤。特别针对鞋垫分析等生物力学场景,提供了单元选择、接触设置和并行计算等实用技巧,帮助工程师实现高精度仿真分析。

weixin_42525385的博客 400

Isaac Sim 使用经验(配置要求,云服务器)

Google Colab及AutoDL都是在docker内运行,其中google colab并不支持docker指令,而依照AutoDL的相关文档,AutoDL并不直接提供docker指令。2. Google Colab/AutoDL 不支持图形化界面,图形渲染等任务,所以没有办法使用Omniverse Streaming进行直播,从而更好的对结果进行展示。对于第一点,或许存在直接手动复现镜像的可能,但是考虑到Isaac Sim/Isaac Lab由于比较新,可能不够稳定,因此还是按照官方文档进行部署。

weixin_44211433的博客 4594

redis和EloqKV的事务性和性能测试

Redis是一款高性能的开源内存数据库,广泛用于缓存和简单的KV数据存储,但在事务支持方面有所局限。EloqKV不仅为开发者提供了与Redis兼容的接口,还通过其高效的事务处理能力为复杂的分布式应用提供了更强大的支持,满足了现代业务对事务性和扩展性的需求。

CatchLight的博客 1104

数字IC后端PPA优化实战:Innovus中Timing一致性策略与Module Region布局技巧

本文深入探讨了数字IC后端设计中PPA优化的核心挑战,重点解析了Innovus与PrimeTime之间Timing不一致的根本原因。通过实战案例,详细介绍了在Innovus中设置Timing Margin、Derate以及RC Scale Factor等关键策略,以校准时序视图。同时,文章分享了利用Module Region进行物理布局规划的技巧,将关键模块约束在最优区域,并结合Group Path等进阶方法,有效提升时序收敛效率与PPA结果的可预测性。

f9g0h的博客 2690

Community Over Code Asia 2025 专题介绍之 Data Storage & Computing

大数据也是 ASF 非常重要的组成部分,ASF 有非常多的大数据存储和计算领域的项目,比如大家熟知的 Apache Hadoop, Apache Spark, Apache HBase, Apache Ozone, Apache CarbonData, Apache Cassandra, Apache ZooKeeper 等等,在这个主题中,大家会学习到这些技术的前沿趋势和来自一线用户的实践经验、原理、架构分析等精彩内容。每个数据库来自不同的供应商,需要专门的技能集,并且具有独特的备份和故障恢复流程。

weixin_45906054的博客 299

使用 pip 安装 pygame 遇到的问题

今天尝试学习使用 pygame 时,按照我的习惯一发 pip install 下去,本以为很简单的事情,没想到遇到了不少问题,顺手记录一下。 0x01. 无法找到 “SDL.h” 文件 pygame 是使用 SDL 库写就的游戏框架,自然强依赖于 SDL,我的 python@3 是使用 macOS 的 brew 管理器直接安装的,可能由于不是编译安装的问题,缺少了这个库,继续使用 brew 安...

Mitscherlich的博客 8622

OpenCV简单应用:图像模糊处理

OpenCV是一个广泛使用的开源计算机视觉库,提供了丰富的图像处理和计算机视觉算法。本文将介绍如何使用OpenCV对图像进行模糊处理,并提供相应的源代码。该函数接受两个参数:第一个参数是输入图像,第二个参数是指定模糊核大小的元组。在这个例子中,我们使用了一个5x5的模糊核。您可以尝试不同大小的模糊核,以获得不同程度的模糊效果。函数和指定不同大小的模糊核,我们可以实现不同程度的模糊效果。该函数接受两个参数:第一个参数是窗口的名称,第二个参数是要显示的图像。在上面的代码中,我们首先使用。要运行上述代码,请将。

MwgmPhilosophy的博客 291

联机数据库的未来:协程和异步编程

在开发的每个阶段,我们必须仔细评估每种协程实现的可用性、成熟度和固有权衡。然而,它们的采用需要精心的工程和周密的设计。考虑一个场景:查询持有写锁,将其指针存储在协程栈中,然后让出。只有在确认资源存活的情况下,恢复的协程才能继续使用它们。协程是一个古老的概念,但直到最近才在主流编程语言中普及并实现标准化。:如果协程在执行过程中被阻塞,整个工作线程将被阻塞,绑定到该线程的所有其他协程也无法继续执行。,晨章数据将数据库内核解耦,通过对不同数据库共有功能的抽象,以一种模块化的方式,建立标准化。

帅的数说 156

《YOLOv8:从入门到实战》报错解决 & 专栏答疑

《YOLOv8:从入门到实战》专栏上线后,部分同学在学习过程中提出了一些问题,笔者相信这些问题其他同学也有可能遇到。为了让大家可以更好地学习本专栏内容,笔者特意推出了该篇专栏答疑,针对同学们在学习过程中所提出的问题进行汇总记录,并不断实时更新,希望能够帮助到大家!🌈

小哥谈 1242

hawq执行慢sql

执行语句为:  explain analyze  select  count(*) from  L_T054 a  join   L_T120 b on  a.d020=b.d020   执行计划为:    "Aggregate  (cost=1520822218.88..1520822218.89 rows=1 width=8)" "  Rows out:  Avg 1.0 ro

bruce_wang_janet的专栏 811

YOLOv11改进策略【损失函数篇】| arXiv2025 TeLU双曲正切指数线性单元 强梯度防消失 + 解析光滑稳训练,极速提升收敛与泛化

本文记录的是。TeLU(Hyperbolic Tangent Exponential Linear Unit)通过。本文利用TeLU激活函数,以x⋅tanhex统一实现正区间强梯度加速收敛与负区间持续梯度避免死神经元,全程保持解析光滑与极低计算开销,,显著提升深度网络在分类、检测、分割、时序任务中的收敛速度、精度与泛化鲁棒性。

Limiiiing的博客 225

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

数据局部性(data locality)

信息处理的典型模式是,将所有数据项视为一个集合,并将其组织为适宜的数据结构(或者说使用适宜的数据结构对之进行存储以及组织),进而借助操作接口高效访问。 为了考查和评价各操作接口的效率,除了从最坏情况的角度出发,也可假定所有操作彼此独立、次序随机且概率均等,也即从平均情况的角度出发。然而,实际中,后一尺度所依赖的假定条件(独立随机等概率),往往不足以反映真实的情况...

weixin_30677073的博客 607

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

HAWQ 技术解析(一) —— 功能概述

SQL on Hadoop、HAWQ 的历史和现状、HAWQ 简介

wzy0623的专栏 3万+

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Apache HAWQ创始人常雷的图书推荐序

《HAWQ数据仓库与数据挖掘实战》推荐序回想过去几年,从我在EMC(Greenplum)启动HAWQ项目开始,到全球多个世界500强公司使用HAWQ,后来把HAWQ开源到Apache社区,现在又基于HAWQ创立“偶数”,时光荏苒。今天非常高兴能够看到雪迎这本关于HAWQ的书出现。数据仓库的架构发展经历了几个阶段,第一代数据仓库是基于传统交易型数据库的共享存储(Share Storage)架构,比如...

夏天又到了的专栏 1273

HAWQ--简介

HAWQ是Hadoop原生SQL查询引擎,结合了MPP数据库的关键技术优势和Hadoop的可扩展性和便捷性。HAWQ从HDFS本地读取数据并将数据写入HDFS。 HAWQ提供业界领先的性能和线性可伸缩性。它为用户提供了自信和成功地与petabyte range数据集交互的工具。HAWQ为用户提供了一个完整的、符合标准的SQL接口。更具体地说,HAWQ有以下特点: 本地或云部署 健壮的ANSI...

songbintao的专栏 1万+

HAWQ 取代传统数仓实践(十九) —— OLAP

OLAP 简介、OLAP 实例、交互查询与图形化显示

wzy0623的专栏 7778

Ambry 第一篇 整体介绍

Ambry - 分布式 immutable、高可靠、易扩展的基于Blob的存储系统,针对非易变的、大小下至几KB上至GB的对象的存储进行了优化,带来了高吞吐和低延迟,并且允许Client端到存储层进行双向流式端到端访问。该系统支持多数据中心 并且提供廉价存储。  设计目标 高可用和水平扩展  高可用和最终一致性。写入时,写入数据被存储在本地数据中心,且异步同步到其他数据中心的副本中。这种写入...

Mrchine的博客 1938

hawq入门

1:高性能吞吐量和低延迟 HAWQ的并行处理架构提供了高性能吞吐量和低延迟 - 可能接近实时的查询响应,可以扩展到PB级数据集。在Hadoop本地操作。 SQL兼容性 利用熟悉的技能 实现基于SQL的应用程序和BI /数据可视化工具的更高级别的兼容性。执行复杂的查询和连接,包括汇总和嵌套查询。 Hadoop生态系统的可管理性和整合 集成和管理与YARN。提供Ambari。

步步为赢的专栏 1241

数据仓库架构的变迁

引言 第八届中国架构师大会(SACC2016)10月27号到29号在北京万达索菲特大饭店成功举办。大会以“架构创新之路“为主题,云集了国内外顶尖专家,共同探讨云计算和大数据等技术背景下,如何通过架构创新及各种IT新技术来带动企业转型增效。作为一家专注于云端数据仓库的初创公司,酷克数据受邀在SACC2016 “数据库平台架构及变迁”分会场作...

weixin_34216196的博客 629

小程序Skyline原生网页不支持-东方仙盟

时间线:2020 年前后小程序纯 WebView 渲染,嵌网页是标准能力;2023 年 Skyline 正式版上线后,新引擎没有移植web-view,官方标注"暂不考虑"。根因:Skyline 用独立渲染线程和原生视图树取代了浏览器内核,web-view这个独立浏览器实例接不进新的合成与手势管线,架构方向上不相容。替代方向:网页单独放在一个的承载页里,Skyline 页面通过路由跳转混跳进入,页面间用参数和事件通道通信。简化路径:第三方不可控页面走通用承载页(必要时半屏弹出);

cybersnow精通 28 门计算机语言,凭借其超凡的技术能力,成功开发过上万个应用,广泛涉及政府、商业、个人等众多领域,甚至在检察院、环保局、公安局等专业场景中也大放异彩。不仅熟练掌握单片机和物联网开发,在软件架构设计方面更是独树一帜,自创了跨平台软件 323
下一篇: Quick Start Guide for Apache Hawq[作者:盛想]
大数据社区
博客等级 码龄11年 45粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值