- 博客(13)
- 收藏
- 关注
原创 Apache HAWQ集群的安装部署
最近Pivotal公司发布了Apache HAWQ的企业版HDB 2.0,因功能强大,性能出色,很多人已经迫不及待想要安装来玩玩了。今天我们就来聊聊怎么部署强大的HAWQ 2.0吧。 企业版的HAWQ你花了钱基本就可以躺着等它安装好了,所以这里先不讨论,我们来讲讲社区版 HAWQ的多节点集群的安装部署。 ( 想装个单节点来试试的同学也可以参考这里:https://c
2016-05-23 14:29:45
9456
1
原创 Yarn模式下Apache HAWQ的运行 [作者:白洁]
Apache HAWQ支持两种类型的资源管理模式,Standalone模式和Yarn模式。当Apache HAWQ集群在Standalone模式下运行时,会独占整个集群的资源而不去考虑其他共存的应用程序的资源使用需求。当Apache HAWQ集群在Yarn模式下运行时,Apache HAWQ会作为Yarn的一个应用程序动态地从Yarn申请资源,从而达到Apache HAWQ与其他Yarn应用程
2015-11-27 17:51:15
3352
原创 解密Apache HAWQ ——功能强大的SQL-on-Hadoop引擎 [作者:常雷]
作者:常雷 博士,Pivotal中国研发中心研发总监,HAWQ并行Hadoop SQL引擎创始人,Pivotal HAWQ团队负责人,曾任EMC高级研究员。专注于大数据与云计算领域,在国内外顶级数据管理期刊和会议发表数篇论文,并拥有多项美国专利。分享主要分为以下五个部分:HAWQ基本介绍;HAWQ架构以及各重要组件的基本原理;HAWQ的中短期规划;如何贡献到HAWQ和成为Apach
2015-11-27 17:46:15
4493
原创 Apache HAWQ LIBYARN模块简介 [作者:林文]
Apache Hadoop YARN (Yet Another Resource Negotiator)是Hadoop系统的资源管理器,负责集群的资源管理。而Apache HAWQ通过libyarn模块,把自己作为一个Hadoop应用,注册到YARN的Resource Manager,这样就可以与Map Reduce、Spark等其他应用一起被纳入YARN的资源管理中,由YARN统一管理和调度Ha
2015-11-20 16:50:33
2025
原创 大数据数据库的技术对垒:MapReduce vs. MPP[作者:李明]
大数据数据库的技术对垒:MapReduce vs. MPP --作者:李明(email: mli@pivotal.io)这些年大数据概念已经成为IT界的热门,我们经常也会在新闻和报纸中看到。大数据概念中最为关键的技术就是数据库管理系统,伴随着hadoop和MapReduce技术的流行,大数据的数据库中Hive和
2015-11-16 18:00:05
11719
原创 Dockerize Apache HAWQ [作者:陶征霖]
Docker, a lightweight Linux Container engine, becomes more and more popular accompanied with the continuous development of big data and cloud computing. Essentially this is due to convenience involved
2015-11-15 11:11:57
2008
原创 走进大数据开源项目 [作者:翁岩青]
最近大数据领域最火的消息莫过于Pivotal兑现了其年初对于开源其大数据核心产品GemFire,HAWQ,Greemplum DB的承诺 。这个消息也让Pivotal在国内技术社区风风光光的火了一把,程序猿们可以看到真正的企业级数据仓库是如何设计和实现的。与此同时,开源社区中也存在很多类似的优秀大数据相关项目,涵盖了分布式数据存储与计算,数据处理,数据仓库,机器学习等与数据
2015-11-08 21:10:41
2675
原创 Apache HAWQ 基于 YARN 的弹性资源管理 [作者:金毅]
[作者:金毅]本文概要介绍 Apache HAWQ 通过 YARN 申请和归还资源的行为。其弹性资源管理功能使得 Apache HAWQ 能够与其它Hadoop应用高效共存,从而达到充分利用Hadoop平台计算资源服务于实际业务需求的目的。
2015-11-02 10:42:21
1830
原创 【首届大数据社区研讨会】听技术大咖如何解读大数据
由Pivotal协办,大数据社区主办的第一届大数据社区研讨会将于10月22日(周四)在清华科技园创新大厦B座2楼会议室举行。
2015-11-02 10:40:58
1003
原创 Introducing The Newly Redesigned Apache HAWQ [作者:常雷]
Recently, Pivotal announced that the Pivotal HAWQ core was donated to the Apache Software Foundation (ASF) and it is now an officially incubating project. Apache HAWQ (incubating) is a redesign of HAWQ architecture to enable greater elasticity to meet the
2015-11-02 10:36:26
1479
原创 Quick Start Guide for Apache Hawq[作者:盛想]
[作者:盛想]Apache HAWQ became an Apache open source project several weeks ago. Today I will introduce how we install and start Apache HAWQ.Basic RequirementsBasic requirements ha
2015-11-02 10:35:16
1940
原创 Apache Hawq Data Locality简介 (1) [作者:张桓]
[作者:张桓]Apache Hawq作为一款重量级的开源sql-on-hadoop产品,在性能方面做了很多优化工作。其中针对datalocality设计了单独的模块,使得查询中本地磁盘IO的比例最大化。那么什么是datalocality呢?举个日常生活中的例子,我们经常会在网上购物,那么自营仓库的电商的送货流程是这样的,如果你所在片区的网点有订单物品,那么快递小哥直接送货,
2015-11-02 10:18:43
1795
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人