Dockerize Apache HAWQ [作者:陶征霖]

Apache HAWQ集群的安装部署 最近Pivotal公司发布了Apache HAWQ的企业版HDB 2.0,因功能强大,性能出色,很多人已经迫不及待想要安装来玩玩了。今天我们就来聊聊怎么部署强大的HAWQ 2.0吧。   企业版的HAWQ你花了钱基本就可以躺着等它安装好了,所以这里先不讨论,我们来讲讲社区版 HAWQ的多节点集群的安装部署。   ( 想装个单节点来试试的同学也可以参考这里:https://c 阅读详情


Docker, a lightweight Linux Container engine, becomes more and more popular accompanied with the continuous development of big data and cloud computing. Essentially this is due to convenience involved by Docker in applications building, shipping and running. In this article, we will introduce docker and steps to dockerize Apache HAWQ.


Docker Introduction

The high level architecture of Docker is shown in Figure 1. Linux Container is a kind of lightweight operating system level virtualization method for running multiple isolated containers on a single host. It leverages namespace to do process isolation and cgroup to do resource isolation. And layered FS is used to be combined into a single docker image, which may contain user data and apps. This process just like put patch one by one on the base image to form a new one. With docker image, we can start docker container. It is worth while to note that docker container is not VM. The most important difference is that each VM needs a guest OS on host machine, which result in more cost of starting time and resource consumption than docker container. Now we already talked about docker image and docker container. Dockerfile is another basic element of docker. It contains instructions on command line to assemble a docker image, on purpose of automatically build and version control.


Figure 1: Docker high-level architecture


Docker Installation

We do docker installation on CentOS Linux release 7.0.1406 (Core), the kernel version is 3.10.0-123.el7.x86_64. First we do yum -y update to upgrade kernel and softwares if possible. Later we issue curl -sSL https://get.docker.com/ | sh to install docker engine. Ideally we could start docker via service docker start. However it reports error. After device-mapper-libs and device-mapper-event-libs are yum installed, docker is started up successfully. By default docker daemon process binds to Unix socket which belongs to root, so we have to sudo docker command. To avoid this, simply issue usermod -aG docker $USER. Docker is now ready to go.


Docker Image Build

In order to build Apache HAWQ docker image, we make use of Dockerfile. Keywords below are widly used in Dockerfile:

  • FROM: to specify base image from which you are building

  • RUN: to execute shell command

  • ENV: to set environment variable in docker container

  • ADD/COPY: usually to import files from host

  • EXPOSE: to open service port in docker container

  • CMD/ENTRYPOINT: to be executed when docker container started

Though both ENTRYPOINT and CMD allow you to specify the startup command for an image, there are subtle differences between them:

  1. CMD is overridden by the argument after the image name when starting the container, while ENTRYPOINT can only be overridden by the flag —entrypoint.

  2. Combining ENTRYPOINT and CMD, CMD strings will be appended to be the args of ENTRYPOINT.

  3. When using ENTRYPOINT and CMD, it's important to always use the exec form like ENTRYPOINT ["/bin/ping”,”localhost”], not the shell form ENTRYPOINT /bin/ping localhost.


Now we have some basic knowledge for Dockerfile, let's continue to build image for Apache HAWQ. We choose centos:7 in DockerHub as the base image. First we yum install softwares which is version compatible to Apache HAWQ, like jdk1.7, krb5, libxml2, libcurl, snappy, etc. For other libraries which are not version compatible or not found in yum repo, we install them from specific source, like json-c 0.9, flex 2.5.35, libhdfs3, libyarn, etc. Apache HAWQ development environment is settle down once all these dependencies are successfully installed. This is enough for devel mode. For production mode, we still need to add entrypoint part including Apache HAWQ building and running loggic. To build the image, we issue command docker build hawq:devel <path to Dockerfile>. One pre-built Apache HAWQ docker image has been pushed to DockerHub, you can refer to https://hub.docker.com/r/mayjojo/hawq-devel/. 


Docker Image Run

Issue command docker images to check that we already built hawq:devel image in local, we still need hadoop image. We can find it in DockerHub by docker search hadoop, and then docker pull <image>. To start HAWQ container, we use command docker run -d --name=hawq hawq:devel tail -f /dev/null. Issue command docker ps to check that one container named hawq is running in daemon. To login to the env, issue command docker exec -it hawq /bin/bash. Now you can build your HAWQ code, run HAWQ and do everything what you want. If you happen to break the envrionment, just docker kill hawq and rerun a new one. To achieve data persistent or share data between containers, you can simply mount data volumn from host by docker run -v or create a data container docker create -v /data --name=data and run HAWQ/Hadoop container docker run --volumes-from data. The latter is more recommended.


Docker version is still in quick iteration today. More and more exciting features to apply in Apache HAWQ are waiting for us to explore...



更多精彩内容,请关注大数据社区公共帐号!

长按识别图片二维码



企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx 立即下载

相关推荐

MCGS的Http协议驱动,支持http协议

硬件配置 参数设置 设备属性 设备命令 通讯状态 附录 #HTTP 1、 设备简介 驱动类型 该驱动为独立设备,直接添加构件即可,不需要挂载到父设备下 通讯协议 采用标准HTTP1.1协议 通讯方式 驱动构件为客户端。 2、 硬件连接 本软件在通讯之前,请保证通讯连接正确。通讯连接方式:采用标准的RJ45接口的以太网接线(对调网线或使用HUB交换)。 3、 设备通讯参数 本设备为独立设备,无父设备参数 4、 设备构件参数设置 “HTTP设备”参数设置如下: <1> 内部属性: 构建url信息。 <2> 最小采集周期:本软件对设备进行操作的时间周期,单位为ms,默认为100ms。 <3> 通讯等待时间:通讯数据接收等待时间,默认设置为200ms,当采集速度要求较高或数据量较大时,设置值可适当减小或增大。 <4> HttpHead:http head添加需要的字段,不需要添加http head时值为空,默认不添加。 5、 设备命令 本设备构件提供设备命令,用于进行相应的操作,设备命令的格式如下: 设备命令 命令介绍 GetHttpHead 格式1 GetHttpHead(headStr) 用途 获取http head参数 参数 headStr 参数可以为字符型变量、字符串常量 例1 !SetDevice(设备0,6,"GetHttpHead(headStr)") 获取http head数据保存到headStr中 SetHttpHead 格式1 SetHttpHead(headStr) 用途 设置http head参数 参数 headStr 参数可以为字符型变量、字符串常量

云时代大数据管理引擎HAWQ++

HAWQ,取自Hadoop With Query,这是一款原生Hadoop并行SQL引擎。同时作为一款面向企业的分析型数据库HAWQ有很多优良的特性,例如它完整兼容ANSI-SQL标准语法, 支持标准JDBC/ODBC连接,支持ACID事务特性,高性能,拥有比传统MPP数据库更先进的弹性执行引擎,可以秒级动态加减节点,拥有各种容错机制,支持多级资源和负载管理,提供Hadoop上PB级数据高性能交互...

imgxr的博客 1481

思科路由器IPv6各种路由协议配置

思科路由器IPv6路由协议配置:1、静态路由配置;2、默认路由配置;3、RIPng路由配置;4、OSPFv3路由配置。

weixin_41687096的博客 6546

k8s 中 hawq 无法启动 segment 问题排查

文章目录问题现象问题本质解决方案解决过程方案1:重新编译 hawq安装依赖依赖镜像编译 HAWQ方案2:根据现象找原因hawq init master错误1:错误2hawq init segmentPG数据库初始化sysctldockerfilek8s中报错修复后的 docker file测试进入系统验证配置环境变量启动集群验证集群执行查询,验证正确性 问题现象 HAWQ 能创建表,但是无法进行写操作(插入、更新) 问题本质 无可用 segment 解决方案 echo "kernel.sem = 250

sw 965

1.1.4 运用防火墙实现入侵防御

摘要:本文详细介绍了某公司网络拓扑中防火墙FW1的配置过程。主要内容包括:1)通过web界面登录防火墙;2)配置三个接口的IP地址及所属安全区域;3)创建两个入侵防御配置文件(anti_untrust和anti_trust);4)配置安全策略untrust2dmz和trust2dmz,分别允许公网/内网访问WWW服务器;5)保存配置。操作步骤配有详细截图说明,涉及接口配置、安全区域划分、入侵防御策略设定等关键环节,最终实现内外网对服务器Server1的安全访问控制。(149字)

Ljs040411的博客 2137

从零构建工业级SPI-CAN网关:CH347与CH9431的软硬件协同设计实战

本文详细介绍了基于CH347和CH9431芯片构建工业级SPI-CAN网关的完整方案。通过硬件架构设计、Linux驱动定制、并发处理优化和EMC抗干扰测试,实现高可靠性通信网关,适用于工业自动化和汽车电子等严苛环境。

spark7igniter的博客 634

HAWQ适应场景总结

个人研究了近半个月的hawq,也做个模拟测试,推荐学习资料链接(比较完整):http://blog.youkuaiyun.com/wzy0623 大概从一到十八篇文章,这是第一篇:http://blog.youkuaiyun.com/wzy0623/article/details/55047696 最后总结如下: 1、OLAP(联机分析处理(On-Line Analytical Processing)领域,

周源的专栏 4728

普元EOS8.3精简版安装指南:从零开始搭建低代码开发环境

本文详细介绍了普元EOS8.3精简版的完整安装流程。从JDK1.8环境准备、MySQL数据库配置与初始化,到核心配置文件修改、服务启动与登录验证,提供了从零开始搭建低代码开发环境的清晰步骤和常见问题排坑指南,帮助开发者快速部署并体验平台核心功能。

ik678901的博客 1105

HAWQ 取代传统数仓实践(四) —— 定期 ETL(Sqoop、HAWQ)

变化数据捕获(CDC)、创建维度表当前版本视图、创建维度表历史视图、建立时间戳表、用 Sqoop 用户建立定期抽取脚本、建立定期装载 HAWQ 函数、用 root 用户建立定期 ETL 脚本、测试定期 ETL 过程、动态分区滚动

wzy0623的专栏 6473

YOLO11改进 - 卷积Conv | DEGConv(方向引导边缘门控卷积) : 空间分块、方向先验、轻量边缘增强

本文介绍了方向引导边缘门控卷积(DEGConv),一种专为增强边缘敏感度与方向感知能力设计的轻量级模块。该方法通过 Sobel 算子生成方向嵌入,结合条纹卷积提取水平与垂直边缘特征,并利用门控机制动态抑制背景噪声,从而精准捕捉细粒度结构。我们将 DEGConv 成功集成进 YOLO11,在 Backbone 的 SPPF 后及 Neck 的 P3、P4 分支中引入该模块以优化特征提取。实验证明,集成 DEGConv 的 YOLO11 在检测任务中表现优异,有效提升了模型对复杂边缘与方向特征的建模能力。

魔改工程师的博客 679

【K8S系列】Kubernetes 中 Pod 无法通过 Service 名称访问服务的 DNS 解析失败问题【已解决】

在 Kubernetes 中,Service 提供了一种稳定的方式,通过名称访问一组 Pod。当其他 Pod 无法通过 Service 名称访问服务,并且出现 DNS 解析失败时,通常会导致应用无法正常工作。本文将详细分析此问题的常见原因及其解决方案。

颜淡慕潇 1万+

HAWQ--简介

HAWQ是Hadoop原生SQL查询引擎,结合了MPP数据库的关键技术优势和Hadoop的可扩展性和便捷性。HAWQ从HDFS本地读取数据并将数据写入HDFS。 HAWQ提供业界领先的性能和线性可伸缩性。它为用户提供了自信和成功地与petabyte range数据集交互的工具。HAWQ为用户提供了一个完整的、符合标准的SQL接口。更具体地说,HAWQ有以下特点: 本地或云部署 健壮的ANSI...

songbintao的专栏 1万+

医疗影像分割 | 使用MedSAM训练自己的医学图像分割数据集

摘要 本文详细介绍了使用MedSAM模型训练自定义医学图像数据集的完整流程。主要内容包括:代码下载与环境配置(创建虚拟环境、安装依赖、验证CUDA)、数据集准备(目录结构、格式要求、命名规范及检查工具)、预训练模型下载(不同模型选择建议),以及训练脚本修改(解决文件名匹配、Windows系统NCCL支持、单GPU训练等常见问题)。通过逐步指导,帮助用户快速搭建MedSAM训练环境并适配自己的医学图像数据,实现高效的分割模型训练。

LiRongLu_的博客 490

大数据生态圈&Docker发展概况:最新动态及国内情况

目录: 【大数据生态圈】 Hadoop Hadoop 3.0.0 Alpha版本发布 Druid Druid 0.9.2版本发布 Kudu Apache Kudu 1.1.0正式发布 HAWQ HAWQ 2.1.0.0企业版正式发布 【Docker发展概况】 官方版本发布情况 国内情况 落地情况 感谢名单 大数...

weixin_34409741的博客 421

华为OD机试真题 新系统【Skill执行链完整性检测】

华为OD机试 新系统真题【Skill执行链完整性检测】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题【Skill执行链完整性检测】

qq_45776114的博客 766

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Hawq安装搭建

环境列表 操作系统:centos 7 64位 Hawq版本:git clonehttps://git-wip-us.apache.org/repos/asf/incubator-hawq.git 虚拟机主机列表 主机名 Ip hawq1 192.168.204.201 hawq2 192.168.204.20

田WJ --love work and life...... 5340

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

HDP 2.5安装搭建部署

前言HDP 全称Hortonworks Data Platform (HDP),是Hortomworks公司提供的一个大数据平台,它整合了开源hadoop生态圈的大部分组件,能够很简单便捷的帮助我们搭建起Hadoop大数据集群环境,与此类似的还有CDH(Cloudera Hadoop)。因最近在公司搭建这个,在此记录一下。环境 CentOS 7.x JDK 1.8 HDP 2.5 准备工作安装创建本

1万+

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Inspiration from Apache HAWQ

AspectsInterconnectUDP(User Datagram Protocol) , additional packet verification, the reliability is equivalent to TCP(Transmission Control Protocol), and the performance and scalability exceeds that of

张包峰的博客 5786

ambari安装hawq

本来以为安装好ambari,hawq就在其中,可是傻眼了,木有阿。。。于是问同学才知道要安装plug。 http://hawq.docs.pivotal.io/docs-hawq/topics/install-ambari.html 尤其是其中的 http://hawq.docs.pivotal.io/docs-hawq/topics/prepare-yum.html#topic_byn_vh

fzh90的专栏 2974

【CCTC 2017】大数据在运营商、图计算、大规模机器学习以及云时代的运用与实践...

【优快云现场报道】2017年5月18-19日,优快云主办的中国云计算技术大会(CCTC)在北京朝阳门悠唐皇冠假日酒店盛装启航。本次会议践行“云先行,智未来”的主题,在Keynote环节之外精心策划了微服务、人工智能、云核心三大论坛及Spark、Container、区块链、大数据四大技术峰会,众多技术社区骨干、典型行业案例代表齐聚京师,解读本年度国内外云计算技术发展最新趋势,深度剖析云计算与大数...

yssycz的博客 944

Hawq学习笔记 --- Accessing HBase Data

Hawq学习笔记 --- Accessing HBase Data

杨鑫newlife的专栏 1883

HAWQ 取代传统数仓实践(一) —— 为什么选择 HAWQ

为了跟上所谓“大数据”技术的脚步,我从两年前开始着手实践各种 SQL-on-Hadoop 技术,从最初的 Hive,到 SparkSQL,再到 Impala,进行了一系列 ETL、CDC、多维数据仓库、OLAP 的实验。作为一名从业 20 年以上的 DBA,从数据库的角度看,我的总体感觉是这些技术与传统的 DBMS 相比,功能不完善,性能差距很大,甚至很难找到一个可行的、相对完备的 Hadoop 数据仓库解决方案。这使我在实际应用中使用这些产品的时候总是感到顾此失彼、捉襟见肘。

wzy0623的专栏 2万+

HAWQ安装方式之RPM包安装

HAWQ是一个Hadoop原生大规模并行SQL分析引擎,针对的是分析性应用。和其他关系型数据库类似,接受SQL,返回结果集。但它具有大规模并行处理很多传统数据库以及其他数据库没有的特性及功能。HAWQ为PB级SQL on Hadoop操作专门设计。数据直接存储在HDFS上,并且SQL查询优化器中已经为基于HDFS的文件系统性能特征进行过细致的优化。HAWQ丰富且完全兼容的SQL标准 。本篇文章主要讲解HAWQ的安装过程。

u011563666的博客 2443

奥创软件研究院 张启程同学 受邀成为PostgreSQL 2018 中国技术大会分享嘉宾

“Postgres中国技术大会2018(大象会,第8届)”将于2018年12月15、16日在浙江吉利控股集团有限公司总部(杭州市滨江区江陵路1760号)举行.大会由中国Postgres用户会(China Postgres User Group,简称:CPUG)主办,是一场汇聚各界PostgreSQL大拿、交流最新业界技术动态和真实应用案例的盛宴。PG大象会的成功举办推动了PostgreSQL数据库...

奥创软件研究院的优快云博客 2723

“老朋友们,又见面了”Apache HAWQ亮相中国最具影响力开源大会COSCon'19

一年一度的开源大会——COSCon'19中国开源年会近日在上海华东师范大学成功举办。这次,来自国内外的一千多位热爱开源的开发者和技术专家们齐聚上海共同探讨“开源无疆 携手...

开源社KAIYUANSHE的博客 779
上一篇: 走进大数据开源项目 [作者:翁岩青]
下一篇: 大数据数据库的技术对垒:MapReduce vs. MPP[作者:李明]
大数据社区
博客等级 码龄11年 45粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值