Apache HAWQ集群的安装部署

本文详细介绍了如何在5台CentOS 7.2机器上部署Apache HAWQ 2.0的多节点集群,包括系统准备、安装HDFS、安装第三方库、编译安装及配置HAWQ,最后进行初始化。步骤涵盖配置系统参数、创建用户、安装HDFS、使用YUM安装依赖、无密码SSH访问以及数据目录创建。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近Pivotal公司发布了Apache HAWQ的企业版HDB 2.0,因功能强大,性能出色,很多人已经迫不及待想要安装来玩玩了。今天我们就来聊聊怎么部署强大的HAWQ 2.0吧。

 

企业版的HAWQ你花了钱基本就可以躺着等它安装好了,所以这里先不讨论,我们来讲讲社区版 HAWQ的多节点集群的安装部署。

 

( 想装个单节点来试试的同学也可以参考这里:https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=61320026 )

 

 

一. 系备工作:

首先我们准备好5台机器,机器名分别为test1,test2, test3, test4,test5,每台机器安装好CENTOS 7.2,选择软件安装时,‘Base Environment'选择'Development and Creative Workstation',  ’Add-Ons for Selected Environment' 勾选 ‘Additional Development’, 'Development Tools'和‘Platform Development'。

 

1.   修改系统配置文件

1.1备份系统文件 /etc/sysctl.conf

1.2修改 /etc/sysctl.conf文件如下:

 

kernel.shmmax = 1000000000

kernel.shmmni = 4096

kernel.shmall = 4000000000

kernel.sem = 250 512000 100 2048

kernel.sysrq = 1

kernel.core_uses_pid = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.msgmni = 2048

net.ipv4.tcp_syncookies = 0

net.ipv4.ip_forward = 0

net.ipv4.conf.default.accept_source_route = 0

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_max_syn_backlog = 200000

net.ipv4.conf.all.arp_filter = 1

net.ipv4.ip_local_port_range = 1281 65535

net.core.netdev_max_backlog = 200000

vm.overcommit_memory = 2

fs.nr_open = 3000000

kernel.threads-max = 798720

kernel.pid_max = 798720

### 安装 HAWQ 4.7.0 前置依赖 为了成功部署 HAWQ 4.7.0,在 CentOS 7 上需先满足一系列前置条件。确保操作系统环境已准备好,包括但不限于关闭防火墙和服务隔离设置。 ```bash sudo systemctl stop firewalld sudo systemctl disable firewalld ``` 安装必要的基础工具包和库文件: ```bash sudo yum update -y sudo yum groupinstall "Development Tools" -y sudo yum install epel-release -y sudo yum install python-devel java-1.8.0-openjdk-devel libaio numactl openssl wget rsync -y ``` 对于离线环境中安装依赖项的情况,可以采用下载模式来预先获取所需软件包[^2]。 ### 配置步骤 #### 下载并准备 HAWQ 软件包 前往 Apache 官方网站或其他可信源下载对应版本的 HAWQ RPM 文件,并将其传输至目标服务器。 ```bash wget http://archive.apache.org/dist/hawq/rel/4.7.0/apache-hawq-incubating-4.7.0-1.x86_64.rpm ``` #### 安装 HAWQ 主程序及相关组件 利用 `yum` 或者直接通过 rpm 方式完成核心服务端口及其客户端工具集的部署工作。 ```bash sudo yum localinstall apache-hawq-incubating-4.7.0-1.x86_64.rpm -y # 或者使用rpm命令 # sudo rpm -ivh apache-hawq-incubating-4.7.0-1.x86_64.rpm ``` 初始化集群配置向导会引导用户逐步设定初始参数选项;按照提示操作即可快速建立起可用实例。 #### 初始化 HAWQ 数据库系统 执行如下指令启动初始化流程,期间可能需要输入管理员密码确认身份验证过程。 ```bash source /usr/local/hawq/greenplum_path.sh hawq init cluster ``` ### 常见问题解决方案 如果遇到无法连接到远程节点的问题,则可能是由于 SSH 密钥认证失败引起。此时应检查 `.ssh/authorized_keys` 是否包含了当前用户的公钥信息,并赋予适当权限给该目录下的所有文件。 当碰到存储空间不足报错时,考虑清理不必要的日志记录或是调整数据分区策略以释放更多磁盘容量供后续扩展之用。 另外值得注意的是,部分旧版内核可能存在兼容性隐患,建议升级至稳定发行版后再尝试重新编译驱动模块或更新整个 Linux 发行版。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值