GREENPLUM 5.17 centos 6.10 详细安装步骤

CentOS7 安装GreenPlum详细步骤 GreenPlum安装详细步骤 1、环境准备 1、CentOS7.2 2、greenplum-db-4.3.9.1-build-1-rhel5-x86_64.bin 此文件为GreenPlum(以下简称为gp)的安装文件,由于此文件需从国外官网下载比较费劲,所以一并附在压缩包中。 3、以下步骤若未说明均在root用户下进行操作 2、配置系统信息 1.gp集群介绍 本次gp集群安装使 阅读详情

安装介质:
greenplum-db-5.17.0-rhel6-x86_64.zip
地址:
https://network.pivotal.io/products/pivotal-gpdb#/releases/301769/file_groups/1397
有二进制安装包和RPM安装包,我这里选择二进制安装包来安装

机器规划(一个主节点,三个数据节点):
192.168.11.210 mdw
192.168.11.211 sdw1
192.168.11.212 sdw2
192.168.11.213 sdw3

1,禁用防火墙和selinux

service iptables stop
chkconfig iptables off

vi /etc/selinux/config
selinux=disabled

2,配置内核参数
配置内核参数文件:

vi /etc/sysctl.conf

kernel.shmmax = 500000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 500 1024000 200 4096
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ip_local_port_range = 10000 65535
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.overcommit_memory = 2
vm.swappiness = 10
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
vm.dirty_background_ratio = 0
vm.dirty_ratio=0
vm.dirty_background_bytes = 1610612736
vm.dirty_bytes = 4294967296

执行sysctl -p使内核参数生效

3,配置资源限制参数

vi  /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

4,文件系统格式
文件系统格式推荐使用XFS

5,配置磁盘文件预读参数
推荐配置为16384
获取当前值:/sbin/blockdev --getra /dev/sda
设置新值:/sbin/blockdev --setra 16384 /dev/sda

6,配置磁盘I/O调度策略
推荐设置成deadline模式,有两种设置方法
方法一:

echo deadline /sys/block/sda/queue/scheduler

重启之后失效,可以把上面命令配置到环境变量或者rc.local里面使之启动生效

方法二(永久):
在grub.conf里面配置elevator=deadline:

vi /etc/grub.conf
kernel /vmlinuz-2.6.32-754.11.1.el6.x86_64 ro root=UUID=39773d5f-aa30-4e9c-aca4-b8f41a865397 elevator=deadline rd_NO
_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM r
hgb quiet

7,禁用THP(透明大页)
grub.conf里面添加transparent_hugepage=never:

vi /etc/grub.conf
kernel /vmlinuz-2.6.32-754.11.1.el6.x86_64 ro root=UUID=707d5027-2cc0-4111-9efc-bddc1cc4fe5d elevator=deadline rd_NO
_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM r
hgb quiet transparent_hugepage=never

需要重启生效

8,创建用户和组

groupadd gpadmin
useradd gpadmin -g gpadmin
New password: <changeme>
Retype new password: <changeme>

9,安装GPDB

unzip greenplum-db-5.17.0-rhel6-x86_64.zip 
./greenplum-db-5.17.0-rhel6-x86_64.bin 

交互模式中需要接受license,设置安装路径等,本文安装路径为/home/gpadmin/greenplum

10,创建hostlist文件
创建两个hostlist文件,列出各个节点的主机名(host列出所有机器主机名,seg_host仅列出segment主机名)

vi host
mdw
sdw1
sdw2
sdw3

vi seg_host
sdw1
sdw2
sdw3

11,配置各个节点互信

gpssh-exkeys -f  /home/gpadmin/greenplum/host

12,其它节点批量安装GPDB

gpseginstall -f /home/gpadmin/greenplum/host

–确认其他节点安装情况

gpssh -f /home/gpadmin/greenplum/host -e ls -l $GPHOME

13,创建数据存储目录
主节点创建数据目录:

mkdir -p /home/gpadmin/gpdata/master

segment节点批量创建目录

gpssh -f seg_host -e 'mkdir -p /home/gpadmin/gpdata/primary'
gpssh -f seg_host -e 'mkdir -p /home/gpadmin/gpdata/mirror'

由于本文是直接安装在家目录下面,不会涉及权限问题,如果安装其它目录下需要配置相应权限

14,配置NTP同步
略

15,配置初始化gpdb参数
复制初始化参数文件到gpdb安装目录

cp /home/gpadmin/greenplum/docs/cli_help/gpconfigs/gpinitsystem_config  /home/gpadmin/greenplum

修改gpdb初始化参数文件

vi gpinitsystem_config 
ARRAY_NAME="Greenplum Data Platform"
SEG_PREFIX=gpseg
PORT_BASE=6000
declare -a DATA_DIRECTORY=(/home/gpadmin/gpdata/primary  /home/gpadmin/gpdata/primary /home/gpadmin/gpdata/primary)
MASTER_HOSTNAME=mdw
MASTER_DIRECTORY=/home/gpadmin/gpdata/master
MASTER_PORT=5432
TRUSTED_SHELL=ssh
CHECK_POINT_SEGMENTS=8
ENCODING=UNICODE
MIRROR_PORT_BASE=7000
REPLICATION_PORT_BASE=8000
MIRROR_REPLICATION_PORT_BASE=9000
declare -a MIRROR_DATA_DIRECTORY=(/home/gpadmin/gpdata/mirror /home/gpadmin/gpdata/mirror /home/gpadmin/gpdata/mirror)
DATABASE_NAME=devin
MACHINE_LIST_FILE=/home/gpadmin/greenplum/seg_host

15,初始化gpdb

gpinitsystem -c gpinitsystem_config -h seg_host 

其他常用参数
-s 配置standby master
-S spread mirror (默认grouped mirror模式)

16,检查gpdb状态

[gpadmin@mdw ~]$ gpstate
20190422:16:26:09:015110 gpstate:mdw:gpadmin-[INFO]:-Starting gpstate with args: 
20190422:16:26:09:015110 gpstate:mdw:gpadmin-[INFO]:-local Greenplum Version: 'postgres (Greenplum Database) 5.17.0 build commit:fc9a9d4cad8dd4037b9bc07bf837c0b958726103'
20190422:16:26:09:015110 gpstate:mdw:gpadmin-[INFO]:-master Greenplum Version: 'PostgreSQL 8.3.23 (Greenplum Database 5.17.0 build commit:fc9a9d4cad8dd4037b9bc07bf837c0b958726103) on x86_64-pc-linux-gnu, compiled by GCC gcc (GCC) 6.2.0, 64-bit compiled on Feb 13 2019 15:26:39'
20190422:16:26:09:015110 gpstate:mdw:gpadmin-[INFO]:-Obtaining Segment details from master...
20190422:16:26:09:015110 gpstate:mdw:gpadmin-[INFO]:-Gathering data from segments...
.... 
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-Greenplum instance status summary
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-----------------------------------------------------
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Master instance                                           = Active
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Master standby                                            = No master standby configured
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total segment instance count from metadata                = 18
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-----------------------------------------------------
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Primary Segment Status
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-----------------------------------------------------
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total primary segments                                    = 9
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total primary segment valid (at master)                   = 9
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total primary segment failures (at master)                = 0
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number of postmaster.pid files missing              = 0
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number of postmaster.pid files found                = 9
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number of postmaster.pid PIDs missing               = 0
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number of postmaster.pid PIDs found                 = 9
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number of /tmp lock files missing                   = 0
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number of /tmp lock files found                     = 9
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number postmaster processes missing                 = 0
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number postmaster processes found                   = 9
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-----------------------------------------------------
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Mirror Segment Status
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-----------------------------------------------------
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total mirror segments                                     = 9
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total mirror segment valid (at master)                    = 9
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total mirror segment failures (at master)                 = 0
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number of postmaster.pid files missing              = 0
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number of postmaster.pid files found                = 9
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number of postmaster.pid PIDs missing               = 0
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number of postmaster.pid PIDs found                 = 9
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number of /tmp lock files missing                   = 0
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number of /tmp lock files found                     = 9
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number postmaster processes missing                 = 0
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number postmaster processes found                   = 9
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number mirror segments acting as primary segments   = 0
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-   Total number mirror segments acting as mirror segments    = 9
20190422:16:26:13:015110 gpstate:mdw:gpadmin-[INFO]:-----------------------------------------------------
【记录】CentOS7安装部署greenplum6.17详细讲解 一、软件准备 1.1 环境 centOS7 greenplum6.17 1.2 gp数据库下载 下载适合自己的就行了 https://github.com/greenplum-db/gpdb/releases 这是我下的 二、前期准备工作 2.1 系统配置 ps : 系统配置三台服务器都需要对应的修改!!!! 2.1.1 关闭SELINUX (如果装过cdh可以跳过,装CDH的时候都调整过了的) 改成disabled 2.1.2 关闭防火墙(如果装过cdh可以跳过,装CDH的时候都调整过了的) s 阅读详情

相关推荐

Centos7单机安装Greenplum6

环境:centos7 ,Greenplum6 软件下载: 链接:https://pan.baidu.com/s/1T2SzxAkpL6ApedE4h0PBKw 提取码:qvka 复制这段内容后打开百度网盘手机App,操作更方便哦 1. Greenplum 6.1 下载 https://github.com/greenplum-db/gpdb/releases/tag/6.1....

sw1009374593的博客 4755

greenplum(5.17.0.) CentOS 安装文档

一 安装说明 1、环境说明 名称 版本 操作系统 CentOS Linux release 7.6.1810 greenplum gpdb-5.17.0.tar.gz 2、集群介绍 使用1个master,3个segment的集群.示例: 192.168.10.2...

无望丶 870

Centos7安装Greenplum6教程(由单机master到集群)

环境:centos7 ,Greenplum6 1.Greenplum 6.4 下载 https://github.com/greenplum-db/gpdb/releases/tag/6.1.0 2. 安装环境准备 2.1 关闭SELINUX • /etc/selinux/config SELINUX=disabled 2.2关闭防火墙 systemctl...

qq_36135235的博客 6224

Greenplum5.16.0 安装教程

Greenplum5.16.0 安装教程 一、环境说明 1.1官方网站 Greenplum官方安装说明:https://gpdb.docs.pivotal.io/5160/install_guide/install_extensions.html 1.2硬件要求 Greenplum数据库集成对服务器的要求: Operating System SUSE Linu...

weixin_30840573的博客 857

Greenplum6安装部署

一: greenplum 的使用 1.1 greenplum的概述: Greenplum。该公司成立于2003年,2006年推出了首款产品,其主营业务关注在数据仓库和商业智能方面,Greenplum DW/BI软件可以在虚拟化x86服务器上运行无分享(shared-nothing)的大规模并行处理(MPP)架构 当前使用的 OLTP程序中,用户访问一个中心数据库,如果采用SMP系统结构,它的效率要比采用MPP结构要快得多。而MPP系统在决策支持和数据挖掘方面显示了优势, 可以这样说,如果操作相互之...

eagle89的专栏 2153

《GreenPlum系列-部署维护》超详细Docker安装GreenPlum单机节点教程

官方推荐使用yum的方式安装,yum安装的饿好处是,会自动帮我们下载安装依赖包。默认将greenplum软件安装到/usr/local目录下,并创建软连接。容器的6000,6001,5432,分别对应服务器的6000,6001,5432端口,主要开放5432端口允许外部访问即可。这样在root用户下修改了环境后,一旦切换到gpadmin用户,会自动加载。安装passwd应用,可以给容器的用户设置密码,方便对本机进行免密操作。在使用gpstop的时候,提示关闭失败,提示你设置。文件中添加如下两行记录即可。

https://blog.datasource.space 2815

Greenplum数据库安装部署

这两天接触了greenplum分布式数据库,发现挺有意思的,接下来将介绍如何安装丶部署greenplum数据库。读者在完成本篇阅读之后,可以根据本篇给出的步骤在自己的环境里快速搭建一个greenplum数据库系统。 软件版本centos7+gp-5.20.0 安装是以一个master node,以及两个segment node进行安装。 一丶配置要求 1.集群IP配置 192.168.64.129 (master) 192.168.64.130 (segment1) 192.168.64.131 (seg

Taki的博客 2707

Greenplum-安装指南Linux(GP官方教材)-相当经典适用

Greenplum-安装指南Linux(GP官方教材)-相当经典适用。

GREENPLUM 5.17 centos 6.10 详细安装步骤

安装介质: greenplum-db-5.17.0-rhel6-x86_64.zip 地址: https://network.pivotal.io/products/pivotal-gpdb#/releas...

csazrj1314的博客 224

greenplum安装包

greenplum安装包免费下载,centos6.5亲测可用。。。。

greenplum-db-5.8.0-rhel7-x86_64.rpm

greenplum-db

greenplum安装部署-CentOS7.9下Greenplum6.19集群搭建详细过程

CentOS7.9下的GreenPlum数据库集群安装

msh6453的博客 8458

北航机器学习期末考试试题2020年春

北航机器学习期末考试试题2020春 看csdn上试题收费,积分还挺高,本着共享的理念,把2020春季ML考试的试题公开,若侵权,立删 前8道题10分,第9题20分 决策树采用ID3算法 对宇宙星球是否适合生存分类 SVM的原理;软间隔、硬间隔;以及对非线性样本点分类 集成学习的原理,以及及串行boosting以及bagging的简单概括 K-means与混合高斯模型的异同以及EM算法的原理,如何计算 马尔可夫随机场最大团;马尔可夫随机场的联合概率分布(势函数表示),贝叶斯网络联合概率分布 PCA主成分基于

qq_43343919的博客 5417

GreenPlum安装详细步骤(CENTOS 6.x)

Centos6.x GreenPlum集群搭建安装步骤

leijianghong1987的博客 2560

汽车TARA分析实战:从威胁建模到安全需求落地的完整指南

在汽车电子电气系统开发中,威胁分析与风险评估(TARA)是确保功能安全与网络安全的核心方法论。其原理在于通过结构化的流程,系统性地识别资产、分析威胁场景并评估风险,旨在将安全理念前置,从设计源头规避风险。这一过程的技术价值在于将模糊的安全担忧转化为可量化、可追溯的工程需求,从而指导资源精准投放,是符合ISO 26262和ISO/SAE 21434标准要求的关键实践。其应用场景贯穿智能汽车从概念设计到系统开发的各个阶段,尤其对于涉及自动驾驶、智能座舱、车云通信等复杂功能的域控制器开发至关重要。本文聚焦于TAR

weixin_42706667的博客 305

从零开始:用Python实现AlphaZero五子棋AI(附完整代码)

本文详细介绍了如何从零开始使用Python实现AlphaZero五子棋AI。通过工程化实践,逐步构建蒙特卡洛树搜索(MCTS)、轻量化残差网络(ResNet)以及自博弈训练循环,并提供完整可运行的代码。文章旨在帮助开发者绕过复杂理论,聚焦实战,最终打造一个能够自我学习与对弈的智能体,是深度强化学习在游戏AI领域的一次完整项目实战。

weixin_29081703的博客 416

GreenPlum【安装篇】02:CentOS 7.8 操作系统【脚本自动】安装部署【单机】【GreenPlum6.10.0】数据库

GreenPlum【安装篇】02:CentOS 7.8 操作系统【脚本自动】安装部署【单机】【GreenPlum6.10.0】数据库

weixin_40612128的博客 1326

360可视门铃双摄版数据恢复实战:BIN文件解析与视频重组

本文详细解析了360可视门铃双摄版BIN文件的数据恢复过程,包括文件结构分析、双摄像头数据存储机制及视频重组技术。通过Python开发环境和FFmpeg工具链,成功实现了H.265视频流的解析与重组,为智能家居设备数据恢复提供了实用解决方案。

weixin_29196891的博客 909

CentOS7下安装GreenPlum6

GreenPlum的RPM安装 @下载地址:https://github.com/greenplum-db/gpdb/releases @阿里云新用户优惠链接:https://www.aliyun.com/activity/daily/bestoffer?userCode=40hhhswk @阿里云老用户优惠链接:https://www.aliyun.com/daily-act/ecs/care?userCode=40hhhswk 文章目录GreenPlum的RPM安装一、系统与环境说明二、服务器环境

icegloves的博客 1830

vCenter6.7证书过期导致503报错的全面修复指南:从STS证书更新到SSL信任修复

本文详细解析了VMware vCenter 6.7因STS证书过期导致503服务不可用错误的根本原因,并提供了从诊断、更新STS证书到修复SSL信任链的完整解决方案。通过命令行工具检查证书状态,使用官方脚本更新过期STS证书,并利用lsdoctor工具修复深层SSL信任问题,最终指导用户使用certificate-manager彻底重置所有证书,帮助管理员快速恢复vCenter服务。

pz890123的博客 1293

【Frida Android】实战篇4:SSL Pinning 证书绑定绕过 Hook 教程(一)

在前两章中,我们学习了中间人抓包与 Hook 抓包的基础方法,这些方法在理想环境下能够有效获取网络请求数据。但在实际的企业级应用中,出于安全防护需求,很多 APP 会启用证书绑定(SSL Pinning)机制。这种机制会让客户端对服务器证书的校验更为严格,导致常规的抓包方法(即使将 BurpSuite/Charles 证书安装到系统信任区)也无法生效。因此,从本章开始,我们将系统学习 SSL Pinning 机制的绕过技术。SSL Pinning(证书绑定)是客户端校验服务器身份的进阶安全机制。

水滴石穿 1611

Centos7.6 下安装GreenPlum 6.10.1

文章目录1.安装说明2.准备工作2.1 配置host2.2 配置sysctl.conf文件2.3 配置limits.conf2.4 关闭防火墙和selinux2.5 创建gp用户2.6 安装依赖包2.7 创建数据目录2.8 磁盘IO配置2.9 关闭透明大页(THP)2.10 IPC对象删除2.11 SSH连接阈值2.12 时钟同步(NTP)3.安装GP数据库软件3.1 安装GP数据库3.2 配置SSH等价3.3 在所有节点配置ssh等价3.4 安装文件说明4.创建数据存储区域4.1 在master和stan

Brent的专栏 3801

AI 大模型接口太零散?自建私有模型管理平台统一整合,管理使用超方便!(支持飞牛nas、群晖nas等服务器快速部署)

面对多种 AI 大模型接口难统一、管理繁琐的问题🤯,本文分享一款超实用开源网关工具⚡,可聚合各大模型、自动转接口、支持可视化管理,Docker 一键部署,大幅降低开发与维护成本🚀

XiaoqiangClub的博客 266

centos7离线安装GreenPlum6.1集群

一、安装包准备 1、GP安装包下载: https://github.com/greenplum-db/gpdb/releases 2、centos7.4.iso 3、JDK8 4、需要的依赖: apr apr-util bash bzip2 curl krb5 libcurl libevent libxml2 libyaml zlib openldap openssh openssl openss...

qq_38735634的博客 1626

3 路由引入

在大型企业网络中,网络规模十分庞大,选用单一的路由协议无法满足网络的需求,因此多种路由协议共存的情况十分常见。或者出于业务逻辑或行政管理的考虑,会在不同的网络结构中设计和部署不同的路由协议,使路由的层次结构更加清晰可控。路由引入是具有方向性的,将路由信息从路由协议A引入到路由协议B(A-to-B),则路由协议B可获知A中的路由信息,但是此时,A还并不知晓B路由协议中的路由信息,除非配置B-to-A的路由引入。表3-1:各种路由协议的优先级。通过路由引入,可以实现路由信息在不同路由协议间传递。

lwljh134的博客 621

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

下一篇: 用python+BeautifulSoup爬百度知道的答案
devin_op
博客等级 码龄9年 0粉丝 3原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值