greenplum的主从节点

最新推荐文章于 2025-01-06 10:54:32 发布
原创 最新推荐文章于 2025-01-06 10:54:32 发布 · 363 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ssh #服务器 #linux #postgresql

文章详细介绍了如何使用Greenplum的命令进行集群构建，包括初始化从节点、设置SSH免密、建立standby节点。同时，阐述了在主节点故障时如何执行故障切换，以及如何恢复主从结构和删除节点的操作流程。

背景

greenplum可以通过自带的命令进行集群构建，集群结构可以有效防止数据丢失

初始化从节点

  1. 创建与主节点相同用户，并安装greenplum

  1. 在从节点创建与主节点相同目录，并修改目录权限为gpadmin用户

注：gpadmin为greenplum使用的用户

  1. 将主节点ssh免密-->.ssh/id_rsa.pub内容粘贴到从节点中authorized_keys，修改文件权限：chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys

  1. 通过gpssh-exkeys对节点进行免密互通：gpssh-exkeys -e hosts -x new_hosts

注：hosts为原有host,new_hosts为新增host

  1. 初始化standby节点: gpinitstandby -s hostname

故障切换

当主节点故障时：gpactivatestandby -d $datapath

注：$datapath为数据路径，如：/data/gpdata/gpmaster/gpseg-1

注：在standby中需要存在数据库相应变量，如端口，数据库名称

切换后恢复主从结构：

  1. 在原主节点（master）上备份数据目录并删除原目录，并清除原目录数据或重新创建

  1. 在原standby节点上操作，将master节点初始化为standby节点

  1. 在原standby节点上停止master服务：gpstop -m，在master点上进行节点切换，将standby节点切换为主节点

  1. 在master节点进行从节点初始化操作

节点删除

删除已存在的standby节点：gpinitstandby -r

重启节点：gpinitstandby -n

greenplum master、standbymaster切换
cuijuying8447的博客
01-30 698
问题：八台机器的gp集群，开发人员使用时报错磁盘空间不足。 排查： master节点机登录，发现/home挂载文件夹空间不足，并且/home下只放了gpdata/master/gpseg-1 ，各种du发现，pg_log下有...
GreenPlum系列-3-GP集群模拟主备切换和恢复
IfNotExists的博客
11-20 5535
模拟gp集群master 故障，将standby 节点切换为master节点，以及当原master节点恢复时如何还原的测试，帮助自己理解gp 集群中主从切换的过程。
Greenplum分布式安装及增加节点
Du.的博客
03-25 3094
1. Greenplum简介 Greenplum是Pivotal公司基于PostgreSQL开发的一个面向数据仓库的关系型数据库，是开源的。有三个关键词可以描述： 1. Shared Nothing 各个处理单元都有自己私有的CPU/内存/硬盘等，不存在共享资源，各处理单元之间通过协议通信，并行处理和扩展能力更好。各节点相互独立，各自处理自己的数据，处理后的结果可能向上层汇总或在节点间流转。Share-Nothing架构在扩展性和成本上都具有明显优势。 2. MPP(Massively Parall
greenplum主从复制
yuansheng730的博客
08-27 539
greenplum 主从部署 # host解析 vim /etc/hosts 192.168.12.235 node1.iotplatform.com 192.168.11.202 node2.iotplatform.com # 创建用户 useradd gpadmin yes gpadmin|passwd gpadmin # 创建相关目录 mkdir -p /data/gpadmin/master mkdir -p /data/gpadmin/mirror mkdir -p /data/gpadmin
Green Plum简介
qq_38414854的博客
08-20 1505
分布式数据库MVCC多版本并发控制，一种大规模并行处理（MPP）数据库服务器。 MPP（也称为无共享体系结构）是指具有两个或两个以上处理器的系统，这些处理器协作执行一项操作，每个处理器具有自己的内存，操作系统和磁盘。Greenplum使用这种高性能的系统体系结构来分配多TB数据仓库的负载，并且可以并行使用系统的所有资源来处理查询 基于PostgreSQL，基于PostgreSQL9.4，并且在大多数情况下在SQL支持，功能，配置选项和最终用户功能方面与PostgreSQL非常相似。 Greenplum是一个
学习分布式事务一致性？这几个重点别忘划
Greenplum中文社区
02-23 329
新年假期后的第一周来啦！不知大家都是如何度过新年的呢？ 在之前的文章 《不惧宕机，数据库高可用理...
Greenplum基础
m0_57697768的博客
01-06 1079
CREATE DATABASE 是 SQL 命令，用于创建一个新的数据库。name 是你要创建的数据库的名称。这个名称是必须的，并且在同一个数据库服务器上必须是唯一的。可选项，OWNER 指定了新数据库的所有者，如果未指定，新数据库的所有者默认是执行该命令的用户。dbowner 是数据库所有者的用户名。可选项，TEMPLATE 指定了用于创建新数据库的模板。在 PostgreSQL 和 GreenPlum 中，通常有一个名为 template1 的默认模板。如果不指定，就会使用这个默认模板。
Greenplum恢复系统知多少
Greenplum中文社区
02-05 882
...
Greenplum一主两从集群安装配置全过程（图文并茂）
LeeYuChao的博客
08-11 1695
配置SSH 安装所缺的依赖 sudo apt-get install net-tools vim -y 安装ssh服务器 sudo apt-get install openssh-server 检查防火墙设置，关闭防火墙 sudo ufw disable 检验是否成功，运行下面的命令 ssh localhost 创建root用户密码 创建密码： sudo passwd root 输入密码：111111 切换用户： su root 输入密码：111111 配置网络 将网络配置成手动模式的固定网络
大数据面试题之GreenPlum(1)
自律给我自由
07-09 1843
大数据面试题之GreenPlum(1)
greenplum集群搭建操作步骤（CentOS7.5）
03-21
文档描述了本人在公司环境搭建greenplum集群的具体操作步骤，从安装到建库表的详细操作都做个记录，OS为CentOS7.5 集群情况：一台master节点，三台数据节点；本次安装没有装standyby节点。
03 gp 集群搭建
970655147的专栏
07-31 1575
前言 呵呵 最近有一系列环境搭建的相关需求 记录一下 gp 三个节点 : 192.168.110.72, 192.168.110.73, 192.168.110.75 72 为 master, 73 为 slave01, 75 为 slave02 三台机器都做了 trusted shell gp 单节点 docker 搭建 参照Docker Hub gp 搭建步骤 三节点集群 72, 73, 75 三台机器 72 作为 admin, 73, 75 作为 seg.
Greenplum集群的使用
Duncani的博客
01-23 703
Greenplum的集群 简介： Greenplum数据引擎是为新一代数据仓库和大规模分析处理而建立的软件解决方案，其最大的特点是不需要高端的硬件支持仍然可以支撑大规模的高性能数据仓库和商业智能查 询。在数据仓库、商业智能的应用上，尤其在海量数据的处理方面Greenplum表现出极其优 异的性能。 传统数据库侧重交易处理，关注的是多用户的同时的双向操作，在保障即时性的要求 下，系统通过内存来处理数据的分配、读写等操作，存在10瓶颈。而分析型数据库是以实 时多维分析技术作为基础，对数据进行多角度的模拟和归纳，
Greenplum数据库安装部署
Taki的博客
09-16 2648
这两天接触了greenplum分布式数据库，发现挺有意思的，接下来将介绍如何安装丶部署greenplum数据库。读者在完成本篇阅读之后，可以根据本篇给出的步骤在自己的环境里快速搭建一个greenplum数据库系统。 软件版本centos7+gp-5.20.0 安装是以一个master node，以及两个segment node进行安装。 一丶配置要求 1.集群IP配置 192.168.64.129 （master） 192.168.64.130 （segment1） 192.168.64.131 （seg
Greenplum主备节点切换
软件老王
07-08 3282
文章目录1. 场景描述2. 解决方案2.1 激活standby节点2.2 查看集群状态2.3 将故障master节点重新加入集群，作为standby节点2.3.1 先备份之前的主节点数据2.3.2 将节点作为standby加入集群2.4 查看集群节点状态 1. 场景描述 Greenplum主节点出现故障，需要将standby节点手动切换为master节点，当master节点修复完成后，再将新修复...
greenplum（5.10）生产系统主备节点切换
无锋剑
09-05 803
集群安装信息参考：系统初始化：http://blog.51cto.com/michaelkang/2167195集群安装配置：http://blog.51cto.com/michaelkang/2170627 本文对敏感信息进行了替换！！！！ 集群主备节点 master => gpnode615.kjh.com standby => gpnode616.kjh.com 状态查看工具 ...
Greenplum概述及架构
行者牛仔
12-27 9654
详细介绍Greenplum概述及架构，主要包括基本概念、体系架构以及高可用性体系架构。
「揭秘GP」Greenplum 的高可用
Greenplum中文社区
05-12 962
什么是高可用 ​高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%，很多公司的高可用目标是4个9，也就是99.99%，这就意味着，系统的年停机时间为0.876个小时。 如何做到高可用 高可用系统最大的劲敌就是单点故障。任何一个单点故障都是不可避免的，如果系统是单点架构的，当单点出现故障则会导致系统不可用。所以，实现高可用的本质就是冗余。冗余部署服务，当单点出现故障后，
GreenPlum学习（一）
eff666的博客
08-26 2391
1、 0LTP 与 OLAP数据库系统一般分为两种类型，一种是面向前台应用的，应用比较简单，但是重吞吐和 高并发的0LTP类型；一种是重计算的，对大数据集进行统计分析的OLAP类型。Greenplum 属于后者，下面简单介绍下这两种数据库系统的特点。OLTP ( On-Line Transaction Processing,联机事务处理）系统也称为生产系统，它是事件 驱动的、面向应用的，比如电子商务
greenplum分布式集群部署五节点拓扑图
最新发布
07-28
<think>首先，用户的问题是：“我想获取Greenplum分布式集群五节点部署的拓扑结构信息 请问Greenplum 五节点分布式集群部署拓扑结构图”。所以，我需要提供Greenplum在五节点部署下的拓扑结构信息，并尽可能包括一个拓扑结构图。 从系统级指令中，我需要： - 所有行内数学表达式使用$...$格式。 - 独立公式使用$$...$$格式并单独成段。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识。 - 回答结构清晰，帮助用户逐步解决问题。 - 参考提供的引用，但用户的问题是关于拓扑结构，所以我要基于Greenplum的知识来回答。 提供的引用： - [^1]: 讨论数据分布策略（哈希、随机、复制表），强调数据均匀分布。 - [^2]: 关于Greenplum在数仓、OLAP、即席分析中的应用。 - [^3]: 讨论存储节点分组（同构系统），主备节点，故障恢复。 - [^4]: 提到查询处理中数据shuffle。 这些引用不是直接关于拓扑结构的，但[^3]提到了节点分组和主备节点，这相关。我应该参考这些，但主要基于Greenplum的架构知识。 Greenplum的典型拓扑： - Greenplum是一个基于PostgreSQL的MPP（大规模并行处理）数据库。 - 集群包括一个主节点（Master）和多个段节点（Segment）。 - 在五节点部署中，通常有一个主节点和四个段节点，但段节点可以有多个实例。 - 拓扑结构：主节点处理查询、协调，段节点存储数据和处理并行查询。 - 高可用性：可以有主备节点和段备节点。 具体到五节点： - 可能配置：1个主节点，1个备主节点，3个段节点（每个段节点可能有多个段实例），但标准是段节点是物理节点。 - 在Greenplum中，节点是物理服务器。每个段节点可以运行多个段实例（每个CPU核心一个段）。 - 对于五节点部署：一个节点是主节点，另一个是备主节点，其余三个是段节点。每个段节点可能运行多个段进程。 参考[^3]：它提到“将存储节点分为若干组”，其中“同构系统”有主备节点。这适用于段节点。 拓扑结构图：我需要描述它，因为作为文本AI，我无法生成图像。但可以描述或用ASCII艺术表示。 描述拓扑： 1. **主节点（Master）**：负责接收客户端连接、解析查询、生成执行计划、协调段节点。 2. **备主节点（Standby Master）**：用于高可用性，在主节点故障时接管。 3. **段节点（Segment Nodes）**：存储数据和处理查询。每个段节点有多个段实例（segments）。 - 在五节点中：假设节点1：主节点，节点2：备主节点，节点3、4、5：段节点。 - 每个段节点可能有多个段，例如，如果每个节点有4个CPU核心，则每个节点运行4个段实例。 数据分布：根据[^1]，数据均匀分布到段节点上，使用分布键（哈希分布）或随机分布。 故障恢复：[^3]提到如果节点故障，整个集群参与恢复。 现在，回答结构： - 清晰、逐步：先介绍Greenplum架构，然后具体到五节点部署。 - 包括拓扑描述，可能用文字表示图。 - 生成相关问题。 - 添加引用标识。 引用：在回答中，当引用[^1]等时，在段落末尾添加[^1]。 例如：Greenplum使用哈希分布来确保数据均匀分布[^1]。 拓扑图描述： - 用文字：例如： ``` +-----------------+ +-----------------+ | Master Node |-------| Standby Master | +-----------------+ +-----------------+ | | | | | | +-----------------+-----------------+-----------------+ | Segment Node 1 | Segment Node 2 | Segment Node 3 | | (Multiple Segs) | (Multiple Segs) | (Multiple Segs) | +-----------------+-----------------+-----------------+ ``` 但这是ASCII艺术，可能不适合。最好用描述。 标准描述： - 主节点和备主节点通常是独立的节点。 - 段节点是数据存储节点。 在五节点中： - 节点1: Master - 节点2: Standby Master - 节点3,4,5: Segment Nodes, each with multiple segment instances. 数据流动：查询从客户端到Master，Master分发到Segments，Segments处理并返回结果。 生成相关问题：基于主题，如部署、优化、故障处理等。 最后，确保中文回答。</think>### Greenplum 五节点分布式集群部署拓扑结构信息 Greenplum 是一个基于 PostgreSQL 的大规模并行处理（MPP）数据库，专为数据仓库和 OLAP 场景设计。在五节点部署中，集群采用主从架构，确保高可用性和数据均匀分布。以下我将逐步解释拓扑结构，并基于 Greenplum 标准架构和引用内容进行描述。由于我无法直接生成图像，我会用文字详细描述拓扑图，并提供一个简化的 ASCII 艺术示意图。拓扑结构主要涉及节点角色、数据分布和故障恢复机制。 #### 1. **节点角色与功能** 在 Greenplum 五节点部署中，节点分为三类：主节点（Master）、备主节点（Standby Master）和段节点（Segment Nodes）。每个节点是独立的物理服务器，节点间通过高速网络互联。具体配置如下： - **主节点（1个节点）**：负责接收客户端查询、解析 SQL、生成并行执行计划，并协调所有段节点。如果主节点故障，备主节点会自动接管，确保服务连续性[^3]。 - **备主节点（1个节点）**：作为主节点的热备份，实时同步元数据和状态。它不参与日常查询处理，只在主节点故障时激活，提供高可用性[^3]。 - **段节点（3个节点）**：存储实际数据并执行并行查询任务。每个段节点运行多个段实例（Segment Instances），通常每个 CPU 核心对应一个段实例（例如，如果每个节点有 4 核，则每个段节点运行 4 个段）。段节点负责数据存储、本地计算和结果返回。数据根据分布策略（如哈希分布）均匀分散到所有段节点上，避免“短板效应”，确保查询负载平衡[^1]。 #### 2. **拓扑结构描述** 五节点部署的拓扑是一个星型或部分网状结构： - **核心连接**：主节点与所有段节点直接通信；备主节点与主节点保持同步。 - **数据流**：查询从客户端发送到主节点 → 主节点将查询分解为并行任务分发到段节点 → 段节点处理数据并返回部分结果 → 主节点汇总最终结果给客户端。 - **高可用机制**：段节点通常配置镜像（Mirror Segments）以实现冗余。在五节点部署中，由于节点较少，镜像可能分布在现有节点上（如每个段节点为其他段节点提供镜像），而不是单独节点。这属于“同构系统”，其中节点组服务相同数据，故障时整个集群参与恢复，缩短停机时间[^3]。 以下是拓扑的 ASCII 艺术示意图（简化版，便于理解）： ``` +---------------------+ +---------------------+ | 主节点 |<----->| 备主节点 | | (Master) | 同步 | (Standby Master) | +---------------------+ +---------------------+ | | | | | | (协调与故障切换) v v v +---------------------+---------------------+---------------------+ | 段节点 1 | 段节点 2 | 段节点 3 | | (Segment Node) | (Segment Node) | (Segment Node) | | - 段实例 1 | - 段实例 1 | - 段实例 1 | | - 段实例 2 | - 段实例 2 | - 段实例 2 | | - ... (多实例) | - ... (多实例) | - ... (多实例) | +---------------------+---------------------+---------------------+ | 数据分布与并行查询 | | | | (例如: 哈希分布) | | | v v v v [数据均匀存储在段节点上，确保负载均衡] ``` - **关键点**： - **数据分布**：数据通过分布键（如用户 ID 的哈希值）均匀分片到段节点。例如，表数据被划分为 $n$ 个分片（shard），每个分片存储在多个段实例上。这实现了“两重加速”：并行扫描和计算[^1]。 - **故障恢复**：如果某个段节点故障，其镜像（在其他节点上）立即接管，集群自动重新分布数据，恢复时间短[^3]。 - **网络要求**：节点间需低延迟、高带宽网络（如 10GbE），以支持高效数据 shuffle（动态传输），这在复杂查询中尤为重要[^4]。 #### 3. **部署建议与最佳实践** - **硬件配置**：每个节点应有相同规格（CPU、内存、存储），以确保性能均衡。例如，主节点需较高内存用于查询协调，段节点需大存储和高速磁盘。 - **数据分布策略**：选择高基数字段作为分布键（如时间戳或 ID），以实现均匀分布。如果找不到合适键，可使用随机分布，但可能影响 join 性能[^1]。 - **适用场景**：这种拓扑适用于数仓、OLAP 和即席分析，其中 Greenplum 通过并行处理加速查询[^2]。五节点规模适合中小型数据集（TB 级），支持线性扩展：添加更多段节点可提升容量和性能。 Greenplum 的拓扑设计确保了数据本地性和查询效率，但需注意，实际部署可能因版本（如 Greenplum 6.x 支持复制表）和具体需求微调。更多细节可参考 Greenplum 官方文档或部署指南。 #### 相关问题 基于您的查询，以下是几个相关问题，可帮助深入理解 Greenplum 部署： 1. Greenplum 五节点部署中，如何优化数据分布键以减少数据倾斜？ 2. 在 Greenplum 集群中，如何配置段节点镜像以实现高可用性？ 3. Greenplum 的故障恢复机制如何工作？在节点故障时，查询性能会受多大影响？ 4. 对于大型数据集，如何从五节点扩展 Greenplum 集群到更多节点？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值