如何在Kubernetes中部署一个高可用的PostgreSQL集群环境

K8S - 集群中部署 PostgreSQL 1、创建pv vi pgsql-data-pv.yaml --- kind: PersistentVolume apiVersion: v1 metadata: name: pgsqlpv0001 labels: type: hostpath spec: capacity: storage: 5Gi accessModes: - ReadWriteMany hostPath: path: "/root/k8s/pgsql 阅读详情

如何在Kubernetes中部署一个高可用的PostgreSQL集群环境

【编者的话】本文主要介绍了如何在Kubernetes环境中用Stolon去部署高可用的PostgreSQL,本文从Stolon的结构组成开始,由浅入深介绍原理,从开始安装到最后对其进行failover测试,深入浅出,为以后部署高可用的PostgreSQL提供了一种的解决方案。

1.png


创建一个高可用的PostgreSQL集群环境总是一件棘手的事情。在云环境里部署时更是非常困难。我至少找到了3个项目,它们可以在Kubernetes里提供高可用的PostgreSQL解决方案。

Patroni

Patroni是一个模板,它使用Python为你提供一个自己订制的,高可用的解决方案,为最大程度的可用性,它的配置信息存储在像ZooKeeper, etcd或者Consul中。如果DBAs,DevOps工程师或者SRE正在寻找一个在数据中心中快速部署高可用PostgreSQL方案,或者其他的用途,我希望Patroni能够帮到他们。

Crunchy

Crunchy容器套件提供一个了Docker容器,它能快速部署PostgreSQL,同时也提供管理和监控的工具。并且支持多种用风格的部署PostgreSQL集群。

Stolon

Stolon是一个cloud native的PostgreSQL高可用管理工具。它之所以是cloud native的是因为它可以在为容器内部的PostgreSQL提供高可用(Kubernetes 集成),而且还支持其他种类的基础设施(比如:cloud IaaS,旧风格的基础设施等)

漂亮的图表加上一些在kubernets.io上的用户分享12说服我去试一下crunchy容器。但是过了一段时间,我改变了想法。

我不想说他设计上的某些缺点或者是其他的什么不好。但是它给我的感觉就好像是我自己在容器里手动安装PostgreSQL一样,并没有云的感觉。

所以我尝试了一下stolon。在一次又一次的安装和卸载之后,我运行了它的statefulset的例子并且用helm chart创建。

如果你想知道更多关于stolon可以参考作者这篇介绍。

下面我将展示一下安装过程并且演示一下集群环境下的failover。我们假设安装用的是helm chart。

Stolon 架构图

摘抄自Stolon的介绍。

0-tDzE_Y0wg-xPKRfk.png


Stolon 是由3个部分组成的:

  • keeper:他负责管理PostgreSQL的实例汇聚到由sentinel(s)提供的clusterview。
  • sentinel:it负责发现并且监控keeper,并且计算最理想的clusterview。
  • proxy:客户端的接入点。它强制连接到右边PostgreSQL的master并且强制关闭连接到由非选举产生的master。


Stolon 用etcd或者Consul作为主要的集群状态存储。

Installation

$ git clone https://github.com/lwolf/stolon-chart
$ cd stolon-chart
$ helm install ./stolon

You can also install directly from my repository

helm repo add lwolf-charts http://charts.lwolf.org helm install lwolf-charts/stolon
安装的过程将会做如下的动作:

首先,会用statefulset创建3个etcd节点。Stolon-proxy和stolon-sentinel也会被部署。Singe time job将集群的安装暂停直到etcd节点状态变成availabe。

chart还会创建两个服务:

  • stolon-proxy——服务来源于官方的例子。他总是指向当前的因该被写入的master。
  • stolon-keeper——Stolon自己本身不提供任何读取操作的负载均衡。但是Kubernetes的service却可以做到这点。所以对于用户来说,stolon-keeper的读操作是在pod的层面做到负载均衡的。


当所有的组件状态变为RUNNING时,我们可以试着连接它们。

我们可以用NodePort这种简单的连接方式部署service。用两个终端分别去连接master service和slave service。在post的过程中,我们假设stolon-proxy服务(RW)已经暴露了30543端口,stolon-keeper服务(RO)已经暴露了30544端口。

连接master并且建立test表

psql --host <IP> --port 30543 postgres -U stolon -W
postgres=# create table test (id int primary key not null,
value text not null);
CREATE TABLE
postgres=# insert into test values (1, 'value1');
INSERT 0 1
postgres=# select * from test;
id | value
---- --------
1 | value1
(1 row) 


连接slave并且检查数据。你可以写一些信息以便确认请求已经被slave处理了。

psql --host <IP> --port 30544 postgres -U stolon -W
postgres=# select * from test;
id | value
---- --------
1 | value1
(1 row) 


在测试通过后,我们去试试failover功能。

测试failover

这个案例是官方代码库中statefullset的一个例子。简单的说,就是为模拟了master挂掉,我们先删除了master的statefulset又删除了master的pod。

kubectl delete statefulset stolon-keeper --cascade=false
kubectl delete pod stolon-keeper-0


然后,在sentinel的log中我们可以看到新的master被选举出来了。

no keeper info available db=cb96f42d keeper=keeper0
no keeper info available db=cb96f42d keeper=keeper0
master db is failed db=cb96f42d keeper=keeper0
trying to find a standby to replace failed master
electing db as the new master db=087ce88a keeper=keeper1 


现在,在刚才的那两个终端中如果我们重复上一个命令,我们可以看到如下输出。

postgres=# select * from test;
server closed the connection unexpectedly
This probably means the server terminated abnormally
before or while processing the request.
The connection to the server was lost. Attempting reset:
Succeeded.
postgres=# select * from test;
id | value
---- --------
1 | value1
(1 row)


Kubernetes的service把不可用的pod去掉,把请求转到可用的pod上。所以新的读取连接被路由到了健康的pod上。

最后,我们需要重新创建statefulset。最简单的方法就是更新部署了的helm chart。

helm ls
NAME               REVISION   UPDATED                    STATUS     CHART              NAMESPACE
factual-crocodile  1          Sat Feb 18 15:42:50 2017   DEPLOYED   stolon-0.1.0       default
helm upgrade factual-crocodile .

 

2.用chaoskube模拟随机的pod挂掉

另一个测试集群弹性(resilience)的好方法是用chaoskube。Chaoskube是一个小的服务程序,它可以周期性的在集群里随机的kill掉一些的pod。它也可以用helm charts部署。

helm install --set labels="release=factualcrocodile,
component!=factual-crocodine-etcd" --set
interval=5m stable/chaoskube


这条命令会运行chaoskube,它会每5分钟删除一个pod。它会选择label中release=factual-crocodile的pod,但是会忽略etcd的pod。

在做了几个小时的测试之后,我的集群环境仍然是一致并且工作的很稳定。

结论

我仍然在我的开发服务器上运行stolon。到目前为止我还是满意的。他真的很想一个本地的运环境。有很好的弹性和自动化的failover能力。

如果你对它感兴趣-可以查看我的官方repository或者和我的chart。

k8s集群下创建高可用postgresql数据库集群实践 K8s 安装 pg集群服务器 主要的目的是做到自动灾备切换,利用kubernetes 集群做到高可用的数据库服务。 三个节点, 2节点部署 proxy,sentinel,3节点keeper (DB) 本文选着stolon, 详细解决方案,原理请看:项目地址 https://github.com/sorintlab/stolon 总体架构架构 下面是步骤 1. 创建临时目录下载项目 mkdir ... 阅读详情

相关推荐

kubernetes部署postgres

kubernetes 部署 postgres 服务

运维那些事儿 1233

在k8s中实现posgresql集群及其负载均衡

PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统(

adamho的专栏 1964

如何在k8s(kubernetes)中部署postgresql的高可用stolon

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结 前言 该文章讲述了如果在k8s中部署stolon。各大名站内外收集资料并经过多次试验后输出本文章, 提示:以下是本篇文章正文内容,下面案例可供参考 一、pandas是什么? 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下(示例): import numpy as np import p

weixin_45391210的博客 4773

helm安装postgres_如何在Kubernetes中部署一个高可用的PostgreSQL集群环境

【编者的话】本文主要介绍了如何在Kubernetes环境中用Stolon去部署高可用的PostgreSQL,本文从Stolon的结构组成开始,由浅入深介绍原理,从开始安装到最后对其进行failover测试,深入浅出,为以后部署高可用的PostgreSQL提供了一种的解决方案。创建一个高可用的PostgreSQL集群环境总是一件棘手的事情。在云环境里部署时更是非常困难。我至少找到了3个项目,它们可以...

weixin_31579367的博客 524

PostgreSQL 云原生实战:K8s 部署、高可用集群与云生态集成

摘要:本文深入探讨PostgreSQL在云原生环境下的部署与运维方案,重点解决容器化高可用、数据持久化、自动化备份和云生态联动四大挑战。通过Kubernetes StatefulSet+Patroni实现RTO<30秒的高可用架构,结合PVC/PV确保数据持久性,利用pgBackRest实现自动化备份,并集成Prometheus、Grafana等监控工具。文章详细解析了云原生部署原理、企业级实战步骤和常见避坑指南,提供可直接复用的K8s配置模板,帮助企业在云原生环境中实现PostgreSQL的弹性伸缩

lamehsl的专栏 1485

PostgreSQL在Kubernetes上的高可用部署核心原理

PostgreSQL作为典型有状态数据库,在Kubernetes中部署并非简单容器化,其本质是围绕数据持久性、网络身份稳定性与启动顺序确定性的系统工程。核心依赖StatefulSet保障Pod唯一标识与有序扩缩容,PersistentVolume实现RWO存储绑定以避免数据损坏,Secret管理密码与证书实现零明文凭证流转。技术价值在于支撑金融、电商等场景下的强一致性与高可用SLA,适用于云原生数据库迁移、K8s生产环境落地及DevOps自动化运维。本文深入解析Postgres在K8s中真实可行的部署逻辑。

weixin_30591551的博客 401

K8S部署高可用postgresql集群 —— 筑梦之路

git clone https://github.com/sorintlab/stolon.git 或者 git clone https://gitee.com/mirrors/stolon.git

筑梦之路 3495

PostgreSQL 云原生实战:Docker+K8s 部署高可用集群(自动扩缩容 + 故障自愈)

本文介绍了如何在Kubernetes上部署高可用的PostgreSQL集群,解决传统部署方式的三大痛点:扩缩容困难、故障切换慢和环境不一致。通过K8s的StatefulSet、PV/PVC和Patroni等组件,实现自动扩缩容(5分钟新增从库)、快速故障切换(30秒内恢复)和环境一致性。实战部分详细展示了从Docker镜像准备到K8s资源配置的完整流程,包括ConfigMap配置、StatefulSet部署和服务暴露,并提供了可复现的YAML配置和验证方法。文章还列举了5个常见避坑点,如StatefulSe

lamehsl的专栏 868

Kubernetes 部署 PostgreSQL

Kubernetes 部署 PostgreSQL 可以选择 Operator 和 Helm。

IoTHub - 物联网开源技术社区 1765

TI毫米波雷达人体生命体征(呼吸、心跳)信号提取算法(IWR6843ISK+DCA1000EVM)

本篇内容介绍的算法主要为传统的提取算法,但可实现在1m内呈现良好的检测效果,能够提取出非常可观的呼吸和心跳波形,但在超出1m的距离后便不适用这个算法了。远距离检测呼吸和心跳始终是这个领域一个很大的挑战。要实现远距离检测可在提取相位信号、分离呼吸和心跳信号上进行改进处理,例如线性解调提取相位、改进的VMD分离呼吸和心跳算法。

m0_61934621的博客 3万+

DrissionPage无头模式破盾记:实战绕过CloudFlare 5秒验证

本文详细介绍了如何使用DrissionPage无头模式绕过CloudFlare 5秒盾验证,提升爬虫效率。通过关键参数配置、服务器环境问题处理及高级绕过技巧,如动态UA轮换和鼠标移动模拟,帮助开发者有效应对反爬机制。实战案例展示了如何结合最新Chrome UA和参数设置实现稳定数据采集。

weixin_29327525的博客 491

三、kubernetes部署postgresql高可用集群

kubernetes helm部署postgresql-ha高可用集群

wangweiji的博客 1090

传输线末端短路、开路、加电感的反射系数

时,频率变化约300MHz, 出现这种偏差是因为我们的计算中将电磁波传播速率默认为。时,频率变化约300MHz, 出现这种偏差是因为我们的计算中将电磁波传播速率默认为。下图为用网络分析仪实测一长度为30cm的传输线末端加一0.6uH的线圈的反射系数。下图为用网络分析仪实测一末端短路的长度为30cm的传输线的反射系数。下图为用网络分析仪实测一末端开路的长度为30cm的传输线的反射系数。末端加电感相当于在传输线末端延长了一段后末端短路,使得相位下降速率。幅度为0dB, 相位由。幅度为0dB, 相位由。

johnboat的专栏 1874

Kubernetes集群安装高可用postgresql

Kubernetes安装高可用postgresql集群

weixin_46660849的博客 8万+

Adams与Matlab联合仿真入门:从零搭建你的第一个动力学模型

本文为Adams与Matlab联合仿真新手提供了一份详尽的入门指南。文章从软件环境配置、版本兼容性检查讲起,逐步演示了如何在Adams中构建单摆动力学模型并定义输入输出接口,以及在Matlab/Simulink中搭建控制回路。通过一个完整的受控单摆实例,手把手教你完成从模型导出、模块生成到执行联合仿真的全流程,帮助你快速搭建并运行第一个联合仿真模型,实现动力学与控制系统的协同验证。

g5h6i7j的博客 702

YOLOv11改进 | 细节涨点篇 | DySample一种最新的轻量化动态上采样算子(效果完爆CARAFE)

本文给大家带来的最新改进机制是一种号称超轻量级且有效的动态上采样器——DySample。与传统的基于内核的动态上采样器相比,DySample采用了一种基于点采样的方法,相比于以前的基于内核的动态上采样器,DySample具有更少的参数、浮点运算次数、GPU内存和延迟。此外,DySample在包括语义分割、目标检测、实例分割、全景分割和单目深度估计在内的五个预测任务中,性能均优于其他上采样器(截至目前最有效的上采样算子),

Snu77的博客 4213

kubernetes集群部署高可用Postgresql的Stolon方案

kubernetes集群部署高可用Postgresql的Stolon方案 目录 前言 ....前言 本文选用Stolon的方式搭建Postgresql高可用方案,主要为Harbor提供高可用数据库,Harbor搭建可查看kubernetes搭建Harbor无坑及Harbor仓库同步,之后会提供redis高可用及Harbor高可用方案搭建 方案比较 几种postgresql高可用方案简单...

zdy0_2004的专栏 3279

海康Visionmaster-全局脚本:VM 加载方案后自动执行 的方法,如何让VM在方案加载后自动执行流程?

海康Visionmaster-全局脚本:VM 加载方案后自动执行 的方法,如何让VM在方案加载后自动执行流程?

视觉人机器视觉的博客 2040

Kubegres完全指南:如何在Kubernetes上部署高可用PostgreSQL集群

Kubegres是一个功能强大的Kubernetes Operator,它能够帮助用户轻松部署和管理一个或多个PostgreSQL集群,同时提供数据库复制、故障转移和备份等关键功能。本指南将详细介绍如何使用Kubegres在Kubernetes环境中搭建高可用的PostgreSQL集群,适合新手和普通用户快速上手。 ## 什么是Kubegres? Kubegres作为Kubernetes的Op

gitblog_00918的博客 855

如何对TBSS的结果进行统计学的分析,已完成置换检验,如何在最终的TBSS输出结果提取除具体值及如何做进一步相关性分析??

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值。

**My Coding Family** 1442

SpringBoot实现快速导入EXCEL

MaterialMonitorController.java @Log(title = "物料监测", businessType = BusinessType.IMPORT) @RequiresPermissions("system:materialMonitor:import") @PostMapping("/importData") @ResponseBody ...

LEN程序员的一生 4817

kubernetes Stolon部署高可用Postgresql

....前言 本文选用Stolon的方式搭建Postgresql高可用方案,主要为Harbor提供高可用数据库,Harbor搭建可查看kubernetes搭建Harbor无坑及Harbor仓库同步,之后会提供redis高可用及Harbor高可用方案搭建 方案比较 几种postgresql高可用方案简单比较: 引用https://studygolang.com/articles/1...

weixin_40965647的博客 771

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

k8s部署高可用mysql_kubernetes Stolon部署高可用Postgresql

....前言本文选用Stolon的方式搭建Postgresql高可用方案,主要为Harbor提供高可用数据库,Harbor搭建可查看kubernetes搭建Harbor无坑及Harbor仓库同步,之后会提供redis高可用及Harbor高可用方案搭建方案比较几种postgresql高可用方案简单比较:首先repmgr这种方案的算法有明显缺陷,非主流分布式算法,直接pass;Stolon和Patro...

weixin_42500477的博客 647

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: Stellar深入浅出Hello New World
下一篇: 开源免费CRM云端的客户管理系统SuiteCRM简介
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值