MYSQL OPERATOR 容器化方案介绍

MySQL现有的operator方案 调研市面上MySQL现有的operator方案,mysql operator来源于网站https://github.com/operator-framework/awesome-operators和OperatorHub.io。MySQL InnoDB Cluster是MySQL高可用方案,利用MySQL Group Replication和MySQL Shell、MySQL Router可以轻松搭建强壮的高可用方案。已做初步调研,与Oracle/mysql-operator的方案一样,后期不再关注。 阅读详情

以前文章分享过Redis Operator容器化方案,本次介绍MySQL Operator容器化方案。与内存库的Redis数据库比起来,容器化MySQL有着更多的需求,主要有以下三个方面:

  • MySQL对存储的要求很高

  • MySQL Pod的IP需要固定

  • MySQL需要支持同城灾备

MySQL容器化拓扑结构

固定MySQL Pod IP可以在K8S上使用Calico网络插件实现。存储方面使用高性能分布式存储或者直接挂载本地盘都可达到要求,这些不在本文做重点介绍。

MySQL容器化有同城灾备需求。对于MySQL部分,我们使用MySQL MGR单主模式,将MGR节点分散在本地/同城运行,正常情况下主节点运行在本地,灾备切换时将主节点切换至同城。对于K8S集群部分,我行K8S集群没有进行跨本地/同城部署,所以MySQL MGR节点会分布在两个K8S集群运行。对于MySQL服务暴露部分,在每个K8S集群上为每个MGR集群各建立Read、Write Service,通过K8S Service机制对外暴露MySQL 服务。整体拓扑结构如下所示:

MySQL Operator功能逻辑

MySQL Operator的功能包括MGR集群创建、集群维护、CPU内存资源升级、MGR节点扩缩容、节点迁移等。由于MGR集群跨K8S部署,所以在Operator的逻辑上不能只管控本地资源,还需关注在同城运行的那一部分MGR节点的情况。

MGR集群创建

在MySQL MGR集群CR资源定义中包含以下三个字段:

  • flag字段为primary标识MGR的主应该在本地

  • ipList定义部署在本地K8S集群的MGR Pod列表,以及具体的Pod IP和所在K8S节点

  • remoteList定义部署在同城K8S集群的MGR Pod列表;本地Operator会通过该字段中的IP地址尝试连接同城MGR节点,以判断同城MGR节点是否连通以及角色是否正常

spec:
  flag: "primary"
  ipList:
  - ip: ""
    nodeName: "abc"
  remoteList:
  - ip: ""
    nodeName: "abc"

在MGR集群创建流程中,两边Operator均需确定ipList和remoteList中的Pod IP地址均可连通,确定MGR集群所属的Pod均已启动后才能执行MGR集群的创建工作。创建的时候,flag为primary侧的Operator会在本K8S集群中选出一个MGR Pod进行主节点的引导启动,其余本地Pod和flag为standby侧集群的Pod均启动为从节点。

MGR集群维护

集群维护功能是为了保证MGR集群按照预期运行,集成了各种异常场景下处理逻辑,主要包括以下几个部分:

  • 保证Service、PVC、Configmap等需要的K8S资源按照预期创建

  • 保证MySQL Pod数量和运行状态正常

  • 保证MySQL Pod的角色标签和实际的MGR角色一致

  • 维持Pod内的MySQL MGR进程启动

  • 判断MGR主节点是否切换,并进行切主后操作等

除了Operator的集群维护功能,另一个保证服务持续可用的是MySQL自身的MGR机制。在整体设计中,我们对Operator和MGR两种机制管控范围的做了清晰的边界划分:即Operator只保证MGR运行所需的环境正常,如节点数、进程启动状态、配置等正常,但涉及到主节点切换等MGR机制内部的事情,Operator只做观察并把最新状态反映到CR的Status字段中而不去做干预。在Operator的设计中,只有三种情况会进行主节点干预:一是集群新建的情况;二是在确认所有集群节点都为从节点的情况,选出gtid最大的节点启动为主;三是收到灾备切换的请求,会将主切到flag=primary的一侧。

MGR集群运维操作

Operator支持对MGR集群进行一些常规的运维操作,包括本地/同城节点的上线、下线,Pod 内存、CPU资源的扩缩容、Pod使用镜像的更换以及MySQL的配置文件更新等。Operator最重要的任务是维持集群正常运行,对于这些运维操作在设计时采用了一个稳妥的方案:

  1. 所有的运维操作必须基于维护流程判断集群状态正常(有且仅有一个主节点,其余节点均运行正常且为从节点)的情况下才可进行

  2. 在状态转换流程中设置操作的优先级,先进行优先级高的操作,如新加节点的优先级高于删除节点的优先级

  3. 如果涉及到类似于多个节点添加的批量操作,Operator会将批量操作拆分为单个操作的顺序执行,每步操作完成后确认集群状态正常才能继续下一步操作

整体流程如下图所示:

MGR集群灾备切换

灾备切换包含两部分:第一部分是MGR集群的主节点切换到同城集群;第二部分是客户端网络流量打到同城集群。对于第二部分的实现有手动改客户端访问地址、更改DNS指向、使用代理转发等多种方法,本文不做讨论。对于第一部分,Operator做了一个便捷化的实现,在检测到flag字段由standy变为primary的时候会主动发起一次切主操作,试图将主切换到现在的primary这边。要注意的是,虽然flag字段标识主节点应该在哪一边,但是Operator不对该预期做强制性保证,MGR内部机制或者手工将主切换到flag=standby一边也是允许的,Operator只会标识出主位置不符合预期,不会做强制性回切。

作者简介

孟玉立,中国民生银行信息科技部开源软件支持组工程师,目前主要负责Kubernetes、Redis的源码研究和工具开发等相关工作。

容器化 | MySQL on K8s 开源开放的高可用容器编排方案 作者:高日耀 资深 MySQL 内核研发 本文源于作者在 KubeSphere & Friends 2021 上海站的演讲内容《MySQL on K8s:开源开放的 MySQL 高可用容器编排方案》。 MySQL 是世界上最流行的开源数据库,在容器及 K8s 技术出来之前,就已经在各行各业中广泛的应用。本文将为大家分享 MySQL 容器化方面的一些实践。 | MySQL 运维有哪些挑战? 传统的物理部署方式,即把数据库部署在物理机上。对运维人员而言,会遇到图 1 中四个维度的挑战。 1、成本.. 阅读详情

相关推荐

企业级容器化部署实践与DevOps工具链构建

容器化技术作为云原生的核心组件,通过操作系统级虚拟化实现应用隔离与快速部署。其底层依赖cgroups和namespace机制实现资源控制,结合镜像分层构建显著提升交付效率。在金融级场景中,容器化需要与CI/CD工具链深度整合,典型技术栈包括Docker生产环境配置、Kubernetes编排、Tekton流水线等关键技术。通过Prometheus监控体系和EFK日志架构,可建立满足等保要求的运维体系。在证券交易等关键业务中,容器化改造能实现分钟级滚动更新与多数据中心容灾,将部署频率提升10倍以上。

weixin_29230059的博客 285

四款 MySQL Operator 助你容器数据库

管理 Kubernetes 上运行的缓存和数据库等有状态应用程序是一项艰巨的任务。使用 Kubernetes API,您可以通过将操作知识和实践直接编码到按需代码中来构建自我管理的基础架构。例如,当 MySQL 容器 pod 发生故障时,您可以使用 Operator 进行响应并采取适当的措施使系统恢复。 Operator 是构建在 Kubernetes 之上的控制器,可以自动化和简化特定的复杂操作。它们的存在是为了向最终用户提供卓越的可扩展性以及高可用性和监控功能。 在 Kubernetes 中运行数据库变

技术宅,专注云原生、Go、Linux、Java等技术分享,原创文章、效率工具、实战解决方案!关注我,了解互联网动态,学 IT 不迷路 1970

MySQL Operator 架构设计概览 数据库

它使用 Kubernetes 的自定义资源定义(Custom Resource Definition,CRD)来创建和管理 MySQL 资源,包括数据库实例、数据库用户和数据库备份等。通过以上组件的协同工作,MySQL Operator 可以实现对 MySQL 数据库的自动化管理。开发者可以使用 MySQL Operator 提供的 CRD 来定义和部署 MySQL 数据库实例、用户和备份等资源,并通过控制器逻辑实现自动化的生命周期管理。如有任何问题,请随时提问。

HackGJN的博客 423

bitpoke/mysql-operator框架介绍

简述开源bitpoke/mysql-operator架构和组件

kylezhou1992的博客 1153

MySQL Operator - 快速创建数据库的脚手架和工程

MySQL Operator是一个Kubernetes的Operator,它提供了在Kubernetes集群中轻松管理和操作MySQL数据库的功能。使用MySQL Operator,我们可以通过定义自定义资源对象(Custom Resource Definitions,CRD)来创建、更新和删除MySQL数据库实例。MySQL Operator是一个强大的工具,可以帮助我们在Kubernetes集群中快速创建和管理MySQL数据库。通过选择合适的脚手架和工程创建方法,我们可以轻松地启动和管理数据库实例。

HackGJN的博客 383

个人博客系统源码实战:前后端分离、核心链路与部署排查

个人博客系统源码是一套可自托管的内容管理基础设施,核心在于前后端分离架构、关系型数据模型与鉴权链路的协同。前端通过 API 获取文章列表与详情,后端以 MySQL 存储文章、分类、标签和评论,配合 Markdown 渲染与 JWT 鉴权完成内容展示和后台写入。其技术价值在于数据自主可控、业务闭环完整、便于二次开发,既能帮助内容作者摆脱平台束缚,也可作为开发者理解真实 Web 项目的练手场景。在私有化部署、个人知识库、技术写作与后台管理应用中,这类源码都需要关注分页查询、缓存、安全配置和 Nginx 上线排查

weixin_33892359的博客 306

mysql是测试用的还是开发用的_MySQL云原生方案在携程开发测试场景中的实践

一、背景与使用场景随着Kubernetes平台在容器云计算领域的一统天下,云原生 (Cloud Native) 一词也被提的越来越频繁。各类应用纷纷走上了容器化、云原生化的道路,无状态服务应用在Kubernetes平台上的运行,已经得到了大规模生产级别的实践认可。相比之下,有状态应用就没有那么顺利了,特别是那些十分重要却又"历史悠久"、不是按照分布式架构理念设计的有状态服务,尤其困难。MySQL就...

weixin_39827506的博客 98

Python+OpenCV实现游戏自动刷怪脚本(附完整代码)

本文详细介绍了如何使用Python和OpenCV开发游戏自动刷怪脚本,涵盖环境搭建、图像识别、行为决策引擎及反检测优化等关键技术。通过完整的代码示例,帮助开发者实现从简单脚本到智能自动化系统的升级,提升游戏效率。

weixin_29032489的博客 524

对mysql的总结与反思_一次DB故障引起的反思和MySQL Operator选型

前言在一次数据库故障后,我们发现业务库会根据业务的等级会划分多个 MySQL 实例,许多业务库会同时属于一个 MySQL 实例,当一个库引发问题后整个实例的状态是不可控的。从而导致这个实例上的所有业务不稳定甚至造成中断。故障反思微服务架构微服务架构在公司已经采用并坚持了近十年,我们也从传统的 VM 部署架构转身至当下的“容器+K8S”,无论是软件架构还是部署架构,我们都朝着高可用,可伸缩,快速迭代...

weixin_35701002的博客 324

新手入门:从零开始学习PCB飞针测试全流程(附常见问题解答)

本文详细介绍了PCB飞针测试的全流程,从核心原理、设备解析到实操步骤和常见问题解答,帮助新手快速掌握这一电子制造领域的关键质检技术。内容涵盖测试资料准备、参数设置、设备操作技巧以及故障排查方法,特别适合小批量PCB生产的质量检测需求。

weixin_29295541的博客 393

【FPGA】Robei EDA的使用(10)————如何更新EDA的使用license

#海卑而下,能聚众水;学问笃实,以生光辉。 有的时候,有些问题自己通过查找资料解决,宁愿磨难一下,走点弯路,但收获更深刻的认知;不过,有些问题,问一下别人,可能会避免自己耗费过多时间做无用工,这些问题问会的人是极好的。但是怎样把握这个问题的类型,大约只能靠经验了~ (问我为何出此感言,谁叫我纠结了两天的问题,被人家一句话解决,我这个恨啊) ————————————————————正文开始的分割线———————————————— Robei EDA在使用上会有一个注册码,这个license在获取之后,每一次的

Ninquelote的博客 1004

告别传统部署!容器化 MySQL 生产级方案:Docker 持久化 + K8s 高可用 + 性能调优一步到位

曾几何时,在容器里运行数据库,尤其是像MySQL这样的有状态服务,被许多人视为“离经叛道”的玩具方案。每个Pod实例都有其专用的PVC,即使Pod被重新调度,也会挂载回原来的数据卷。接下来,我们将从Docker到K8s,由浅入深,揭开容器化MySQL的高阶玩法。(如Calico)的网络策略来限制对MySQL服务的访问,实现网络层面的零信任。,并结合监控、日志、网络策略,构建出真正生产级的、高可用的容器化数据库服务。容器化部署MySQL,已经从一种“新奇”的尝试,演进为支撑现代云原生应用的。

IAMIF12的博客 1066

全国职业院校技能大赛-大数据应用赛项-数据挖掘-01

-----------------------推荐Top5结果如下--------------------------------------------第一条数据前10列结果展示为:----------------------------------------相同种类前10的id结果展示为:--------------------相似度top5(商品id:14,平均相似度:0.522356)相似度top1(商品id:1,平均相似度:0.983456)若属于该spu_id,则内容为1否则为0。

Eternity_04的博客 1958

ProxySQL与云原生:容器化部署与Kubernetes集成

本文详细介绍了ProxySQL在云原生环境中的完整解决方案,涵盖Docker容器化部署、Kubernetes Operator设计实现、云环境配置管理以及自动扩缩容与弹性设计。文章首先阐述了ProxySQL的官方Docker镜像架构和多种部署配置方案,包括基础单后端部署和生产环境推荐配置,并提供了配置文件管理、多环境部署策略、容器健康检查、数据持久化和安全最佳实践。随后深入探讨了Kubernete...

gitblog_00486的博客 768

高电压技术的面试内容整理(详细版本:57题)

涵盖了高电压技术的关键领域,包括气体放电的物理过程、液体和固体介质的绝缘特性、高压外绝缘的分类与特性、电气设备绝缘试验的方法与原理、电力系统的防雷保护措施,以及内部过电压的产生、影响与限制方法,为理解和应对高电压环境下的电气问题提供了系统的知识框架。通过深入探讨气体放电理论、介质极化与损耗、绝缘子的电气特性、绝缘试验技术、防雷策略以及内部过电压的管理。

weixin_44808274的博客 777

基于STM32设计的智能家居控制系统(华为云)_363

本项目设计并实现了一种基于STM32的智能家居控制系统,融合了语音识别、远程控制、环境监测与安全报警等功能。系统以STM32F103C8T6单片机为核心控制器,集成ESP8266 Wi-Fi模块实现与华为云IOT物联网平台的数据交互,采用MQTT协议进行通信。用户可通过语音识别模块控制风扇、空调、窗帘、卧室灯、客厅灯和电视等家电的开关操作,同时也可通过Android手机APP或Windows电脑上位机进行远程控制。系统还具备温湿度、光照强度、烟雾浓度和火焰检测功能,当检测到异常情况时,自动触发蜂鸣器报警并向

883

一键部署MySQL的技术方案

摘要:本文介绍了多种MySQL一键部署技术方案,涵盖容器化部署(Docker)、云托管服务(AWS RDS)、自动化脚本工具(Ansible/Terraform)及Kubernetes Operator等。重点解析了配置模板化、安全加固、监控集成等关键技术,并分享了内存预热、SSD优化等性能优化方法。方案支持GTID复制、分布式中间件集成和智能备份策略,实现从单机到集群的自动化部署,满足不同规模场景需求。(149字)

2501_94058058的博客 607

YOLOv13改进策略【YOLO和Mamba】| 替换骨干 Mamba-YOLOv13-T !!! 最新的发文热点

模块是模型中的一个重要组成部分,其主要作用是在模型的初始阶段对输入图像进行处理,方便后续的特征提取和目标检测。以下是对。

Limiiiing的博客 356

探索 Docker/K8s 部署 MySQL 的创新实践与优化技巧

Docker/K8s 部署 MySQL 的核心,是 “用云原生的方式解决有状态应用的痛点”—— 通过 StatefulSet 保障实例稳定性,用 PVC+StorageClass 实现数据持久化,靠 MGR+Operator 实现高可用,再结合 GitOps、Vault、Prometheus 等工具链提升运维效率。未来,随着 K8s 对有状态应用支持的深化(如 K8s 1.28 + 的 StatefulSet 动态扩缩容优化),MySQL 容器化部署将更趋成熟。

weixin_42300449的博客 1639

CS之攻击菜单详解-后门生成与上线

能够生成如HTA文档、office宏、payload生成器、exe程序。 windows可执行程序exe 可以看到能生成两种windows可执行程序,其分别代表stage分阶段和unstage(stageless)不分阶段。传送门 ——>Cobalt Strike中payload的stage与unstage区别 选择监听器后,按需生成不同类型的exe 然后在目标机器运行即可上线 payload生成器 选择生成如下类型的后门 ——>https://che...

渗透之路,攻防之间皆学问 6808

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

MySQL容器化:从Docker到K8s全攻略,面向开发人员的macOS入门教程。

容器化技术彻底改变了数据库部署的方式,MySQL作为最流行的开源关系型数据库之一,其容器化部署经历了从Docker单机到Kubernetes集群的完整进化路径。容器化MySQL的演进反映了云原生技术的成熟过程,从简单的环境隔离到智能化的自治系统,这一进化路径将继续重塑数据库管理的未来图景。通过初始化容器配置复制关系,利用ReadWriteMany存储卷实现多副本共享数据。通过环境变量配置root密码,端口映射实现主机访问。使用Docker部署MySQL是最基础的容器化方案,适合开发环境或小型应用。

2501_93981299的博客 405

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

一键部署MySQL的核心技术方案

《MySQL自动化部署技术方案》摘要:本文提出四种MySQL部署方案:1)DockerCompose容器化部署,支持版本指定与数据持久化;2)KubernetesOperator方案实现主从复制与故障转移;3)Terraform多云托管服务集成;4)Ansible剧本批量部署。关键技术包括:网络拓扑设计(Overlay/macvlan)、存储方案(CSI驱动/LVM快照)、监控集成(Prometheus/Grafana)、性能优化(自适应缓冲池/动态连接调整)及安全加固(RBAC模板/Vault加密)。方案

2501_94058130的博客 261

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

一键部署MySQL的黑科技

传统MySQL部署需手动配置环境、修改参数,耗时且易出错。:云环境下编排基础设施,结合AWS RDS或阿里云数据库服务实现一键创建。:针对K8s生态的定制化MySQL管理方案,支持扩缩容与高可用。:通过预置MySQL镜像,快速启动实例,支持版本切换与隔离。:根据硬件资源动态生成my.cnf配置,如缓存大小与连接数。:自动化配置管理工具,批量执行安装脚本与参数优化。:部署脚本自动创建应用专用账号,限制远程访问IP。:部署时自动添加定时备份任务,支持本地或云存储。:秒级搭建隔离的MySQL实例,支持快速迭代。

weixin_39536563的博客 502

MySQL一键部署技术概述

MySQL自动化部署技术摘要 现代MySQL部署方案通过容器化(Docker/K8s)和自动化脚本实现快速标准化安装,可将部署效率提升90%以上。核心架构设计包含高可用复制组、分布式存储和智能资源分配规则,内存配置遵循70%服务器内存原则。安全方面强制密码加密存储、最小化端口暴露,并集成实时监控(Prometheus)和可视化看板(Grafana)。系统内置自动化备份验证机制,支持物理/逻辑双备份模式,确保数据可靠性。典型方案如Presslabs MySQL Operator已实现生产级部署框架,完整覆盖从

2501_94058497的博客 581

一键部署MySQL的核心技术原理

摘要:本文探讨了MySQL一键部署的技术实现方案,对比Docker Compose、Kubernetes Operator和云服务商三种主流方案。重点分析了容器化技术、自动化脚本与安全加固的协同机制,提供了部署脚本示例和性能调优参数预设方法。同时介绍了故障排查、监控集成方案,以及如何与CI/CD流水线结合实现自动化测试数据库部署。技术实现涵盖从单机快速部署到集群化高可用场景,强调安全加固与性能优化的平衡,为不同规模场景下的MySQL自动部署提供参考框架。

2501_94022039的博客 233
上一篇: 【技术分享】微服务开发的幸福感,是如何提升的?
下一篇: 三个统一.
程序员职业指南
博客等级 码龄4年 2140粉丝 960原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值