Python etcd 配置中心实战:构建分布式配置管理系统

Python连接Etcd集群基础教程 最近接手了一个项目,项目是使用Python开发的,其中使用到了Etcd,但是项目之前开发的方式,只能够支持单节点连接Etcd,不能够在Etcd节点发生故障时,自动转移。因此需要实现基于现有etcd sdk 开发一个能够实现故障转移的功能,或者更换etcd sdk来实现故障转移等功能。先来看看项目之前使用到的 etcd 库,即,通过给出的示例,没有看到可以连接多节点的方式,深入到源码后,也没有发现可以连接多节点的方式,基本上可以断定之前使用到的 etcd sdk 不支持集群方式了。 阅读详情

Python etcd 配置中心实战:构建分布式配置管理系统

引言

在分布式系统中,配置管理是一个关键挑战。作为一名从Rust转向Python的后端开发者,我深刻体会到集中式配置管理在多节点部署中的重要性。etcd作为一个高可用的分布式键值存储,已成为构建配置中心的首选方案。

etcd 核心概念

什么是etcd

etcd是一个分布式键值存储系统,具有以下特点:

  • 高可用:基于Raft一致性算法,支持多节点部署
  • 强一致性:保证数据在所有节点间的一致性
  • 分布式锁:支持分布式场景下的原子操作
  • 监听机制:支持键值变化的实时监听

配置中心架构

┌─────────────────────────────────────────────────────────────┐
│                      客户端应用                            │
│  ┌─────────────────────────────────────────────────────┐   │
│  │  读取配置 → 监听变化 → 自动更新                      │   │
│  └─────────────────────────┬─────────────────────────┘   │
└─────────────────────────────┼─────────────────────────────┘
                              │ gRPC
                              ▼
┌─────────────────────────────────────────────────────────────┐
│                      etcd 集群                            │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐               │
│  │  Node 1  │  │  Node 2  │  │  Node 3  │               │
│  │  Leader  │  │ Follower │  │ Follower │               │
│  └──────────┘  └──────────┘  └──────────┘               │
└─────────────────────────────────────────────────────────────┘

环境搭建与基础配置

安装依赖

pip install etcd3

连接配置

import etcd3

client = etcd3.client(
    host='localhost',
    port=2379,
    timeout=5,
    grpc_options={
        'grpc.max_send_message_length': 1024 * 1024 * 100,
        'grpc.max_receive_message_length': 1024 * 1024 * 100
    }
)

# 带认证的连接
client = etcd3.client(
    host='localhost',
    port=2379,
    user='username',
    password='password'
)

基本操作实战

设置和获取配置

# 设置单个配置
client.put('/config/app/database/host', 'localhost')
client.put('/config/app/database/port', '5432')
client.put('/config/app/database/user', 'admin')

# 获取单个配置
host = client.get('/config/app/database/host')[0]
print(f"数据库主机: {host.decode('utf-8')}")

# 获取配置前缀下的所有键值
configs = dict(client.get_prefix('/config/app/database/'))
for key, value in configs.items():
    print(f"{key.decode('utf-8')}: {value.decode('utf-8')}")

删除配置

# 删除单个配置
client.delete('/config/app/database/password')

# 删除前缀下的所有配置
client.delete_prefix('/config/app/old_config/')

事务操作

# 事务:如果键存在则更新,否则设置默认值
transaction = client.transaction(
    compare=[
        client.transactions.value('/config/app/initialized') == b'true'
    ],
    success=[
        client.transactions.put('/config/app/counter', '2')
    ],
    failure=[
        client.transactions.put('/config/app/initialized', 'true'),
        client.transactions.put('/config/app/counter', '1')
    ]
)

print(f"事务成功: {transaction.succeeded}")

高级特性实战

配置监听

import time

def watch_callback(event):
    print(f"事件类型: {event.event_type}")
    print(f"键: {event.key.decode('utf-8')}")
    print(f"值: {event.value.decode('utf-8')}")

# 监听单个键
watch_id = client.add_watch_callback('/config/app/database', watch_callback)

# 监听前缀
watch_id = client.add_watch_callback('/config/app/', watch_callback)

# 保持监听
try:
    while True:
        time.sleep(1)
except KeyboardInterrupt:
    client.cancel_watch(watch_id)

分布式锁

# 创建分布式锁
lock = client.lock('/locks/app/deploy')

# 获取锁
with lock.acquire(timeout=10):
    print("获取锁成功,执行临界区代码")
    # 执行需要互斥的操作
    update_config()

# 手动获取和释放
lock.acquire()
try:
    # 执行操作
    pass
finally:
    lock.release()

租约机制

# 创建租约(TTL为30秒)
lease = client.lease(ttl=30)

# 将键绑定到租约
client.put('/config/app/active', 'true', lease=lease)

# 保持租约活跃
keepalive = lease.keepalive()

# 停止租约
keepalive.cancel()

# 租约过期后,绑定的键会被自动删除

配置中心实现

配置加载器

import json

class ConfigLoader:
    def __init__(self, client, base_path):
        self.client = client
        self.base_path = base_path
        self.config = {}
    
    def load(self):
        """加载所有配置"""
        configs = dict(self.client.get_prefix(self.base_path))
        for key, value in configs.items():
            relative_key = key.decode('utf-8').replace(self.base_path, '')
            self.config[relative_key] = value.decode('utf-8')
        return self.config
    
    def get(self, key, default=None):
        """获取单个配置"""
        full_key = f"{self.base_path}{key}"
        value = self.client.get(full_key)[0]
        if value is None:
            return default
        return value.decode('utf-8')
    
    def watch(self, callback):
        """监听配置变化"""
        def wrapper(event):
            key = event.key.decode('utf-8').replace(self.base_path, '')
            value = event.value.decode('utf-8') if event.value else None
            self.config[key] = value
            callback(key, value)
        
        self.client.add_watch_callback(self.base_path, wrapper)

动态配置更新

def on_config_change(key, value):
    print(f"配置 {key} 已更新为: {value}")
    # 根据配置变化执行相应操作
    if key == 'database/host':
        reconnect_database(value)
    elif key == 'logging/level':
        update_log_level(value)

loader = ConfigLoader(client, '/config/app/')
loader.watch(on_config_change)

# 加载初始配置
config = loader.load()
print(f"当前配置: {config}")

实际业务场景

场景一:多环境配置管理

def get_env_config(env='production'):
    loader = ConfigLoader(client, f'/config/{env}/')
    return loader.load()

# 获取开发环境配置
dev_config = get_env_config('development')

# 获取生产环境配置
prod_config = get_env_config('production')

场景二:服务发现

class ServiceDiscovery:
    def __init__(self, client):
        self.client = client
        self.services = {}
    
    def register_service(self, service_name, host, port):
        """注册服务"""
        service_key = f'/services/{service_name}/{host}:{port}'
        lease = self.client.lease(ttl=60)
        self.client.put(service_key, json.dumps({
            'host': host,
            'port': port,
            'timestamp': time.time()
        }), lease=lease)
        return lease
    
    def discover_services(self, service_name):
        """发现服务"""
        services = dict(self.client.get_prefix(f'/services/{service_name}/'))
        result = []
        for key, value in services.items():
            result.append(json.loads(value.decode('utf-8')))
        return result

场景三:分布式配置同步

def sync_config(source_path, target_path):
    """同步配置从源路径到目标路径"""
    configs = dict(client.get_prefix(source_path))
    
    for key, value in configs.items():
        relative_key = key.decode('utf-8').replace(source_path, '')
        target_key = f'{target_path}{relative_key}'
        client.put(target_key, value)
    
    print(f"已同步 {len(configs)} 个配置项")

性能优化

批量操作

# 批量设置
operations = [
    ('/config/app/a', 'value_a'),
    ('/config/app/b', 'value_b'),
    ('/config/app/c', 'value_c')
]

for key, value in operations:
    client.put(key, value)

# 使用事务批量操作
transaction = client.transaction(
    compare=[],
    success=[
        client.transactions.put('/config/app/a', 'value_a'),
        client.transactions.put('/config/app/b', 'value_b'),
        client.transactions.put('/config/app/c', 'value_c')
    ],
    failure=[]
)

缓存策略

class CachedConfigLoader(ConfigLoader):
    def __init__(self, client, base_path, cache_ttl=300):
        super().__init__(client, base_path)
        self.cache_ttl = cache_ttl
        self.cache_time = 0
    
    def load(self):
        """带缓存的配置加载"""
        now = time.time()
        if now - self.cache_time < self.cache_ttl:
            return self.config
        
        self.cache_time = now
        return super().load()

监控与运维

集群状态

# 获取集群成员
members = client.get_members()
for member in members:
    print(f"成员ID: {member.id}")
    print(f"名称: {member.name}")
    print(f"状态: {member.status}")
    print(f"地址: {member.client_urls}")

# 获取集群健康状态
health = client.health()
print(f"集群健康状态: {health}")

性能监控

# 获取etcd统计信息
stats = client.stats()
print(f"领导者统计: {stats['leader']}")
print(f"自增ID: {stats['self']['id']}")
print(f"已提交条目数: {stats['self']['applied_index']}")

总结

etcd为Python后端开发者提供了构建分布式配置管理系统的强大工具。通过其高可用性、强一致性和实时监听机制,etcd成为构建现代微服务架构中不可或缺的组件。从Rust开发者的角度来看,etcd的设计理念与Rust的可靠性理念非常契合。

在实际项目中,建议合理设计配置键的命名规范,使用租约机制管理临时配置,并结合监控工具及时发现和解决问题。

Docker微服务架构中etcd服务发现与配置管理实战 在容器化微服务架构中,服务发现与分布式配置是解决动态扩缩容、跨主机通信和配置热更新的核心能力。其原理基于注册中心(如etcd)实现服务实例的自动注册、健康心跳与DNS式寻址,并通过强一致性键值存储支撑配置的实时监听与原子切换。技术价值在于解耦容器生命周期与网络依赖,显著提升系统弹性与运维效率。典型应用场景包括Docker Compose多机部署、轻量级Swarm替代方案及遗留系统渐进式上云。本文聚焦etcd在Docker生态中的生产级落地,涵盖高可用集群搭建、服务注册契约设计、配置热更新可靠性保障及安全加固 阅读详情

相关推荐

216、Django与Spring Cloud Config:轻松实现分布式配置管理

本文介绍了如何使用`python-decouple`和`django-extended-choices`这两个库将Django与Spring Cloud Config集成。通过定义配置选项和配置环境,可以实现不同环境中配置信息的集中管理和灵活切换。这使得Django项目能够像Spring Cloud一样享受到分布式配置管理的好处。

silenceallat的博客 1108

Etcd 介绍

单点部署:下载源码包、编译为可执行文件(使用build脚本构建会在当前项目的bin目录下面生成etcd和etcdctl可执行程序、etcd是etcd Server服务程序、etcdctl是链接etcd的客户端程序使用命令行操作进行和服务端的交互)Etcd安装:支持单点部署、但是在生产环境中推荐使用集群方式部署、一般etcd节点数会选择3,5,7等奇数个。使用方式:应用在启动的时候主动从etcd获取一次配置、同时在etcd节点上注册一个watcher并等待、每次配置更新的时候、etcd都会实时通知订阅者。

JineD的博客 2245

Windows 2000系统下载与全套镜像安装:从镜像校验到驱动兼容性实战指南

操作系统镜像文件是安装系统的核心载体,其完整性直接影响部署成败。哈希校验作为验证文件一致性的基础手段,能有效避免因镜像损坏导致的安装中断。对于已停止支持的操作系统,如Windows 2000,其镜像获取与安装更具挑战性,但它在工业控制、专用终端及怀旧技术研究中仍有不可替代的价值。通过理解镜像命名规则、服务包等级(如SP4)及引导方式,结合虚拟机或老硬件平台,可以顺利完成部署。同时,驱动兼容性是老系统运行的关键瓶颈,需针对性解决网卡、显卡等外设驱动问题。本文从镜像下载、校验到安装配置,系统梳理了Windows

weixin_32050773的博客 350

python 操作 etcd

使用模块 https://github.com/kragniz/python-etcd3 安装 pip install etcd3 模块使用文档连接 import etcd3 etcd = etcd3.client() etcd.get('foo') etcd.put('bar', 'doot') etcd.delete('bar')

hllyzms的博客 4387

从零上手:基于RK3588平台的RKISP Tuner实战配置与核心功能解析

本文详细介绍了在RK3588平台上使用RKISP Tuner工具进行图像信号处理器(ISP)调试的完整实战流程。从MATLAB运行时环境搭建、服务端部署到核心连接,逐步解析如何通过图形化界面实时调节白平衡、锐化、降噪等参数以优化图像质量。文章重点阐述了实时预览、参数调试、抓图对比及参数保存等核心功能,为开发智能摄像头、机器人等AIoT设备的工程师提供了实用的配置指南与进阶技巧。

js777的博客 632

[RK3588-Android12] 深入解析USB Type-C PD充电功能的DTS配置与内核驱动修改

本文深入探讨了在RK3588 Android12平台上禁用USB Type-C PD充电功能的实现方法。通过分析设备树(DTS)配置与内核驱动(TCPM框架)的联动修改,详细解读了如何通过添加`pd-disable`属性及修改`tcpm.c`驱动代码,使Type-C端口绕过PD协议协商,仅工作在传统电源模式,以满足工控等特定场景对供电稳定性和成本控制的需求。

9o8p7i6u5y的博客 995

微服务注册中心 ETCD Go/Python/Node调用

微服务注册中心ETCD简介 Go/python/node调用

qq_38269333的博客 1204

Sourcetree与Gitee的完美协作:从身份验证到推送成功的全流程指南

本文提供了一份详细的Sourcetree与Gitee协作全流程指南,重点解决身份验证失败、Git版本配置及远端仓库设置等常见问题。通过分步讲解,帮助用户掌握从克隆、提交到成功推送的完整操作,并整合了使用个人访问令牌进行身份验证等关键热词信息,确保Windows与MacOS用户都能顺畅完成代码管理。

m2n3b4v5c6的博客 713

etcd-python

可以将获取的两个值,给到两个参数,中文需要decode()翻译。# 创建数据(以K-V值形式,返回数据产生的header{})# 获取数据(返回数据值、数据对象<object>)关于etcd,被封装的工具,可以看测试用例,etcd内部采用raft协议作为一致性算法。分布式系统中提供强一致性、高可用性的组件。分布式键值(key-value)数据库。# 连接etcd(可以加用户名密码)# 删除数据(返回true)用来存储少量重要的数据。

m0_68791463的博客 335

2026最新YOLO26改进:卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

针对YOLO26模型改进痛点,本专栏整理200+实战验证方法,覆盖卷积层、注意力机制等核心模块。 每种方法含原理、性能分析、改进路径及实操流程,代码可直接运行,快速提升模型效果,性价比超高。

魔改工程师的博客 1万+

SAP ABAP SM50 的另类用途 - ABAP 工作进程对数据库表读取操作的检测

今天是2020年五一国际劳动节,Jerry祝大家劳动节快乐。 虽然五一国际劳动节来源于一百多年前国外无产阶级的一次大罢工,但由于国情原因,国内很多行业的从业人员,好像天生就是劳碌命。比如程序员行业。 2014年五一劳动节,我在和一个不是总能重现的SAP CRM incident做斗争。详情参考Jerry之前的文章记一次SAP开发工程师给微软Azure报incident的体验. 当时处理完这个复杂...

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 8682

Miniconda-Python3.9如何支持PyTorch与Etcd配置中心集成

通过Miniconda实现Python3.9环境下PyTorch的稳定部署,结合Etcd配置中心实现训练参数的动态更新。利用Conda环境隔离确保依赖一致,借助Etcd的监听机制实现学习率等超参热更新,提升AI工程化效率与运维灵活性。

weixin_42576467的博客 1049

ESP32-C3入门教程 问题篇⑳——subprocess.CalledProcessError: Command ‘[‘D:\\.espressif\\python_env\\idf5.4_py3.

ESP32-C3入门教程 问题篇⑳——subprocess.CalledProcessError: Command '['D:\\.espressif\\python_env\\idf5.4_py3.

773

Langflow配置管理:Consul与Etcd集成指南

Langflow作为一款强大的可视化AI应用构建框架,其配置管理能力直接影响着生产环境的稳定性和可扩展性。本文将深入探讨如何将Consul和Etcd等分布式配置中心集成到Langflow中,实现配置的集中管理、动态更新和高可用性。 ## 为什么需要分布式配置管理? 在复杂的AI应用部署环境中,传统的配置文件方式面临诸多挑战: - **配置分散**:多个实例间配置不一致 - **动态更新困难*...

gitblog_01077的博客 938

Oracle11g下载与安装(windows)

一、Oracle11g下载 二、安装准备 三、执行安装步骤 四、测试连接 附:Oracle11g服务说明

欢迎订阅我的“JAVA全栈开发笔记(全)”专栏,价格优惠,仅需19.9元。 2万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Python操作etcd

我整理的一些关于【CD】的项目学习资料(附讲解~~)和大家一起分享、学习一下:https://edu.51cto.com/surl=iqhDF2用Python操作etcd的完整教程 etcd是一个分布式的键值存储系统,广泛应用于配置管理、服务发现等场景。Python作为一种流行的编程语言,可以非常方便地与etcd进行交互...

weixin_40663425的博客 888

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

python 微服务 etcd_go使用etcd3构建微服务发现和配置管理

go使用etcd3构建微服务发现和配置管理Aug 16, 2016 · 4 min read[golangetcd分布式微服务]今天Go 1.7正式版发布了!etcd是一个高可用的键值存储系统,主要用于共享配置和服务发现。etcd是由CoreOS开发并维护的,灵感来自于ZooKeeper和Doozer,它使用Go语言编写,并通过Raft一致性算法处理日志复制以保证强一致性。go-etcd 这...

weixin_39685836的博客 562

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

推荐开源项目:Python-Etcd——Etcd的Python客户端

`Python-Etcd` 是一个针对Etcd(来自CoreOS的分布式键值存储系统)的完整Python客户端。该项目旨在提供与Etcd服务器版本2.0.x及更高版本兼容的接口,支持Python 2.7和Python 3.3及以上版本。 官方文档地址:[http://python-etcd.readthedocs.org/](http://python-etcd.readthedocs.org/

gitblog_00019的博客 620

Python在微服务分布式配置中心与动态服务发现中的架构设计实践

开发效率高:快速封装配置接口和服务注册发现逻辑生态丰富:支持 Etcd、Consul、ZooKeeper、asyncio、Prometheus 等易扩展与维护:模块化、异步、批量操作高性能可用:结合缓存、异步、动态路由、负载均衡通过集中化配置、动态服务发现、健康检查和高可用调用策略,Python 完全可以支撑微服务系统高并发环境,实现低延迟、高可用、可扩展、可监控的架构,为互联网业务提供稳定可靠的基础设施。

2501_94186563的博客 921

python管理系统web版_Python从零搭建Conf_Web配置管理平台

作者:Eagle某船舶行业科技公司,运维工程师,51Reboot学员。通过在51Reboot学习,由运维工程师转至运维开发工程师。完成公司自动化平台的构建,对运维开发有了自己的理解,空闲时间写了这么一个小的项目来和大家分享一下。环境CentOS 6/7 x64Python:2 .7.6Etcd: 3.2.18Confd:0 .16.0Nginx: 1.12.1效果演示一,拓扑图:二、涉及软件ETD...

weixin_39836751的博客 1277

python 微服务 etcd_架构之微服务(etcd)

1. ETCD是什么ETCD是用于共享配置和服务发现的分布式,一致性的KV存储系统。该项目目前最新稳定版本为2.3.0. 具体信息请参考[项目首页]和[Github]。ETCD是CoreOS公司发起的一个开源项目,授权协议为Apache。提供配置共享和服务发现的系统比较多,其中最为大家熟知的是[Zookeeper](后文简称ZK),而ETCD可以算得上是后起之秀了。在项目实现,一致性协议易理解性,...

weixin_39892800的博客 548

存设置到etcd

keys:接收任意数量的位置参数,这些参数是字符串,表示要从 Django 的settings模块中读取的设置名。**others:接收任意数量的关键字参数,表示要手动指定的设置项及其值。将 Django 的设置项(或你手动指定的值)序列化后存入 etcd,便于分布式系统中共享配置。

Leon_Jinhai_Sun的博客 905

使用Python进行分布式系统协调 (ZooKeeper/Consul/etcd)

随着大数据时代的到来,分布式是解决大数据问题的一个主要手段,随着越来越多的分布式的服务,如何在分布式的系统中对这些服务做协调变成了一个很棘手的问题

渡江客涂鸦板 1万+

etcd服务器集群搭建

ETCD作为共享配置和服务发现的分布式,一致性的KV存储系统,被广泛应用于许多的分布式项目。许多文章对于etcd的应用场景有过及功能特性有过详细介绍。这里不多作展开。本文仅从配置上介绍etcd集群的搭建和具体的使用场景实例。 背景: 在开发过程中,开发人员经常会把数据库、开发环境的配置信息或是密码等写在配置文件中或者是在持续集成/部署的阶段调用账号密码等进行操作。这样既不合理,又不安全。因此需

hifour的博客 3093

python 微服务 etcd_golang微服务实践:服务注册与服务发现 - Etcd的使用

为什么?为什么会有服务注册和服务发现?在它以前我们是怎么做的?举个例子:比如我们做MySQL读写分离,就在本地配置一个文件,然后程序读取这个配置文件里的数据进行数据库读写分离的设置。但是随着业务发展迅速,业务模块越来越多,数据也越来越多,MySQL数据库也越来越多,需要读取MySQL服务的业务模块也越来越多。每次增加MySQL实例,每个业务模块都要手动去写一次本地配置。想一想这里有什么问题?可以改...

weixin_39778214的博客 321

Python从零搭建Conf_Web配置管理平台

环境CentOS 6/7 x64Python:2 .7.6Etcd: 3.2.18Confd:0 .16.0Nginx: 1.12.1效果演示一,拓扑图:二、涉及软件ETD: 。分布式KV存储系统,一般用于共享配置和服务注册与发现是ETOS存储格式类似于文件系统,以根“/”开始下面一级级目录,最后一个是重点,一个关键对应一个值。ETCD 集群:使用筏协议保证每个节点数据一致,由多个节点对外提供服务...

weixin_42631858的博客 534
上一篇: Python gRPC 微服务实践:构建高性能分布式服务架构
下一篇: Rust Tokio 异步运行时深度解析:构建高性能并发应用
第一程序员
博客等级 码龄1年 1万+粉丝 1827原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值