zetcd:让应用解除对ZooKeeper的依赖

ETCD和Zookeeper的对比(一) ETCD和Zookeeper的对比(一) 文章目录ETCD和Zookeeper的对比(一)前言1、分布式一致性算法1.1、为什么需要一致性1.2、zab协议1.2.1 选主过程1.2.2 选主过程1.3、raft协议1.3.1选主过程1.3.2主从数据同步2、其他 前言 最近开发工作中使用到了etcd作为注册中心,简单的了etcd作为注册中心与我们常用的zookeeper有什么区别。 1、分布式一致性算法 1.1、为什么需要一致性 为了高可用和数据安全起见,分布式的集群一般都是由几个节点构成。多节点证 阅读详情

zetcd:让应用解除对ZooKeeper的依赖

【编者的话】etcd团队最近发布了zetcd的beta版本,一款能够让etcd兼容Zookeeper协议的代理工具,用户可以通过它解除现有应用对Zookeeper服务的依赖。

分布式系统通常都依赖一个仲裁系统协同工作,一般这样的系统通过仲裁来保证信息的准确传达,以避免出现脑裂。这类系统通过牺牲通用性换来了充分的设计余地,这种做法显然已经被不断扩散的各种具体实现所例证。这样的系统有很多,例如:chubby,ZooKeeper,etcd和consul等。尽管这些系统的理念和协议不同,但是提供的都是类似的基于key-value的分布式仲裁。作为将etcd打造成分布式系统最受瞩目的基础组件计划的一部分,etcd团队开发了一款全新的代理,zetcd,无需变动就可以让etcd集群消费ZooKeeper的服务请求。

ZooKeeper是第一个开源实现的仲裁软件,这促使它成为众多分布式系统偏好的后端。理论上来说这些系统应该可以跟etcd兼容,但由于历史原因,事实并非如此;etcd集群无法替代ZooKeeper,其数据模型和客户端协议跟ZooKeeper应用不兼容;反之亦然。倘若该系统已经投产,那么几乎没什么动力可以推动它接入新的后端,引入新的复杂度。幸运的是,etcd v3 API正准备通过一个标准代理zetcd实现对ZooKeeper数据模型的模拟支持,zetcd是一个由etcd团队开发的全新开源项目,今天发布了zetcd第一个beta版本,v0.0.1,目标是在生产系统中管理和部署zetcd系统。

zetcd 代理部署在etcd集群前面,服务于一个模拟的ZooKeeper客户端端口,使得ZooKeeper应用可以在上层原生调用etcd。总体上来说,zetcd接受ZooKeeper的客户请求,转化成etcd的数据模型和API,将请求转发到etcd,然后将返回信息以客户端可以理解的方式转发回去。zetcd的性能跟ZooKeeper不相上下,并且简化了ZooKeeper集群与etcd之间的管理和操作复杂性。本文将揭示如何使用zetcd,zetcd工作原理以及性能基准。

zetcd入门

zetcd运行所需的是一个go编译器,从互联网上获取的源代码,以及一个可以运行etcd的系统。以下例子展示了从获取zetcd源码,一直到如何在zetcd上运行ZooKeeper命令。由于均是基于开发分支构建的etcd和zetcd,所以并不建议在生产环境这样做,这只是一个讲解如何使用的简单示例。

首先,获得etcd和zetcd源码,并编译成二进制代码:​

go get github.com/coreos/etcd/cmd/etcd 
go get github.com/coreos/zetcd/cmd/zetcd


其次,运行etcd,将zetcd连接到etcd客户服务端:

#etcd uses localhost:2379 by default 
etcd & 
zetcd -zkaddr localhost:2181 -endpoints localhost:2379 &​


通过增加订阅和创建一个key来试用zetd:

go install github.com/coreos/zetcd/cmd/zkctl 
zkctl watch / & 
zkctl create /abc "foo"


从概念上讲,上述例子即完成在一个单个的etcd实例上增加一层zetcd。

01.png


zetcd这层到底是做什么的呢?​

etcd3中对ZooKeeper的支持

深入来讲,zetcd会将ZooKeeper的数据模型翻译成适配etcd API。对于key查找,zetcd将ZooKeeper层级式目录转换成etcd扁平的二分键值空间(flat binary keyspace)。为了管理元数据,当写入etcd后端时,zetcd利用内存级别的事务将信息安全、原子地更新为ZooKeeper znode信息。

ZooKeeper以目录方式列出key(getChildren),而etcd则是通过间隔(Range)方式。下图讲解了zetcd如何对etcd下的key进行编码从而有效地支持以目录形式列出。所有在etcd中的zetcd key都有一个包括全目录名的前缀(例如:"/"和“/abc”分别代表深度为0 和1)。要列出一个目录时,zetcd发出一个带前缀的range请求(例如[“/zk/key/002/abc/”, “/zk/key/002/abc0”)来列出满足目录深度和路径的所有/abc/下的key。深度限制只针对目录本身;如果zetcd只使用路径而不使用深度,那么etcd将返回这个目录下的所有key,zetcd则会丢弃该结果,反之则只返回本目录下的key。

02.png


每个ZooKeeper key在ZNode里都带有一些元数据,即key的调整,版本和权限等。尽管etcd也有每个key的元数据,却比ZNode要简单很多,例如因为没有目录也就没有子版本,因为etcd使用的是基于角色认证的机制因此也就没有ACL,因为实际的时钟超出范畴所以没有时间戳。这些额外的元数据会被映射为对应的key,用来描述一个完整的ZNode。修改元数据时,zetcd利用内存级别的软事务来自动更新key的子集,确保ZNodes不需要昂贵的加锁机制就可以保持一致。

此外,zetcd可以和一台授权的ZooKeeper服务器做动态校验。为了做比较,zetcd可以同时连到etcd和外部ZooKeeper服务器。当客户端发起请求给该模式下的zetcd时,请求会被同时转发到zetcd和ZooKeeper服务端。如果两个服务器响应的数据不一致,zetcd会给此响应标识一个警告。

性能基准

由于数据的转换以及额外的网络开销,也许很容易觉得这样的模拟不切实际。尽管对于ZooKeeper或者etcd集群来说,zetcd有额外的花销,但是它仍然有一个优势,即某些etcd应用安装完毕后仍然需要ZooKeeper来协调的场景。例如,早期用户报告称在zetcd里通过etcd的TLS加密流量比一个类似的经典ZooKeeper配置更简单。在这些场景中,支持同一种ZooKeeper协议所带来的简单可靠性比性能更重要一些。

跟etcd性能工具的接口及报告形式类似,zetcd命令行工具zkboom可以用来判断一个zetcd的性能基准是否满足要求。其它ZooKeeper性能工具应该也可以用在zetcd;zkboom为用户提供了便利,我们不妨试试用它来做下创建key的测试:

go get github.com/coreos/zetcd/cmd/zkboom 
zkboom --conns=50 --total=10000 --endpoints=localhost:2181 create​


zetcd应当可以为小负载提供充分的性能保障。一个简单两节点配置的延迟基准表明zetcd是可以承受大量请求的。具体配置为两台Linux服务器通过一个千兆交换机互联,其中一台设备在RAID磁盘配置上运行代理和和服务端,另外一台设备用于产生客户请求。zkbook通过创建一个空的key存储,然后从中读取128Kbytes的键值对来进行测量。用户请求被限制在每秒2500个请求,然后逐渐增加并发客户端数量。ZooKeeper 3.4.10和etcd结果对比见下图。

下图揭示了zetcd客户端并发数与创建key的平均延迟之间的关系。由于etcd在延迟上比zookeeper要有5-35ms的优势,zetcd有足够余地处理由于额外负载和网络跳转造成的延迟。比起ZooKeeper,zetcd代理始终还是存在20ms左右的差距,但是从处理2500请求的吞吐量数据来看,并没有出现队列堵塞。一种对zetcd写比较慢的解释是,与读不一样,由于数据模型上存在差异,所以在每个ZooKeeper key写时需要写多个key。

03.png


下图揭示了zetcd客户端并发数与key取值的平均延迟之间的关系。由于Zookeeper的取值延迟比etcd要快那么2ms左右,想要zetcd提供数据的速度快过Zookeeper的话恐怕还得依赖于etcd本身性能的进一步提升。然而,尽管zetcd需要从etcd请求额外的key来模拟Zookeeper znode的元数据,zetcd的命中延迟在等待etcd key提取数据方面只增加了大概1.5ms。zetcd在key的数据提取操作方面仅需一次往返,因为读请求会被打包到一个etcd事务中。

04.png

 

未来

zetcd承诺上述性能基准测试的结果是合理的,在可接受的延迟情况下,可以轻松支撑每秒上千个操作。以上模拟对于Mesos,Kafka和Drill替代ZooKeeper提供了一个替代选择。但是对于zetcd本身来说性能方面仍有不少的提升空间。与此同时测试更多的Zookeeper应用也会进一步推动zetcd成为Zookeeper服务器的替代品。

zetcd从去年十月开始在开源社区发行,最近刚发布第一个版本:zetcd v0.0.1。尽管是第一个beta发行版,但是已经为未来生产系统提供稳定管理和部署。如果跟etcd配合起来使用,运行zetcd的系统将会一套自驱动的“ZooKeeper”集群,它可以自动后台升级,备份和TLS管理。如想了解更多,请参阅 https://github.com/coreos/zetcd/。

ZooKeeper入门:使用Java API更新和删除节点 通过使用ZooKeeper的Java API,我们可以方便地更新和删除ZooKeeper中的节点。在本文中,我们介绍了如何连接到ZooKeeper服务器,并提供了更新和删除节点的示例代码。在本文中,我们将使用Java API来学习如何更新和删除ZooKeeper中的节点。在上面的示例中,我们创建了一个ZooKeeper对象,并通过提供ZooKeeper服务器的主机名和端口以及会话超时时间来进行连接。第一个参数是节点的路径,第二个参数是新的数据字节数组,第三个参数是版本号(-1表示不检查版本)。 阅读详情

相关推荐

zetcd:提供Apache Zookeeper API,但使用etcd集群支持

zetcd etcd的ZooKeeper“个性”。 将ZooKeeper客户端指向zetcd,以在etcd集群上分派操作。 大量基于协议编码和解码。 入门 运行zetcd 将ZooKeeper在:2181上的请求转发到在localhost:2379上侦听的etcd服务器: go get github.com/etcd-io/zetcd/cmd/zetcd zetcd --zkaddr 0.0.0.0:2181 --endpoints localhost:2379 使用zkctl简单测试: go get github.com/etcd-io/zetcd/cmd/zkctl zkctl watch / & zkctl create /abc " foo " 在Docker上运行zetcd 用于容器化环境的带标签的zetcd版本的正式docker映像托管在。 使用docker do

服务发现:Zookeeper vs etcd vs Consul

【编者的话】本文对比了Zookeeper、etcd和Consul三种服务发现工具,探讨了最佳的服务发现解决方案,仅供参考。 如果使用预定义的端口,服务越多,发生冲突的可能性越大,毕竟,不可能有两个服务监听同一个端口。管理一个拥挤的比方说被几百个服务所使用的所有端口的列表,本身就是一个挑战,添加到该列表后,这些服务需要的数据库和数量会日益增多。因此我们应该部署无需指定端口的服务,并且让Dock

千帆过尽仍是沧海 1299

【塑料加工工程】气体辅助注塑成型工艺技术:厚壁件中空减重与缩痕控制的系统性解决方案

内容概要:本文系统阐述了气体辅助注塑成型(GAIM)在厚壁塑料制品中实现中空减重与缩痕控制的核心技术原理与工程应用方案。针对传统注塑中因保压压力衰减、浇口冻结导致的缩痕、缩孔、内应力、超重及高锁模力等耦合缺陷,GAIM通过“短射+注气”方式,在熔体芯部形成连续中空气道,利用高压氮气实现内部等压补缩,从根本上重构了压力传递路径。文章深入剖析了短射率、延迟时间、分段气压、氮气纯度等关键参数的作用机制,提出了涵盖模具设计(气针布局、气道拓扑、溢料井)、CAE仿真前置、质量评价体系(CT检测、壁厚均匀性、缩痕等级)及量产管控(SPC、缺陷诊断矩阵)的全流程解决方案。; 适合人群:从事注塑工艺开发、模具设计、高分子材料成型及相关制造领域的工程师与技术人员,尤其适用于具备一定注塑基础、致力于解决厚壁件成型难题的研发人员。; 使用场景及目标:①解决厚壁注塑件的缩痕、缩孔与残余应力问题;②实现产品轻量化设计并降低锁模力与生产周期;③指导GAIM工艺调试、模具开发与缺陷排查,提升量产稳定性与经济效益;④为新材料、新结构的工艺可行性评估提供理论依据。; 阅读建议:此资源强调理论与实践结合,建议读者在掌握聚合物流变学与传热学基础知识的前提下,结合实际案例对照参数窗口与缺陷诊断矩阵进行学习,并重视CAE仿真与首件CT检测在工艺开发中的前置作用,避免仅凭经验调机。

ZooKeeper的作用、应用场景和替代品

ZooKeeper 我想大家应该都略有耳闻,可能你在开发中没有直接使用过,但常用的 Hadoop、HBase、Kafka、Dubbo 等都有使用到 ZooKeeper。那 ZooKeeper 到底起到了什么样的作用,为什么这些框架、系统需要使用 ZooKeeper呢,我们在开发过程中应该如何使用 ZooKeeper,又是否有 ZooKeeper的替代品呢。本文将围绕以上问题,从以下三方面说起: ...

qq_39581763的博客 1261

机器学习第五章之决策树模型

机器学习专题系列

wangyutao12345的博客 5187

5分钟搞懂MSDNet:用Transformer实现小样本语义分割的保姆级教程

本文详细介绍了MSDNet(Multi-Scale Decoder Network)如何利用Transformer架构实现小样本语义分割。通过多尺度解码器和空间Transformer解码器,MSDNet能够在仅有1-5张标注图像的情况下完成精确分割任务。文章提供了PyTorch代码实例和优化技巧,帮助开发者快速掌握这一前沿技术。

weixin_30832143的博客 506

理解 Zend 框架

第 1 部分: 基础Zend 框架究竟是什么呢?Zend 框架具有以下特征: 是基于 PHP 建立的。 是面向对象的。 使用 MVC 范例。 具有开放源码贡献者。 有贡献者负责保证他们的代码不是他人的知识产权。 通过建立 MVC 模式,Zend 框架的目标是使编程生活更加轻松,这不仅体现在通用领域,而且对您始终想要做的具体的事情也是如此,比如访问数据库或输出 P

besily的专栏 1340

华为交换机与思科/华三设备LACP对接实战:手把手教你配置链路聚合

本文详细解析了华为交换机与思科、华三设备间的LACP链路聚合配置实战,涵盖核心原理、配置步骤及排错技巧。通过对比不同厂商的实现差异,提供可落地的跨厂商对接方案,助力企业网络工程师高效部署高可靠性链路聚合。

weixin_30836759的博客 427

zetcd解决如何让应用解除对ZooKeeper的依赖

分布式系统通常都依赖一个仲裁系统协同工作,一般这样的系统通过仲裁来保证信息的准确传达,以避免出现脑裂。这类系统通过牺牲通用性换来了充分的设计余地,这种做法显然已经被不断扩散的各种具体实现所例证。这样的系统有很多,例如:chubby,ZooKeeper,etcd和consul等。尽管这些系统的理念和协议不同,但是提供的都是类似的基于key-value的分布式仲裁。作为将etcd打造成分布式系统最受瞩

linuxprobe2017的博客 483

从零构建个性化AI助手:基于Mem0与本地大模型的记忆化实践

本文详细介绍了如何利用Mem0与本地大模型构建个性化AI助手,实现记忆化应用结构的实践方法。从开发环境搭建、记忆存储机制到个性化交互实现,提供了完整的解决方案和代码示例,帮助开发者在本地环境中创建能记住用户习惯和偏好的智能助手。

weixin_29214335的博客 470

日前日内多阶段多时间尺度源荷储协调调度(matlab代码)

多阶段多时间尺度的协调调度的优势是考虑新能源出力的波 动性与随机性,需求响应负荷的不确定性会对电网制定的日前调度计划准确性造成影响,也就是能够更加精准的进行调度和分析,优化结果的可用性更强。在这方面论文里面,金力的《考虑特性分布的储能电站接入的电网多时间尺度源储荷协调调度策略》就考虑了日前日内实时三个阶段调度,每个阶段考虑了不同负荷需求响应策略,同时考虑了负荷波动性的影响,具有很强的参考意义。 目录 一、模型 二、程序运行 三、程序链接 一、模型 负荷需求响应考虑电价型和激励型两种,电.

zhangxd212489的博客 7915

Zookeeper 和 ETCD在分布式协调服务的使用

分布式协调服务zk和etcd的说明

多头注意力探索Now 1544

AI 代码生成工具的质量评估体系

基础需求层包括响应速度(Response Time)和界面友好性(UI Friendliness),期望需求层涵盖智能提示(Smart Suggestions)和个性化配置(Personalization),兴奋需求层则涉及多模态交互(Multimodal Interaction)和代码进化(Code Evolution)。在金融领域,代码审计合规性(Compliance Audit)权重应提升至40%,而在Web开发中,API兼容性(API Compatibility)的权重需达到35%。

2503_92418637的博客 3376

ETCD(六)ETCD和Zookeeper

ZooKeeper和etcd都是分布式协调服务,提供了一种管理配置数据、同步分布式系统、保持高可用性的方式。它们被许多分布式系统用来保证一致性、容错性和可靠性。1.一致性模型:ZooKeeper和etcd都提供了强一致性,确保了集群中的所有节点都有相同的数据视图。2. 性能:etcd 一般比 ZooKeeper 有更好的性能,尤其是在写密集型工作负载方面。这主要是因为更有效率。3. 语言和生态系统:ZooKeeper是用Java写的,有更大的生态系统,而etcd是用Go写的,有更小的生态系统。

weixin_44477424的博客 1037

实战经验:Sensor Bringup中那些坑我都帮你踩过了(避坑指南)

本文是一份详尽的Sensor Bringup实战避坑指南,总结了从I2C通信、MCLK时钟、电源管理到图像异常等关键环节的常见问题与排查方法。文章提供了系统化的调试工作流,强调先硬件后软件的排查原则,旨在帮助硬件工程师快速定位并解决Sensor启动过程中的难题,提升开发效率。

weixin_29212429的博客 576

【晶振专题】晶振学习笔记——ST AN2867应用手册 2

通过学习AN2867设计指南,我们知道皮尔斯晶振的基本知识。也了解了晶振的负载电容计算方法、安全因子测试方法和反馈电阻的作用。

一点硬件 1365

SpringCloud笔记

目录 第一章 第一章 父工程与子工程的版本管理 1、DependencyManagement和Dependencies Maven使用dependencyManagement元素来提供了一种管理依赖版本的方式。在项目父工程POM中定义dependencyManagement。使其子工程引用其父工程的一个依赖而不用显示的列出版本号,子工程会使用父工程POM里dependencyManagement内的指定的版本号。 例子: 父工程里dependencyManagement代....

ldhldh22的博客 1071

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

ETCD结构、特点及和zookeeper对比

文章目录etcd 是什么etcd结构简介etcd 数据通道etcd通信架构应用场景和ZK对比 etcd 是什么 etcd 这个名字由两部分组成: etc 和 d ,即 UNIX/Linux操作系统的“/etc” 目录和分布式( distributed )首字母的“d ” 。我们都知道,/etc目录一般用于存 储 UNIX/Linux 操作系统的配置信息 因此etc和d合起来就是一个分布式的/etc 目录。etcd 的寓意是为大规模分布式系统存储配置信息。 etcd 的官方定义如下: A highly-ava

zhangxm_qz的博客 3881

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

ZK和ETCD的产品对比和差异

探讨zk和etcd的底层实现以及客户端使用上的差异。 更多关于分布式系统的架构思考请参考文档[关于常见分布式组件高可用设计原理的理解和思考](https://blog.youkuaiyun.com/weixin_43845924/article/details/135713107)

李姓门徒 1246

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

基础:Zookeeper、Eureka、Nacos、Consul ,Etcd选型

服务发现就是服务提供者将自己提供的地址post或者update到服务中介,服务消费者从服务中介那里get自己想要的服务的地址。

OceanStar的博客 3102

ETCD简介

现代键值(Key - Value)存储系统,ZooKeeper是历史最悠久的项目,起源于Hadoop。这里ETCD与Zk对比。ETCD相比与ZK,更加简单,安装部署和使用更加容易,etcd的某些功能是ZK没有的。etcd更加稳定可靠在服务发现的实现上,etcd使用的是节点租约,并支持多group;而zk使用的是临时节点,临时节点存在很多问题etcd支持稳定的watchetcd支持MVCC(多版本并发控制),因为有协同系统需要无锁操作。

qq_39225271的博客 3098

注册中心对比和选型:Zookeeper、Eureka、Nacos、Consul和ETCD

讲解5种常用的注册中心,对比其流程和原理,无论是面试还是技术选型,都非常有帮助。 往期精选: 如何看待程序员35岁职业危机? 2年经验总结,告诉你如何做好项目管理 Java全套学习资料(14W字),耗时半年整理 我肝了三个月,为你写出了GO核心手册 消息队列:从选型到原理,一文带你全部掌握 RPC框架从原理到选型,一文带你搞懂RPC 微服务网关选型,请收下我的膝盖! 更多... 大家好,我是楼仔!对于注册中心,在写这篇...

飞楼踏梦 7688

etcd和Zookeeper孰优孰劣?

etcd和zookeeper对比 背景 最近在看到Pachyderm的介绍时,看到作者拿YARN和Kubernetes做类比,拿Zookeeper和etcd做对比。YARN和Kubernetes的类比还相对比较好理解,毕竟他们都有资源管理和调度的职能,只不过YARN上运行的对象是JVM,而Kubernetes上运行的是容器。但是拿Zookeeper和etcd来类比我就有些不懂了,在我之前的概念里zookeeper并不是一个存储组件啊,因此有了本文的过程。 ZK和etcd可以做类比吗? etcd的官网介绍是一

ibigboy 2125

Etcd和Zookeeper和Nacos

详细、系统地梳理一下 etcd、ZooKeeper、Nacos 的联系与区别,包括定位、技术栈、功能特点、适用场景等等

2301_79584629的博客 2680

第二章 分布式服务框架Zookeeper

第二章 分布式服务框架Zookeeper 1. Zookeeper概述 Zookeeper 发布/订阅模式的分布式框架主要是用来解决分布式应用中经常遇到的一些数据管理问题,提高分布式,高可用的服务,协调能力。 ZooKeeper的主要功能: 统一配置管理 统一命名服务 分布式锁 集群管理 安全模式下Zookeeper依赖Kerberos和LdapServer进行安全认证,非安全模式下则不依赖于Kerberos和LdapServer。 Zookeeper作为底层组件被广泛上层组件使用并依赖,如Kafka,

weixin_47315354的博客 547
上一篇: 这可能是最简单易懂的机器学习入门(小白必读)
下一篇: Zeppelin原理简介
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值