通俗谈分布式、集群和高可用

最新推荐文章于 2025-04-26 16:52:36 发布

原创最新推荐文章于 2025-04-26 16:52:36 发布 · 225 阅读

1 ·

CC 4.0 BY-SA版权

学习同时被 2 个专栏收录

22 篇文章

订阅专栏

技术

16 篇文章

订阅专栏

本文主要介绍了实现高可用架构的各种方法和技术，包括分布式架构、数据库集群、双活与单活节点等概念，以及如何在微服务架构中实现高可用。

一、分布式架构

分布式架构

二、数据库集群

数据库集群架构

三、高可用架构

3.1 双活节点

在这里插入图片描述

3.2 单活节点

在这里插入图片描述

四、微服务的高可用

在这里插入图片描述

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

查理忙果

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Java分布式编程（4）—— 如何实现高可用的分布式系统

shangjg3的博客

07-01

638

例如使用配置管理工具（如Ansible）来批量部署应用程序、使用监控告警系统（如Zabbix）来及时发现异常情况并通知管理员处理等。当某个节点出现故障时，其他节点可以自动接管其工作，保证服务的连续性和稳定性。负载均衡：通过负载均衡技术，将请求分发到不同的节点上，避免单一节点过载或故障导致整个系统崩溃。常见的负载均衡算法包括轮询、加权轮询、最小连接数等。在轮询算法基础上增加了权重因素，根据不同服务器的处理能力分配不同比例的请求。将请求依次分配给不同的服务器，每个服务器按照顺序接收到相应数量的请求。

浅析分布式、集群及高并发

TigerwolfC的博客

03-09

4124

分布式是指将一个业务拆分不同的子业务，分布在不同的机器上执行，集群是指多台服务器集中在一起，实现同一业务，可以视为一台计算机，一个云计算平台，就是通过一套软件系统把分布式部署的资源集中调度使用。要应对大并发，要实现高可用，既需要分布式，也离不开集群。 分布式 　　　　将一个大的系统划分为多个业务模块，业务模块分别部署到不同的机器上，各个业务模块之间通过接口进行数据交互。区别分...

参与评论您还未登录，请先登录后发表或查看评论

Redis高可用分布式内部交流(九)

weixin_33873846的博客

08-25

418

这是上月在公司内部的一次分享，现把PPT及交流内容整理成博客。阅读目录： 高可用 数据同步 分布式 分布式集群时代总结 高可用 高可用（High Availability），是当一台服务器停止服务后，对于业务及用户毫无影响。停止服务的原因可能由于网卡、路由器、机房、CPU负载过高、内存溢出、自然灾害等不可预期的原因导致，在很多时候也称单点问题。解决单点问题主要有2...

Memcache 分布式高可用集群介绍

diaotuhui6321的博客

07-28

197

分布式缓存需考虑如下三点：1、缓存本身的水平线性扩展的问题。2、缓存大病罚下的本身性能问题。3、避免缓存的单点鼓掌问题。分布式缓存存在的问题：1、内存本身的管理问题。内存的分配，管理和回收机制。2、分布式管理和分布式算法。3、缓存键值管理和路由。常见分布式算法 Memcached在实现分布集群部署时，Memcached服务端的之间是没有通讯的，服务端是伪分布式，实现分布式是...

高可用分布式集群

执念一生

03-24

701

一，高可用高可用（High Availability），是当一台服务器停止服务后，对于业务及用户毫无影响。停止服务的原因可能由于网卡、路由器、机房、CPU负载过高、内存溢出、自然灾害等不可预期的原因导致，在很多时候也称单点问题。（1）解决单点问题主要有2种方式：主备方式这种通常是一台主机、一台或多台备机，在正常情况下主机对外提供服务，并把数据同步到备机，当主机宕机后，备机立刻开始服务。 R...

分布式、集群、高可用概念

IG_NB的博客

08-16

654

分布式（不一定有集群）：是指将不同的业务分布在不同的地方（应用服务器）。集群cluster：一群机器的集合。负载均衡（集群）：（Load balance cluster， LBC）（负载均衡器）根据规则（平均）分配各请求到一个集群各个机器。 高可用（集群）：（High availability cluster，HAC）侧重备份机器，利用集群中系统的冗余，当系统中某台机器发生损坏的时候...

Kubernetes 分布式集群部署微服务

最新发布

qq_41893505的博客

04-26

1156

✅ 如果你要用 K8s 部署微服务，并做集群部署，那你这个微服务就会运行在多个 Pod 中，每个 Pod 是同一个服务的一个副本，用于实现高可用、负载均衡和弹性扩容。在 Kubernetes 中，即使你有多个微服务实例（Pod），它们对外通过Service 暴露的是统一的 IP 和端口，由 K8s 自动进行负载均衡和服务发现。NodePort简单粗暴，适合云上直通公网，Ingress是功能最强大的入口网关，适合微服务架构下的生产环境。

分布式架构应用的可用性和一致性问题

alva_xu的博客

11-21

1146

前言对于互联网架构该怎么做，存在着一定的误区，所以写此文章，抛砖引玉。 1. 传统应用的可用性和一致性问题传统的单体应用架构，其高可用和一致性问题是两个独立的问题，两者并没有关联关系比如，传统的SQL数据库的事务通常都是支持ACID的强事务机制，所以单数据库的模式使得事务强一致性得到满足。 A代表原子性，即在事务中执行多个操作是原子性的，要么事务中的操作全部执行，要么一个都不执行; C代表一致...

13、Zookeeper 分布式集群管理技术

KamRoseLee的博客

11-17

696

1.Zookeeper 简介 Zookeeper 分布式服务框架主要是用来解决分布式应用中经常遇到的一些数据管理问题，提供分布式、高可用性的协调服务能力,在 FusionInsight 集群中主要用途是保存上层组件的元数据，并保证其主备倒换。 Zookeeper 的作用（1）配置管理这个好理解。分布式系统都有好多机器，比如我在搭建 hadoop 的 HDFS 的时候，需要在一个主机器...

TDengine高可用分布式集群详解_tdengine 集群

2401_84185556的博客

04-30

976

本文将介绍TDengine的高可用集群架构，全文通俗易懂，会从最简单的分布式概念开始讲起，想要入坑服务器同学抓紧准备好你的被子，卷起来吧！在讲TDEngine的架构之前，我们先来复习和巩固一下分布式和集群中的一些常用概念以方便后续文章内容的理解。由于一些概念过于枯燥，所以我打算先举个栗子。TDengine 的设计是基于分布式的几个特性而设计的。TDengine 采用分布式高可用架构设计，支持水平扩容，这样任何单台或多台服务器发生硬件故障或软件错误都不影响系统的可用性和可靠性。

分布式、集群、高可用的概念对比

weixin_42687074的博客

04-19

529

前文：服务器架构的基础思想。先有分布式，后有集群,集群必是高可用。一、对比

分布式、高性能和高可用解决方案 (分布式)

人生智慧的博客

12-05

3517

1 分布式 分布式系统会把一个应用系统拆分为可独立部署的多个服务，因此需要服务与服务之间远程协作才能完成事务操作。切记，分布式一定是存在网络分区的。 1 CAP和BASE原则 1.1 理解CAP CAP是 Consistency、Availability、Partition tolerance三个词语的缩写，分别表示一致性、可用性、分区容忍性。下面通过数据库读写分离来解释CAP C - Consistency：一致性是指写操作后的读操作可以读取到最新的数据状态，当数据分布在多个节点上，从任意结点读取

阿里为什么能抗住双 11 ？看完这篇你就明白了！

架构文摘

11-08

3266

双 11 即将来临，本文以设计淘宝网的后台架构为例，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知。文章最后汇总了一些架构设计的原则。基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍。1）什么是分布式？系统中的多个模块在不同服务器上部署，即可称为分布式系统，如To...

互联网架构高可用

weixin_39482724的博客

11-19

290

一、什么是高可用 高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。很多公司的高可用目标是4个9，也就是99.99%，这就意味着，系统的年停机时间为8.76个小时。百度的搜索首页，是业内公认高可用保障非常出色的系统，甚至人们会通过www.baidu.com 能不能访问来

一文搞懂集群、负载均衡、分布式、高可用

NicoleZhang2012的博客

09-10

3275

名词说明考量标准：高可用、易伸缩、可扩展、安全集群（Cluster）集群的概念是和单台服务器相对应的，简单来说集群就是部署多台服务器协同完成一项工作。解决大型网站访问量大，并发量高，海量数据的问题集群可以分为：负载均衡集群、分布式集群等负载均衡（Load Balance）负载均衡，意思是将负载（工作任务，访问请求）进行平衡、分摊到多个操作单元（服务器，组件）上进行执行。是解决高性能，单点故障（高可用），扩展性（水平伸缩）的终极解决方案。分类 *DNS负载均衡* ：在DNS服务器上

一篇文章搞懂分布式，高并发，多线程，高可用的区别和联系

ratel的博客

04-17

3729

分布式，高并发，多线程，高可用，傻傻分不清

计算机网络的高可用性和分布式处理

zsy2951726435的博客

10-01

3239

相比传统的高可用技术，新技术的出现为构建数据中心网络的高可用架构提供了更优的部署方式。一、 高可用性的定义传统意义上的可用性（AVAILABILITY ）定义为系统正常运行时间占总运行时间的比例（当前的总运行时间包括出问题以后修复所耗费的时间）。高可用性由两个基本概念组成：　　MTBF（Mean Time Between Failure），系统平均正常运行时间　　MTTR（Mean Time t...

【分布式架构】“高可用” -- 详解

暂七师师长常乃超

09-07

3749

一、什么是高可用 高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一。它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。很多公司的高可用目标是4个9，也就是99.99%。这就意味着，系统的年停

高可用集群与分布式数据库的区别

千寻之寻的博客

01-09

2694

最近在研究分布式数据库，发现有些功能高可用架构的集群也可以实现，混淆了两者概念，今天小小总结一下 分布式数据库百度百科的概念为：分布式数据库系统通常使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都可能有DBMS的一份完整拷贝副本，或者部分拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。 ...

es 聚类和高可用性详解

03-27

<think>好的，我现在要详细解释ES（Elasticsearch）的集群和高可用性。首先，我需要回顾一下ES的基本架构，了解集群的组成，包括节点类型，如主节点、数据节点、协调节点等。然后，高可用性方面，需要考虑分片机制，主分片和副本分片的作用，以及故障转移的过程。此外，还要讨论集群健康状态、选举机制，可能还要涉及网络分区和脑裂问题。需要确保覆盖以下几个方面： 1. ES集群的核心概念：节点、索引、分片、副本。 2. 高可用性的实现方式：分片分布、副本策略、自动故障转移。 3. 集群协调和发现机制：Zen Discovery或新的集群协调层。 4. 可能的问题和解决方案，比如脑裂、数据一致性。接下来要组织这些信息，结构要清晰，分点解释。可能需要先从集群的结构讲起，再深入到高可用性的具体机制，最后讨论相关的问题和优化措施。要确保使用正确的中文术语，避免技术术语错误。同时，检查是否有遗漏的重要点，比如索引的创建与分片分配策略，或者实际配置中的最佳实践。需要确保LaTeX格式正确，比如数学表达式用$...$，独立公式用$$...$$，虽然这个部分可能不太涉及数学公式，但如果有涉及算法或公式的地方要注意。例如，分片分配的算法如果有数学表达的话需要处理。不过可能大部分内容不需要公式，但需要确认。最后，确保语言通俗易懂，结构合理，帮助用户逐步理解。</think>Elasticsearch（ES）的集群与高可用性设计是其核心特性之一，以下从结构、机制到问题逐步解析： --- ### 一、ES集群核心概念 1. **节点（Node）** 单个ES实例称为节点，可承担不同角色： - **主节点（Master-eligible）**：负责集群状态管理（如索引创建、分片分配）、节点选举。 - **数据节点（Data）**：存储分片数据，执行CRUD、搜索等操作。 - **协调节点（Coordinating）**：接收客户端请求并分发到其他节点，汇总结果。 - **Ingest节点**：数据预处理。 2. **索引（Index）** 逻辑上的数据集合，类比数据库表。一个索引被分为多个**分片（Shard）**： - **主分片（Primary Shard）**：数据写入的直接目标，数量在索引创建时固定。 - **副本分片（Replica Shard）**：主分片的副本，提供冗余和查询负载均衡。 3. **集群（Cluster）** 多个节点组成的分布式系统，通过**集群名称**标识，节点通过发现机制加入。 --- ### 二、高可用性实现机制 1. **分片与副本策略** - **数据冗余**：每个主分片有1个或多个副本（通过`index.number_of_replicas`配置）。 - **分布规则**：同一分片的主副本不会分配在同一节点，确保单点故障不影响可用性。 - **自动恢复**：节点故障时，副本分片提升为主分片，新副本在其他节点创建。 2. **故障转移（Failover）** - **检测机制**：节点间通过心跳检测（默认1秒）判断存活状态。 - **主节点选举**：若主节点宕机，剩余主节点参与选举（基于**Zen Discovery**或**Raft协议**）。 - **分片重平衡**：新节点加入或旧节点离开时，分片自动重新分配。 3. **读写一致性** - **写入**：默认需主分片和所有副本分片确认成功（可配置`consistency`级别）。 - **读取**：优先从副本分片读取以分摊负载，支持`preference`参数控制路由。 --- ### 三、集群协调与发现机制 1. **Zen Discovery（旧版）** - **单播列表**：通过`discovery.seed_hosts`配置种子节点列表。 - **选举超时**：`discovery.find_peers_interval`控制选举频率。 - **脑裂防护**：通过`discovery.zen.minimum_master_nodes`设置法定人数（通常为`(master节点数/2)+1`）。 2. **新协调层（7.x+）** - 引入**Raft协议**改进选举效率，减少配置复杂度。 - 移除`minimum_master_nodes`，由系统自动管理。 --- ### 四、常见问题与解决方案 1. **脑裂（Split-brain）** - **原因**：网络分区导致多个主节点同时存在，数据不一致。 - **解决**： - 配置`discovery.zen.minimum_master_nodes`（旧版）。 - 使用**专用主节点**（`node.roles: [master]`）并隔离数据节点。 2. **数据一致性** - **写入冲突**：使用版本号（`_version`）或外部锁机制。 - **恢复延迟**：调整`index.recovery.max_bytes_per_sec`控制分片恢复速度。 3. **性能优化** - **分片数规划**：单个分片大小建议在10-50GB，避免过多影响性能。 - **热点分片**：通过`routing`策略分散写入压力。 --- ### 五、配置示例 ```yaml # 节点角色定义（7.x+） node.roles: [master, data] # 同时承担主节点和数据节点 # 最小主节点数（旧版） discovery.zen.minimum_master_nodes: 2 # 副本数设置 PUT /my_index/_settings { "index.number_of_replicas": 2 } ``` --- ### 总结 ES通过**分片副本**、**自动故障转移**和**分布式协调机制**实现高可用性。合理规划节点角色、分片数量及副本策略是关键，同时需防范脑裂与性能瓶颈。