分布式与集群到底是什么?

莫遣只轮归海窟,仍留一箭定天山。——李益《塞下曲》

单机结构

大家最为熟悉的就是单机结构,一个系统业务量很小的时候所有的代码都放在一个项目中,然后这个项目部署在一台服务器上。整个项目所有的服务都由这台服务器提供。这就是单机结构。

其缺点是显而易见的,单机的处理能力毕竟是有限,当业务增长到一定程度时,单机硬件资源将无法满足业务需求,此时便出现了集群模式。

集群结构

单机处理到达瓶颈时,你就把单机复制几份放到不同的服务器上,这样就构成了一个“集群”。集群中每台服务器叫做这个集群的一个“节点”,所有节点构成了一个集群。每个节点都提供相同的服务,这样系统的处理能力就相当于提升了好几倍(有几个节点就相当于提升了多少倍)。

但问题是用户的请求究竟由哪个节点来处理呢?最好能够让此时此刻负载较小的节点来处理,这样使得每个节点的压力都比较平均。要实现这个功能,就需要在所有节点之前增加一个“调度者”的角色,用户的所有请求都先交给它,然后它根据当前所有节点的负载情况,决定将这个请求交给哪个节点处理。这个“调度者”就是——负载均衡服务器。

集群结构的好处就是系统扩展非常容易。如果随着你们系统业务的发展,当前的系统又支撑不住了,那么给这个集群再增加节点就行了。但是,当你的业务发展到一定程度的时候,你会发现一个问题——无论怎么增加节点,貌似整个集群性能的提升效果并不明显了。这时候,你就需要使用微服务结构了。
小结:从单机结构到集群结构,你的代码基本无需要作任何修改,你要做的仅仅是多部署几台服务器,每台服务器上运行相同的代码就行了。但是,当你要从集群结构演进到微服务结构的时候,之前的那套代码就需要发生较大的改动了。所以对于新系统我们建议,系统设计之初就采用微服务架构,这样后期运维的成本更低。但如果一套老系统需要升级成微服务结构的话,那就得对代码大动干戈了。所以,对于老系统而言,究竟是继续保持集群模式,还是升级成微服务架构,这需要你们的架构师深思熟虑、权衡投入产出比。

分布式结构

分布式结构就是将一个完整的系统,按照业务功能,将整个业务拆分成一个个独立的子系统,在分布式结构中,每个子系统就被称为“服务”。这些子系统能够独立运行在web容器中,它们之间通过RPC方式通信。

举个例子,假设需要开发一个在线商城。按照微服务的思想,我们需要按照功能模块拆分成多个独立的服务,如:用户服务、产品服务、订单服务、后台管理服务、数据分析服务等等。这一个个服务都是一个个独立的项目,可以独立运行。如果服务之间有依赖关系,那么通过RPC方式调用。

这样的好处有很多:

系统之间的耦合度大大降低,可以独立开发、独立部署、独立测试,系统与系统之间的边界非常明确,排错也变得相当容易,开发效率大大提升。
系统之间的耦合度降低,从而系统更易于扩展。我们可以针对性地扩展某些服务。假设这个商城要搞一次大促,下单量可能会大大提升,因此我们可以针对性地提升订单系统、产品系统的节点数量,而对于后台管理系统、数据分析系统而言,节点数量维持原有水平即可。
服务的复用性更高。比如,当我们将用户系统作为单独的服务后,该公司所有的产品都可以使用该系统作为用户系统,无需重复开发。

用一句话概括就是:
  • 分布式:一个业务分拆多个子业务,部署在不同的服务器上;
  • 集群:同一个业务,部署在不同的服务器上。
分布式集群能够实现多种功能,不同的框架和系统可实现的功能有所不同: ### 数据一致性协调功能 - **分布式数据一致性**:像Zookeeper这样的系统,是典型的分布式数据一致性解决方案,可保证分布式一致性,基于它分布式应用程序能实现数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能 [^1]。 - **分布式协调**:ZooKeeper可用于分布式系统中的组件命名,为组件提供命名机制,简化查找和引用;还能维护服务状态信息,检测集群成员变化,当有成员加入或离开时及时通知其他成员;提供分布式锁,使多个进程同步访问共享资源不冲突;集中管理配置信息,配置改变时通知相关客户端;实现分布式队列,如任务队列、消息队列等;支持选举算法,在集群中选举Leader节点协调活动 [^2]。 ### 任务调度功能 Quartz是强大的任务调度框架,在Spring Boot中集成Quartz可实现任务的调度、管理、暂停和恢复等功能,在分布式系统中支持集群化任务调度,确保任务的高可用性和一致性 [^5]。 ### 分布式数据结构协调工具功能 Atomix是分布式协调框架,构建于Raft和Paxos等一致性协议之上,提供分布式数据结构、协调工具和一致性协议,支持创建分布式锁、Leader选举、分布式Map、消息发布 - 订阅等功能,常用于微服务架构和分布式系统的协调任务 [^3]。 ### 集群辅助功能 Kubernetes的Add - ons能使集群功能更丰富,coredns/kube - dns负责为整个集群提供DNS服务;Ingress Controller为服务提供集群外部访问;Heapster/Metries - server提供集群资源监控;Dashboard提供集群GUI;Federation提供跨可用区的集群;Fluentd - elasticsearch提供集群日志采集、存储查询 [^4]。 ### 代码示例 以下是一个简单的Python示例,模拟分布式锁的基本概念(实际的分布式锁实现会更复杂): ```python import threading # 模拟分布式锁 distributed_lock = threading.Lock() def worker(): with distributed_lock: print("Acquired the lock, doing some work...") # 模拟工作 import time time.sleep(1) print("Work done, releasing the lock.") # 创建多个线程模拟分布式环境中的多个进程 threads = [] for _ in range(3): t = threading.Thread(target=worker) threads.append(t) t.start() # 等待所有线程完成 for t in threads: t.join() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值