分布式与集群的区别

分布式是指将不同的业务分布在不同的地方。 而集群指的是将几台服务器集中在一起,实现同一业务。

分布式中的每一个节点,都可以做集群。 而集群并不一定就是分布式的。

举例:就比如新浪网,访问的人多了,他可以做一个群集,前面放一个响应服务器,后面几台服务器完成同一业务,如果有业务访问的时候,响应服务器看哪台服务器的负载不是很重,就将给哪一台去完成。

而分布式,从窄意上理解,也跟集群差不多, 但是它的组织比较松散,不像集群,有一个组织性,一台服务器垮了,其它的服务器可以顶上来。

分布式的每一个节点,都完成不同的业务,一个节点垮了,那这个业务就不可访问了。

2:简单说,分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。

例如:

如果一个任务由10个子任务组成,每个子任务单独执行需1小时,则在一台服务器上执行该任务需10小时。

采用分布式方案,提供10台服务器,每台服务器只负责处理一个子任务,不考虑子任务间的依赖关系,执行完这个任务只需一个小时。(这种工作模式的一个典型代表就是Hadoop的Map/Reduce分布式计算模型)

而采用集群方案,同样提供10台服务器,每台服务器都能独立处理这个任务。假设有10个任务同时到达,10个服务器将同时工作,1小时后,10个任务同时完成,这样,整身来看,还是1小时内完成一个任务!

集群一般被分为三种类型,高可用集群如RHCS、LifeKeeper等,负载均衡集群如LVS等、高性能运算集群;分布式应该是高性能运算集群范畴内。
 
分布式:不同的业务模块部署在不同的服务器上或者同一个业务模块分拆多个子业务,部署在不同的服务器上,解决高并发的问题
集群:同一个业务部署在多台机器上,提高系统可用性

小饭店原来只有一个厨师,切菜洗菜备料炒菜全干。后来客人多了,厨房一个厨师忙不过来,又请了个厨师,两个厨师都能炒一样的菜,这两个厨师的关系是集群。为了让厨师专心炒菜,把菜做到极致,又请了个配菜师负责切菜,备菜,备料,厨师和配菜师的关系是分布式,一个配菜师也忙不过来了,又请了个配菜师,两个配菜师关系是集群
 

链接:http://www.zhihu.com/question/20004877/answer/61025046
根据原作 https://pan.quark.cn/s/459657bcfd45 的源码改编 Classic-ML-Methods-Algo 引言 建立这个项目,是为了梳理和总结传统机器学习(Machine Learning)方法(methods)或者算法(algo),和各位同仁相互学习交流. 现在的深度学习本质上来自于传统的神经网络模型,很大程度上是传统机器学习的延续,同时也在不少时候需要结合传统方法来实现. 任何机器学习方法基本的流程结构都是通用的;使用的评价方法也基本通用;使用的一些数学知识也是通用的. 本文在梳理传统机器学习方法算法的同时也会顺便补充这些流程,数学上的知识以供参考. 机器学习 机器学习是人工智能(Artificial Intelligence)的一个分支,也是实现人工智能最重要的手段.区别于传统的基于规则(rule-based)的算法,机器学习可以从数据中获取知识,从而实现规定的任务[Ian Goodfellow and Yoshua Bengio and Aaron Courville的Deep Learning].这些知识可以分为四种: 总结(summarization) 预测(prediction) 估计(estimation) 假想验证(hypothesis testing) 机器学习主要关心的是预测[Varian在Big Data : New Tricks for Econometrics],预测的可以是连续性的输出变量,分类,聚类或者物品之间的有趣关联. 机器学习分类 根据数据配置(setting,是否有标签,可以是连续的也可以是离散的)和任务目标,我们可以将机器学习方法分为四种: 无监督(unsupervised) 训练数据没有给定...
### 分布式系统集群区别和联系 #### 1. 定义 分布式系统是由多个独立的计算机节点组成,这些节点通过网络互联并协同工作,对外提供统一的服务[^3]。集群通常由一组物理或虚拟机组成,它们共同协作以提高性能、可靠性和可用性[^4]。 #### 2. 基础架构 分布式系统强调任务分解分配以及数据一致性,其架构设计通常需要考虑如何将一个大任务拆分成多个子任务,并在不同节点上执行[^1]。例如,在 Hadoop 的 Map/Reduce 模型中,每个节点负责处理一部分数据[^5]。而集群更关注负载均衡和高可用性,确保系统的整体性能稳定[^2]。 #### 3. 扩展性 分布式系统在扩展性方面具有天然优势,可以通过增加新的节点来提升系统的计算能力和存储容量[^3]。相比之下,集群虽然也可以通过添加节点实现扩展,但其扩展能力往往受到特定软件或硬件限制的影响[^4]。 #### 4. 高可用性 两者都追求高可用性,但实现方式有所不同。分布式系统通过多副本机制和一致性协议(如 Paxos 或 Raft)保证数据的可靠性和一致性[^3]。集群则依赖于冗余设计和故障转移机制,如 Redis 哨兵模式下的主从切换[^4]。 #### 5. 管理工具 分布式系统通常需要更复杂的管理工具来协调节点间的工作,例如 Apache ZooKeeper 或 etcd[^1]。集群可能更多地依赖于负载均衡器和服务发现工具,如 Nginx 或 Consul[^2]。 #### 6. 数据存储 分布式系统中的数据存储通常采用分布式文件系统或数据库,如 HDFS 或 OceanBase,能够支持大规模数据的高效存储和访问[^5]。集群的数据存储方案可能更加集中化,尽管也会有备份和复制机制以增强可靠性。 #### 示例代码:简单的分布式任务分配 以下是一个使用 Python 实现的简单分布式任务分配示例,展示了如何将任务分发到不同的节点进行处理。 ```python import multiprocessing def worker(task): return f"Processed {task}" if __name__ == "__main__": tasks = ["Task1", "Task2", "Task3"] with multiprocessing.Pool(processes=3) as pool: results = pool.map(worker, tasks) print(results) ``` ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值