分布式系统

本文详细介绍了分布式系统的重要组成部分,包括分布式存储系统的中心化控制架构与无中心架构,如HDFS和Ceph;分布式计算系统如Hadoop MapReduce、Spark和Flink的特点及应用场景;分布式消息队列系统Kafka的工作原理;以及分布式机器学习的Spark ML和TensorFlow。此外,还探讨了SpringCloud和Dubbo分布式框架,以及分布式数据库TiDB、Google Spanner和OceanBase的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

分布式存储系统

分布式计算系统

分布式消息队列系统

分布式机器学习系统

分布式框架

分布式数据库


分布式存储系统

分布式存储系统分为两大类中心化控制架构(HDFS)和完全无中心架构(Ceph)。

中心化控制架构:以单独元数据服务器为中间控制,具体数据存储服务器为分布式存储的架构存储。

ad6530bcbe4840c9b974074f5fd909a4.png

用户第一步先访问元数据的服务器节点,这个元数据服务器为中间控制,每一次访问真正数据前,都需要先访问元数据服务节点,服务器节点存储的是元数据,元数据是描述数据的数据,元数据存储了真实数据的描述信息,包含具体数据的路径以及相关信息;

完全无中心架构:客户端通过设备映射关系计算出具体数据的位置,直接访问。客户端通过Mon通信服务,计算得到客户端需要写到的具体文件路径。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

骆驼整理说

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值