分布式系统

已于 2024-05-25 11:43:21 修改
阅读量1.1k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 分布式微服务框架、开源框架及中间件 文章标签： hadoop 大数据 分布式 spark
于 2023-03-20 20:18:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xing_jian1/article/details/129675223
本文详细介绍了分布式系统的重要组成部分，包括分布式存储系统的中心化控制架构与无中心架构，如HDFS和Ceph；分布式计算系统如Hadoop MapReduce、Spark和Flink的特点及应用场景；分布式消息队列系统Kafka的工作原理；以及分布式机器学习的Spark ML和TensorFlow。此外，还探讨了SpringCloud和Dubbo分布式框架，以及分布式数据库TiDB、Google Spanner和OceanBase的应用。

目录

分布式存储系统

分布式计算系统

分布式消息队列系统

分布式机器学习系统

分布式框架

分布式数据库

分布式存储系统

分布式存储系统分为两大类中心化控制架构(HDFS)和完全无中心架构(Ceph)。

中心化控制架构：以单独元数据服务器为中间控制，具体数据存储服务器为分布式存储的架构存储。

ad6530bcbe4840c9b974074f5fd909a4.png

用户第一步先访问元数据的服务器节点，这个元数据服务器为中间控制，每一次访问真正数据前，都需要先访问元数据服务节点，服务器节点存储的是元数据，元数据是描述数据的数据，元数据存储了真实数据的描述信息，包含具体数据的路径以及相关信息；

完全无中心架构：客户端通过设备映射关系计算出具体数据的位置，直接访问。客户端通过Mon通信服务，计算得到客户端需要写到的具体文件路径。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据分析中的分布式计算原理详解
小程序开发
10-19 629
（如传统的数据库或Python脚本）在面对此类“大数据”时，逐渐暴露出严重的局限性：有限的存储空间无法容纳海量数据，单CPU/GPU的计算能力难以在合理时间内完成复杂分析任务，且单点故障可能导致整个系统瘫痪。Spark是目前最流行的分布式计算框架，支持批处理、流处理、SQL、机器学习等场景，且提供友好的Python API（PySpark）。随着数字化时代的到来，数据量呈现爆炸式增长——从社交媒体的用户行为数据、电商平台的交易记录，到物联网设备的实时传感数据，数据规模已从GB级跃升至TB、PB甚至EB级。
分布式计算系统
02-27
分布式计算
分布式计算机系统
bandengrk39309的博客
02-24 1326
所谓分布式计算机系统，是指由多台分散的计算机，经互连网络的联接而形成的系统，系统的处理和控制功能分布在各个计算机上。分布式计算机系统又简称为分布式系统。 1）通信结构：通信结构是指支持各个计算机联网，以提供分布式应用的软件。在分布式系统中，尽管每台计算机都有自己独立的操作系统，并且这些计算机和操作系统的种类又可以是不同的，但它们都应该支持同样的通信结构。 2）网络操作系统：由网络操作...
分布式计算
lxw的博客
07-20 7223
分布式计算一、分布式计算二、分布式系统特性三、通用分布式计算系统1 Apache Hadoop2 Apache Spark3 Apache Storm 一、分布式计算 定义 分布式计算就是将计算任务分摊到大量的计算节点上，一起完成海量的计算任务。 原理 将一个复杂庞大的计算任务适当划分为一个一个小任务，并让任务并行执行，只不过分布式计算会将这些任务分配到不同的计算节点上，每个计算节点只需要完成自己的计算任务即可，可以有效分担海量的计算任务。 而每个计算节点也可以并行处理自身的任务，更加充分利用机
什么是分布式计算
weixin_33726318的博客
06-01 1023
分布式计算是一门计算机科学，主要研究分布式系统。一个分布式系统包括若干通过网络互联的计算机。这些计算机互相配合以完成一个共同的目标（我们将这个共同的目标称为“项目”）。具体的过程是：将需要进行大量计算的项目数据分割成小块，由多台计算机分别计算，再上传运算结果后统一合并得出数据结论。在分布式系统上运行的计算机程序称为分布式计算程序；分布式编程就是编写上述程序的过程。 分布式计算简单理解是...
精选资源
分布式系统概念与设计 （第3版）.pdf
最新发布
09-22
分布式系统是计算机科学中的一个核心概念，它涉及一组通过网络互联的计算机，这些计算机共同协作以提供一种统一的计算资源。在分布式系统中，资源管理、通信和协调工作是系统设计的关键部分。分布式系统设计旨在提高...
精选资源
东北大学_研究生_期末考试之分布式系统及应用
12-21
分布式系统及应用是计算机科学中的一个关键领域，尤其在当今大数据和云计算的时代背景下，其重要性日益凸显。东北大学的研究生课程"分布式系统及应用"显然涵盖了这一领域的核心概念和实践技能。以下是对该课程相关...
分布式系统原理介绍 - 刘杰 - 百度.pdf
06-23
分布式系统理论体系非常庞大，涉及知识面也非常广博，本文精心选择了部分在工程实践中应用广泛、简单有效的分布式理论、算法、协议加以介绍。全文分为两大部分，第一部分介绍了分布式系统的一些基本概念并框定了本文...
精选资源
凤凰架构：构建可靠的大型分布式系统.pdf
08-04
《凤凰架构：构建可靠的大型分布式系统》是一本开源文档，其核心在于为技术人员提供一个构建可信赖的大型分布式软件系统的框架和方法论。分布式系统是一类由多个组件构成的系统，这些组件分散在不同的网络节点上，...
精选资源
分布式系统：概念与设计
03-07
分布式系统：概念与设计
Spark：一个高效的分布式计算系统
02-26
Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。其架构如下图所示：Spark的中间数据放到内存中，对于迭代运算效率更高。Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的抽象概念。Spark比Hadoop更通用。Spark提供的数
开源的分布式计算系统 Onyx.zip
07-18
Onyx 是什么？Onyx 是一个无中心、支持云、容错的分布式计算系统使用 Clojure 编写支持批处理和流处理混合提供信息模型用于描述和构建分布式工作流竞争对手： Storm, Cascading, Map/Reduce, Dryad, Apache Sqoop, Twitter Crane 等等用途？实时的事件流处理连续计算ETL在 MapReduce 进行数据转换数据清理数据摄入和存储媒介传输 标签：分布式计算  分布式
分布式计算系统（Map/Reduce）
木头的天空
06-12 1382
二. 分布式计算（Map/Reduce）<br />分布式式计算，同样是一个宽泛的概念，在这里，它狭义的指代，按Google Map/Reduce框架所设计的分布式框架。在Hadoop中，分布式文件系统，很大程度上，是为各种分布式计算需求所服务的。我们说分布式文件系统就 是加了分布式的文件系统，类似的定义推广到分布式计算上，我们可以将其视为增加了分布式支持的计算函数 。从计算的角度 上看，Map/Reduce框架接受各种格式的键值对文件作为输入，读取计算后，最终生成自定义格式的输出文件。而从分布式
分布式计算机系统概要
12-28 3114
下一步的技术发展很难准确预测，我 们要在网络、分布式环境下 开发，需要掌握分布式计算机系统 的原理，也需要了解他们的实 现原理。 分布式操作系统是为分布式计算机 系统配置的一种操作系统。   分布式系统需要与集中式系统完全不同的软件。   分布式计算机系统 第一，    从硬件角度来讲，各个计算 机都是自治的；第二，从软件角度 来讲，用户将整个系统看作是一台 计算机。这
九套大型分布式实战合集
az554435323的博客
10-23 1256
目录： 第一套：Dubbo入门到精通架构高级课程（视频+课件+源码） 第二套：SOA Dubbo全套高级教程（视频+课件+源码） 第三套：架构设计之mfs分布式文件系统实战（视频） 第四套：FastDFS 分布式文件系统集群与应用（视频） 第五套：Mycat分布式架构（视频+课件+源码） 第六套：阿里分布式数据库服务实践（视频） 第七套：Zookeeper从入门到精通、实战（视频） 第八套：大...
分布式计算系统设计
Rao的博客
05-13 885
设计分布式系统 不是所有分布式系统都一样，只有原理性的东西是相同的，本质上是解决分布式常见的问题 需要仔细的做第一件事，是在大脑中首先构思一下整体系统的结构，在大脑中将服务大概地走一遍，觉得不合理的东西，推倒重新想，在不断想的时候，想的越多就越完美，追求完全完美费时费力，追求尽可能完美，程序高效开发时间短 分布式系统 肯定是 由单机系统升级来的，单机程序就是分布式系统的子系统，理论上能完成所有任务，以下是常见的几种分布式系统大致结构 主从结构 多服务直接请求 几乎所有分布式系统都
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

骆驼整理说

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值