分布式系统基础设施常用术语

最新推荐文章于 2025-04-16 09:53:09 发布
原创 最新推荐文章于 2025-04-16 09:53:09 发布 · 521 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库

原创转载请注明出处：http://agilestyle.iteye.com/blog/2371211

 

分布式缓存

主要作用用于在高并发环境下，减轻数据库的压力，提高系统的响应速度和并发吞吐。当大量的读写请求涌向数据库时，磁盘的处理速度与内存显然不在一个量级，因此，在数据库之前加一层缓存，能够显著提高系统的响应速度，并降低数据库的压力。

 

持久化存储

MySQL作为传统的关系型数据库，MySQL提供完整的ACID操作，支持丰富的数据类型、强大的关联查询、where语句等，能够非常容易地建立查询索引，执行复杂的内连接、外连接、求和、排序、分组等操作、并支持存储过程、函数等功能，产品成熟度高，功能强大。但是对于需要应对高并发访问并且存储海量数据的场景来说，出于对性能的考虑，不得不放弃很多传统关系型数据库原本强大的功能，牺牲了系统的易用性，并且使得系统的设计和管理变得更为复杂。

NoSQL与传统的关系型数据库最大的差别在于，它不使用SQL作为查询语言来查找数据，而采用key-value形式进行查找，提供了更高的查询效率及吞吐，并且能够更加方便地进行扩展，存储海量数据，在数千个节点上进行分区，自动进行数据的复制和备份。

 

消息系统

在分布式系统中，消息作为应用间通信的一种方式，得到了十分广泛的应用。消息可以被保存在队列中，直到被接受者取出，由于消息发送者不需要同步等待消息接受者的响应，消息的异步接收降低了系统集成的耦合度，提升了分布式系统协作的效率，使得系统能够更快地响应用户，提纲更高的吞吐。当系统处于峰值压力时，分布式消息队列还能够作为缓冲，削峰填谷，缓解集群的压力，避免整个系统被压垮。

 

垂直化搜索引擎

垂直化搜索引擎在分布式系统中是一个非常重要的角色，它既能满足用户对于全文检索、模糊匹配的需求，解决数据库like查询效率低效的问题，又能够解决分布式环境下，由于采用分库分表，或者使用NoSQL数据库，导致无法进行多表关联或者进行复杂查询的问题。

 

其它基础设施

  • 实时计算
  • 离线计算
  • 分布式文件系统
  • 日志收集系统
  • 监控系统
  • 数据仓库
  • CDN系统
  • 负载均衡系统
  • 消息推送系统
  • 自动化运维系统

Reference

大型分布式网站架构设计与实践 陈康贤 著

 

 

大规模分布式系统跟踪基础设施Dapper
张彦峰的博客
03-17 5万+
论文《Dapper, a Large-Scale Distributed Systems Tracing Infrastructure》介绍了谷歌开发的大规模分布式系统跟踪基础设施Dapper。Dapper旨在通过提供跨多个服务和计算机的详细跟踪信息，帮助开发人员理解和调试复杂的分布式系统。论文讨论了Dapper背后的动机、其架构以及在诊断性能问题和优化分布式系统方面所提供的实际好处。本文作为回顾经典，重新学习，翻译的同时加入一些现有的理解。
分布式系统设计模式及其实现
AI天才研究院
08-11 328
作者：禅与计算机程序设计艺术随着互联网、移动互联网等信息化社会的发展，人们越来越关注互联网应用的可靠性、可用性、性能、伸缩性等指标，需要对应用程序进行分布式部署、弹性扩展、容错处理等一系列技术手段，以提高服务质量和用户体验。分布式系统设计模式是一种产业级的设计方法论，它在面向海量数据、高并发、多种网络环境等复杂环境下对系统架构、组件之间关系、模块功能、通信协议等方面进行了细致地考虑，在一定程度上解决了传统单机系统所无法解决的问题。本文通过实践案例的形式，全面阐述了分布式系统设计模式的定义、分类、原则、适用场
分布式系统（一）：基本术语
Finit的成长空间
09-05 636
集群
分布式系统相关术语解析
打酱油的葫芦娃
01-12 5588
今天主要讲一下跟分布式系统有关的几个名词。 羊群效应 什么是羊群效应呢？ 有人曾做过一个实验： 在一群羊面前设置了一个栅栏，领头的羊纵身一跃跳过栅栏，后面的羊也跟着跳过去。 接下来的一幕就有趣了，工作人员将栅栏移走，后面的羊走到这里时，仍像前面的羊一样跳了一下，就好像栅栏还存在一样。 这就是“羊群效应”。 “羊群效应”可以理解为一种从众心理，跟风、随大流，别人干什么，我也干什么。 比如基于Zookeeper来实现分布式锁，常用的实现方式是： 所有的client去create一个/lock znode，率先创
Behind The Cloud--浅析分布式系统背后的基础设施
IT_YUAN的专栏
02-27 3080
前言：WEB2.0的时代格局下，信息越来越发散，搜索越来越智能，内容越来越丰富，互动越来越频繁。随着团购、社区、微博不断崛起，互联网已经深入人心。用户规模的不断扩大，新业务的不断开拓，直接导致系统规模不断膨胀。在这种情况下，如何来保障分布式系统构建的稳定性与高性能呢？   --本文作者chenkangxian，引用请标明出处 http://chenkangxian.iteye.com/blog
【分布式系统常见的问题以及术语】
11-22 208
  分布式系统之----CAP理论  【分布式的存储系统之一致性哈希算法】 一、选择分布式系统的动机  (1) 信息交换  (2) 资源共享  (3) 通过重复提高可靠性  (4) 通过并行化提高性能  (5) 通过专门化简化设计  (6) 问题本身的特点决定              人多力量大，是没有错误的，但是人多也有坏处 二、分布式系统进程通信，rpc基本原理...
分布式系统基础设施
少年夜雨行的专栏
09-14 1020
        一个大型、稳健、成熟的分布式系统的背后，往往会涉及众多的支撑系统，我们将这些支撑系统称为分布式 系统的基础设施。包括分布式协作及配置管理系统ZooKeeper、分布式缓存系统、持久化存储、分布式消息系统、搜索引擎、以及CDN系统、负载均衡系统、运维自动化系统等，还有实时计算系统、离线计算系统、分布式文件系统、日志收集系统、监控系统、数据仓库等。 一、分布式缓存 1.memcac...
分布式系统及云计算原理
i_zyh的博客
11-16 1905
1.分布式系统的困难和威胁：①使用模式的多样性 ②系统环境的多样性 ③内部问题 ④外部威胁2.物理模型：描述系统的最显式的方法，系统的硬件组成3.体系结构模型：描述系统的计算元素执行的计算和通讯任务分布式系统中的两类需要协调的问题资源的互斥也可以认为是一种共识问题哪个进程可以进入临界区多方共识问题一个或多个进程提议了一个值后，应达成一致意见计算机/手机特有的历法Unix时间(Unix Time)，也叫做POSIX时间或纪元时间(epoch time)
Java Spring 框架的分布式系统设计原则
Java大师兄的博客
04-16 1258
本文旨在为Java开发者提供使用Spring框架设计和实现分布式系统的全面指南。我们将重点讨论Spring Cloud生态系统中的核心组件及其在分布式环境中的应用，包括但不限于服务发现、API网关、配置中心、分布式追踪等。文章首先介绍分布式系统的基本概念和挑战，然后深入Spring Cloud的各个组件，接着通过实际案例展示如何应用这些原则，最后讨论未来发展趋势和常见问题解答。分布式系统：由多台计算机组成的系统，这些计算机通过网络通信并协调工作，对用户表现为一个统一的系统。微服务架构。
分布式系统中的并发处理优化：实现系统的并发能力和效率
AI天才研究院
07-24 2152
作者：禅与计算机程序设计艺术 1.简介 分布式系统是一个复杂的体系结构，它由多个独立计算机节点组成，彼此之间通过网络进行通信。随着信息技术的发展，分布式系统越来越多地被应用到各个行业中。如今，许多公司都在使用分布式系统作为基础设施，比如互联网公司、金融服务公司等。 当面对高性能计算或业务处理等任务时，很
学习分布式系统，这些术语你了解吗？
lidiya007的博客
10-24 464
对于刚进入区块链行业的小白同学来说，一切都显得比较陌生，很多概念性质的东西理解起来也比较吃力，本文和大家分享的是区块链分布式系统中常见的一些专业分类，一起来看看吧，希望对大家有所帮助。 1. Failure models 失效模型 机器故障：当机器（节点）出现故障时，共识协议就用于解决机器可能出现的状态不一致问题。 · 拜占庭容错：机器不仅可能出现故障，还可能会“撒谎”。  2. Net...
分布式系统设计之基础设施(三)
u012244265的专栏
09-23 703
一个大型，稳健，成熟的分布式系统背后，是由很多系统共同支撑的，我们将这些支撑系统成为分布式系统的基础设施。HBase关于上篇文章提到的海量数据，如果采用分库分表进行管理和查询会存在局限性，于是我们可以引入一种新的数据存储方式，即HBase。HBase是Apache Hadoop项目下的子项目，它以Google BigTable为原型，设计实现的列存储数据库，本质上是一张稀疏的大表。 明确几个概念
想拿高薪，你怎么能不会这个技能点
Frank_girl的博客
10-28 318
最近几年，微服务架构越来越火爆，逐渐被企业所采用。随着软件架构的变化，对应的软件测试策略需要作何调整呢？在这里我来先介绍一下微服务的相关概念以及微服务的主流框架SpringCloud，让大家对微服务有一个整体的认识，然后我在对如何进行微服务测试进行概要讲解。相信大家认真阅读本文后，对服微务一定会有从0到1的突破！拿高薪也轻松解决 微服务概念 微服务英文名称Microservice，微服务架构模式就是将整个Web应用组织为一系列小的Web服务。这些小的Web服务可以独立地编译及部署，并通过各自暴露的.
Java程序员进阶必知的分布式系统专业术语分析
javaxuexi123的博客
05-30 677
1. I / O优化 1，增加缓存，减少磁盘的访问次数。2，优化磁盘的管理系统，设计最优的磁盘方式策略，以及磁盘的寻址策略，这是在底层操作系统层面考虑的。3，设计合理的磁盘存储数据块，以及访问这些数据库的策略，这是在应用层面考虑的。例如，我们可以给存放的数据设计索引，通过寻址索引来加快和减少磁盘的访问量，还可以采用异步和非阻塞的方式加快磁盘的访问速度。4，应用合理的RAID策略提升磁盘I / O。...
分布式系统设计之基础设施(二)
u012244265的专栏
09-20 761
一个大型，稳健，成熟的分布式系统背后，是由很多系统共同支撑的，我们将这些支撑系统成为分布式系统的基础设施。持久化存储简介 互联网领域常见的三种数据存储方式是 传统关系式数据库MySQL, Google提出的bigtable概念及其开源实现HBase，以及包含丰富数据类型的key-value存储Redis。 MySQL扩展 随着开源的IOE等商用存储解决方案的成本不断攀升，以MySQL等为代
分布式系统资源及术语
u012333307的专栏
09-11 966
1 CAP     分布式系统只能在一致性(Consistency)、可用性(Availabilty)、分区容忍性(Partition tolerance) 中三选二。    网络分区，指的是两台机器无法在预期的时间内完成数据的交换。    分布式系统不会放弃分区容忍性，一般会在一致性和可用性之间二选一。    如分布式系统为了可用性会放弃强一致性，选择最终一致性。即机器A无法和机器B通讯
简单了解的分布式术语
Happy Simon
03-10 405
今天跟大家分享分布式术语的知识。 1 I/O优化 1、增加缓存，减少磁盘的访问次数。 2、优化磁盘的管理系统，设计最优的磁盘方式策略，以及磁盘的寻址策略，这是在底层操作系统层面考虑的。 3、设计合理的磁盘存储数据块，以及访问这些数据库的策略，这是在应用层面考虑的。例如，我们可以给存放的数据设计索引，通过寻址索引来加快和减少磁盘的访问量，还可以采用异步和非阻塞的方式加快磁盘的访问速度。 4、应用合理...
【知识点】分布式系统相关名词/概念/知识点
热门推荐
xfxuezhang.cn
11-04 1万+
收录一些基础概念
分布式概念及相关的名词定义
chenyao的博客~
05-06 7077
分布式概述 相关定义 分布式（distributed） 分布式（distributed）是为了解决单个物理服务器容量和性能瓶颈问题而采用的优化手段，将一个业务拆分成不同的子业务，分布在不同的机器上执行。服务之间通过远程调用协同工作，对外提供服务。 该领域需要解决的问题极多，在不同的技术层面上，又包括：分布式缓存、分布式数据库、分布式计算、分布式文件系统等，一些技术如MQ、Redis、zookeeper等都跟分布式有关。 分布式两种形式 从理念上讲，分布式的实现有两种形式： 水平扩展：当一台机器扛不住流量时，
分布式系统一般用什么方式去搭建
最新发布
07-30
<think>嗯，用户这次的问题是关于搭建分布式系统的常用方法和技术，结合了之前提供的引用材料和历史对话。用户似乎是个系统工程师或架构师，正在规划分布式架构，需要全面但实用的指导。 从引用材料看，用户特别关注几个核心痛点：运维复杂性（引用1）、分布式三态问题（引用2）、数据本地化计算（引用3）和lease机制（引用4）。这些恰好对应分布式系统的关键挑战——运维管理、网络通信、计算调度和一致性。 上次我详细讲解了Hadoop部署，这次需要更通用的方法论。用户可能希望了解不同场景下的架构选型，比如什么时候用微服务+容器化，什么时候用大数据生态。考虑到用户引用中提到了Dynamo和HBase，应该对NoSQL存储也有兴趣。 技术方案上需要分层展开：首先基础设施层（网络、节点管理），然后计算层（任务调度），最后是容错机制。特别要强调引用4的lease机制，这是解决分布式锁和一致性的实用方案。数据本地化（引用3）也要重点说明，毕竟这是优化性能的关键。 用户可能还隐含了对比需求：比如传统Hadoop集群和现代Kubernetes方案的差异。虽然问题没直接问，但在"常用方法"中可以自然融入，毕竟引用1提到微服务框架的运维问题。 最后要注意避免堆砌术语。比如解释"三态问题"（引用2）时，必须关联到实际设计策略——超时控制、幂等操作这些落地方案。Lease机制的时钟同步问题（引用4）也要用运维视角说明，比如NTP服务的必要性。</think>搭建分布式系统的核心在于解决**多节点协同、数据一致性与容错**问题，需结合架构设计、通信协议和运维策略。以下是常用方法和技术，结合引用内容分析： --- ### **一、基础架构设计** 1. **分层架构** - **计算层**：任务调度（如YARN、Kubernetes调度器） - **存储层**：分布式文件系统（HDFS）、对象存储（Ceph） - **通信层**：RPC框架（gRPC）、消息队列（Kafka） *引用[1]强调硬件和网络将计算能力切割，需分层管理复杂性。* 2. **数据本地化计算** 将计算任务调度到存储节点本地，减少网络传输（如Spark的`locality`策略）[^3]。 ```python # Spark示例：优先选择数据所在节点执行任务 rdd = sc.textFile("hdfs://data/file.txt") rdd.map(lambda x: process(x)).collect() # 自动就近调度 ``` --- ### **二、核心问题解决技术** 1. **处理分布式三态问题**（成功/失败/超时）[^2] - **超时控制**：为所有RPC调用设置超时阈值（如gRPC的`deadline`）。 - **幂等性设计**：通过唯一ID确保重复请求不影响结果（如支付系统）。 - **补偿机制**：Saga模式，失败时触发反向操作回滚。 2. **数据一致性保障** - **Lease机制**： - 颁发者（如NameNode）授予客户端临时数据访问权，超时自动释放[^4]。 - 解决时钟同步问题：设置有效期 $T_{\text{lease}} = T_{\text{base}} + \Delta T$（$\Delta T$为时钟误差容限）。 - **共识算法**： - Paxos/Raft：确保多个节点对数据状态达成一致（如Etcd）。 - Quorum机制：$W + R > N$（$W$写票数，$R$读票数，$N$副本数）保证强一致性。 --- ### **三、容错与高可用** | **技术** | **应用场景** | **示例工具** | |-------------------|------------------------------|----------------------------| | 副本机制 | 数据持久化 | HDFS（3副本）、Cassandra | | 故障检测 | 节点健康监控 | ZooKeeper临时节点、心跳包 | | 自动故障转移 | 主节点宕机恢复 | Keepalived VIP漂移[^1] | | 状态恢复 | 任务中断后继续 | Flink Checkpoint机制 | *引用[4]指出Lease机制在颁发者宕机时，只需等待超时即可保证系统正确性。* --- ### **四、运维优化实践** 1. **统一运维管理** - 使用容器化（Docker）和编排工具（Kubernetes）集中管理节点[^1]。 - 部署Prometheus+Grafana监控集群资源（CPU/网络延迟）。 2. **性能调优关键点** - **减少网络开销**：压缩传输数据（Snappy）、合并RPC请求。 - **负载均衡**：一致性哈希分配请求（如Nginx upstream）。 - **资源隔离**：Cgroups限制单任务资源，避免级联故障。 --- ### **五、典型架构方案选型** | **场景** | **推荐方案** | |------------------------|---------------------------------------| | 大数据批处理 | Hadoop+Spark（数据本地化计算[^3]） | | 微服务集群 | Kubernetes+Istio（服务网格治理） | | 高并发键值存储 | Redis Cluster（分片+主从复制） | | 强一致性数据库 | CockroachDB（Raft共识） | > **关键原则**： > - 优先考虑无状态服务，简化扩展。 > - 避免分布式事务（用最终一致性替代）。 > - 设计时默认网络不可靠（引用[2]的三态问题）。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值