分布式系统的演进过程

原创 已于 2022-03-04 15:36:44 修改 · 1.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式

于 2022-03-04 15:34:55 首次发布
本文探讨了互联网发展中遇到的常见问题，如服务与数据库分离、缓存使用、应用服务集群、数据库读写分离、反向代理与CDN加速、分布式系统、NOSQL与搜索引擎、业务拆分和服务化等解决方案，旨在提升系统性能和稳定性，实现大数据时代的高效监控与日志分析。

初生

在这里插入图片描述

发展问题

在这里插入图片描述

解决措施：应用服务与数据库分离

在这里插入图片描述
在这里插入图片描述

发展问题

在这里插入图片描述

解决措施：使用缓存改善性能

在这里插入图片描述

发展问题

在这里插入图片描述

解决措施：应用服务集群

在这里插入图片描述
在这里插入图片描述

发展问题

在这里插入图片描述

解决措施：

数据库读写分离

在这里插入图片描述
在这里插入图片描述

反向代理+CDN加速

![在这里插入图片描述](https://img-blog.csdnimg.cn/1390bde5f0074854b77b9fc23285cdab.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5oiR5Lus5LiA6LW35Y675aSn5Y6C,size_20,color_FFFFFF,t_70,g_se,x_16

发展问题

在这里插入图片描述

解决措施：分布式文件系统和分布式数据库系统

在这里插入图片描述
在这里插入图片描述

发展问题

在这里插入图片描述

解决措施：使用NOSQL、搜索引擎

在这里插入图片描述
在这里插入图片描述

发展问题

在这里插入图片描述

解决措施：业务拆分

在这里插入图片描述

发展问题

在这里插入图片描述

解决措施：服务化拆分

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

发展问题

在这里插入图片描述

解决措施：大数据技术，监控，日志分析系统

在这里插入图片描述
在这里插入图片描述

第3章 分布式文件系统HDFS（精心梳理 详解HDFS ）
wyz191的专栏
04-04 1万+
分布式文件系统（Distributed File System）是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。分布式文件系统的设计一般采用“Client/Server(客户机/服务器)”模式，客户端以特定的通信协议通过网络与服务器建立连接，提出文件访问请求，客户端和服务器可以通过设置访问权来限制请求方对底层数据存储块的访问。 分布式文件系统的结构 普通操作系统（Windows、Linux）中，文件系统一般会把磁盘空间划分为512Byte/每组的“磁盘组”，它是文件系统进行读写的最小单位，文
分布式架构演进过程
张伟光
11-20 585
分布式
图解分布式架构的演进过程！
Java后端技术
07-02 954
点击上方△蓝字可关注我们精彩内容 每天送到！作者丨吴极心一、什么是分布式架构分布式系统（distributed system） 是建立在网络之上的软件系统。内聚性：是指每...
分布式系统的发展历程
Ethereal的博客
08-03 2127
分布式系统的发展历程、特性以及常见的问题。
图解分布式架构-演进过程
嘻哈熊的专栏
03-01 1089
来源：http://t.cn/EauzRSz 一、什么是分布式架构 二、分布式架构的应用 三、资源推荐 四、分布式架构的演进 五、分布式服务应用会面临哪些问题？ 一、什么是分布式架构 分布式系统（distributed system） 是建立在网络之上的软件系统。 **内聚性：**是指每一个数据库分布节点高度自治，有本地的数据库管理系统。 **透明性：**是指每一个数据库分布节点对用户的应用来说都是透明的，看不出是本地还是远程。 在分布式数据系统中，用户感觉不数据是分布的，即.
分布式架构演进之路
在平淡的日子里寻找存在的价值
07-09 1719
分布式架构演进历程，包括单机架构、应用数据分离架构、应用服务集群架构、读写分离架构、冷热分离架构、分库分表以及微服务架构。
分布式架构的演进过程
07-15 648
作者：代码屠夫18出处：my.oschina.net/u/3854434一.分布式架构的发展历史 1946年,世界上第一台电子计算机在美国的宾夕法尼亚大学诞生,它的名字是：ENICAC ,这台计算机的体重比较大,计算速度也不快,但是而代表了计算机时代的到来,再以后的互联网的发展中也有基础性的意义。 计算机的组成是有五部分完成的,分别是:输入设备,输出设备,...
分布式系统架构演进过程
zcswl7961的博客
11-08 907
文章目录前言1. 概述2. 基本概念分布式高可用集群负载均衡正向代理和反向代理3. 架构演进3.1 单机架构3.2 第一次演进：Tomcat与数据库分开部署3.3 第二次演进：引入本地缓存和分布式缓存3.4 第三次演进：引入反向代理实现负载均衡3.5 第四次演进：数据库读写分离3.6 第五次演进：数据库按业务分库3.7 第六次演进：把大表拆分为小表3.8 第七次演进：使用LVS或F5来使多个Ngi...
分布式计算演进过程
m0_56214772的博客
05-10 477
分布式系统就是把一些计算机通过网络连接起来，然后协同工作。协同工作需要解决两个问题：1）任务分解：把一个问题拆解成若干个独立任务，每个任务在一台节点上运行，实现多任务的并发执行。2）节点通信：节点之间互相通信，需要设计特定的通信协议来实现。协议可以采用RPC或Message Queue等方式。以javaweb为例，来搭建一个简单的电商系统，从这个系统中来看系统的演变历史；要注意的是，接下来的演示模型，关注的是数据量、访问量提升，网站结构发生的变化， 而不是具体关注业务功能点。
好买财富基金交易系统的分布式架构演进过程.pdf
08-21
"分布式交易系统架构演进过程" 分布式交易系统架构演进过程是指好买财富基金交易系统从传统金融到互联网金融系统发展历程的演进过程。该架构演进过程包括传统金融系统、分布式交易系统、创新交易系统三个阶段。 ...
好买财富基金交易系统的分布式架构演进过程.zip
10-25
《好买财富基金交易系统的分布式架构演进过程》 基金交易系统是金融行业中至关重要的组成部分，它需要处理海量的交易请求、确保数据的准确性和实时性，并在高并发环境下保持稳定运行。好买财富作为一家知名的财富...
【前瞻创想】Kurator：站在巨人肩膀上的分布式云原生创新实践
笃行其道的博客
11-29 1237
Kurator是一个创新的分布式云原生平台，通过深度整合Kubernetes、Karmada、Istio等主流开源项目，为企业提供统一的多云管理解决方案。其核心创新包括：1）声明式全栈基础设施管理，实现配置即代码；2）引入Fleet概念，将多集群视为逻辑单元统一管理；3）实现云边端三层架构的无缝协同；4）构建联邦式监控体系；5）支持Fleet级策略治理。相比传统方案，Kurator显著降低了运维复杂度，提升开发效率60%以上，并将故障恢复时间缩短至10分钟内。该平台代表了云原生技术向分布式环境演进的重要方向
Elastic Stack梳理：深度解析Elasticsearch分布式查询机制与相关性算分优化实践
Wang的专栏
12-02 996
分布式搜索中的Elasticsearch面临查询流程复杂性和相关性算分失真两大挑战。Query-Then-Fetch机制通过两阶段处理：Query阶段各分片独立计算并返回Top N文档，Fetch阶段聚合完整数据。分片本地统计导致BM25算法算分偏差，解决方案包括单分片模式、DFS查询模式（预收集全局统计量）和混合方案。NestJS集成示例展示了基础检索和DFS算分修正的实现。关键点在于分片选择必须覆盖所有ID，深分页需调整参数，DFS模式虽提升算分准确性但增加性能开销。
对分布式推理架构有经验。包括跨机器 /跨节点部署、负载均衡、模型分片。
最新发布
怨行客
12-03 597
通过精确计算，Llama-3-70B 模型权重在 FP16 精度下，理论上需要约130.2 GB的显存。而实际应用中提到约140GB模型在推理过程中，每层计算产生的中间结果。这部分数据量取决于批次大小 (Batch Size)和序列长度 (Sequence Length)。用于存储 Attention 机制中的键（Key）和值（Value）向量，特别是进行长序列推理时，K/V Cache 会占用相当大的空间。PyTorch、TensorFlow 或 VLLM 等推理框架自身运行所需的少量显存。
鸿蒙分布式能力与Flutter集成：Flutter三方库鸿蒙适配实践
nanxuan521的专栏
12-03 442
// 设备信息模型});?'',?'Unknown',?'unknown',?false,/// 分布式设备发现插件/// 初始化插件并开始监听设备发现/// [serviceId]：用于发现的业务标识符try {/// 获取当前已发现的设备列表try {return [];/// 在设备间发起一个认证请求（例如，建立连接前的安全握手）try {/// 停止发现并释放资源try {// 在Flutter应用中的使用示例/*
【前瞻创想】标准之争：论Kurator在分布式云原生API标准化中的潜在角色
qq_39757921的博客
11-29 1076
摘要：本文系统阐述了Kurator在解决分布式云原生API标准化难题中的创新方案。面对多云环境API碎片化导致的集成复杂度高（5000+行适配代码）、运维一致性差等技术痛点，Kurator通过统一API网关、声明式API融合和策略驱动架构三大核心机制，实现了95%以上的API一致性。实测数据表明，该方案可降低60%集成复杂度，提升40%运维效率，在金融行业案例中使跨云迁移时间从3个月缩短至2周。文章详细剖析了Kurator的标准化架构设计原理，并提供了包括网关配置、策略实施等在内的完整实战指南，为分布式云原
【分布式文件存储系统Minio】2024.12保姆级教程
2509_94201400的博客
12-01 413
http://ip:9090/ 2.运行容器 3.进行配置 1.格式 2.具体配置 4.查看桶 5.给桶开放权限 3.搭建minio模块 1.创建一个oss模块 1.在sun-common下创建 2.sun-common-oss 引入依赖 2.sun-common-oss 模块 1.概览 3.FileInfo.java 4.MinioUtil.java 5.StorageAdapter.java 6.MinioStorageAdapter.java 3.sun-demo操作minio
分布式、微服务与云原生：概念解析与关联梳理
技术分析
12-02 832
本文系统解析了分布式、微服务和云原生三大现代软件架构概念的关系。分布式是底层设计思想，通过多节点协同解决单机瓶颈；微服务是其具体实现模式，按业务拆分为独立小服务；云原生则是部署目标，利用容器化、弹性伸缩等技术优化微服务运行环境。三者呈递进关系：分布式解决"为什么拆"，微服务解决"拆成什么样"，云原生解决"拆后放哪里"。文章强调架构选型需结合实际需求，避免盲目跟风，指出云原生是微服务的最佳运行环境，共同构成大型系统的主流架构范式。
分布式系统演进：从数据增长到NoSQL
文档中详细讨论了信息系统的分布式架构演进过程，从数据源层到业务展现层，每个层级都有其特定的功能和角色。随着数据量的增加，传统的RDBMS（关系数据库管理系统）面临着性能瓶颈。为了提升RDBMS的性能，人们尝试了...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_Romeo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值