分布式算法 - Overview

最新推荐文章于 2025-11-25 10:03:30 发布
最新推荐文章于 2025-11-25 10:03:30 发布
阅读量217 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 领域算法 文章标签： 分布式 java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DeveloperFire/article/details/129162466
本文介绍了分布式算法中的关键概念，包括一致性Hash用于解决单调性和平衡性问题，Paxos算法作为分布式一致性基础，Raft算法以易理解性为目标，ZAB协议作为Zookeeper的一致性保障，以及Snowflake算法为Twitter开源的分布式ID生成策略，讨论了它们的设计原理和应用场景。
本文总结下常见的分布式算法，主要是分布式中的一致性算法。

常见的分布式算法

  • 一致性Hash算法是个经典算法，Hash环的引入是为解决单调性(Monotonicity)的问题；虚拟节点的引入是为了解决平衡性(Balance)问题

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink】分布式快照算法—— Chandy-Lamport 算法
九师兄
10-03 2007
https://blog.youkuaiyun.com/hxcaifly/article/details/87872150
大数据处理 - Overview
DeveloperFire的博客
02-19 461
布隆过滤器有着广泛的应用，对于大量数据的“存不存在”的问题在空间上有明显优势，但是在判断存不存在是有一定的错误率(false positive)，也就是说，有可能把不属于这个集合的元素误认为属于这个集合(False Positive)，但不会把属于这个集合的元素误认为不属于这个集合(False Negative)适用范围: 第k大，中位数，不重复或重复的数字；分而治之/hash映射: 针对数据太大，内存受限，只能是: 把大文件化成(取模映射)小文件，即16字方针: 大而化小，各个击破，缩小规模，逐个解决。
分布式快照算法 Chandy-Lamport
ALX3li的博客
04-14 1484
Chandy-Lamport 算法通过抽象分布式系统模型描述了一种简单直接但是非常有效的分布式快照算法。讨论 Chandy-Lamport 算法一定要注意算法的几个前提：网络可靠、消息有序。Spark 的 Structured Streaming 虽然在官方博客中披露使用的 Chandy-Lamport 算法来做 Failover 处理，但是并没有更细节的披露。相比之下 Flink 在 2015 发布了一篇论文更适合在工程上实现，而且已经应用在了 Flink 项目中。
分布式事务-最详细的分布式概念和解决方案
苍煜
05-21 674
文章目录1：本地事务概念2：分布式事务概念1：概念2:CAP理论3：base理论4：分布式事务解决思路3：分布式事务解决方案理论1：XA协议2：2pc模式1：概念2：举例：2：3pc模式1：概念2：举例3：tcc模式4：分布式事务解决方案使用1：lcn框架1：lcn框架使用lcn模式2：lcn框架使用tcc模式2：seata框架1：seata AT模式2：seata的TCC模式3：消息队列+定时任务+本地事件表4：最大努力通知方案5：可靠消息最终一致性方案6：消息服务方案5：写在最后 1：本地事务概念 通过
分布式项目-谷粒商城。
热门推荐
weixin_53417222的博客
10-16 1万+
分布式
分布式事务-Seata入门指南
dzend的专栏
01-01 1977
seata的概念，使用，以及集成
RAY - 分布式计算框架
AI工程化、开源分享、文档翻译、代码笔记
02-18 1309
关于 RAY 特性 1、整合ML生态 Ray AI Runtime ：一个可扩展和统一的ML工具集 大规模shuffle支持 2、生产化能力 KubeRay 高可用能力 可观察性（Observability）工具 3、原生库API增强 Ray Serve Deployment Graph RLlib优化
分布式Ad-hoc查询系统
scott_zgeng的专栏
07-22 5299
在如今数据大爆炸的时代，每天都有大量的数据被产生，其中有些数据被收集保存和分析，但也有很多数据产生后没有被保存直接流失掉了，目前越来越多的公司开始意识到数据的重要性，并将数据作为公司的核心资产。对于那些已经产生但白白流失掉的数据，其数据量非常大，虽然其中很多目前无法确定是否能产生价值，但是不能确保以后不产生价值，最好的策略是将所有产生的数据都尽量收集和保存起来，以备未来所需，而未来衡量企业竞争力的
【Flink原理和应用】：分布式快照算法—— Chandy-Lamport 算法
hxcaifly的博客
02-22 3278
引言 Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照（Distributed Snapshot）算法 Chandy-Lamport 算法，那么分布式快照算法可以用来解决什么问题呢？ A snapshot algorithm is used to create a consistent snapshot...
计算机操作系统--Operating-System-Overview.ppt
08-13
通过采用现代计算机体系结构技术和高效的算法设计，操作系统能够提供更加快速和可靠的用户体验。 操作系统的发展还受到新技术的影响，比如云计算、虚拟化、物联网等。这些技术不仅推动了操作系统功能的革新，也使得...
Berkeley-Data-Analytics-Stack-BDAS-Overview-Ion-Stoica-Strata-2013.pdf
12-20
3. **安全防护**：检测垃圾邮件、蠕虫、病毒及分布式拒绝服务攻击（DDoS）等。 4. **决策支持**：基于数据分析做出关键决策，比如决定增加哪些新功能、展示哪些广告等。 #### 三、数据处理的目标 为了更好地利用...
实验二十二 GaussDB分布式场景调优
qq_21765237的博客
11-23 836
3. 在满足1.应使用取值较为离散的字段作为分布键，以便数据...和2.在满足1.应使用取值较为离散的字段作为分布键...情况下，尽量选择查询中的关联条件作为分布键，这样可保证JOIN任务的相关数据分布在相同的DN上，减少DN间数据的流动代价。可以看出对于关联键非分布列的分片表，会生成带REDISTRIBUTE的算子，之前的实验我们可以采用修改分布键的方式消除该算子，同样我们也可以采用复制表的方式消除该算子，但需要注意，复制表仅适用于数据量少且改动不频繁的表。
基于 Scala 与 Akka 构建高并发分布式微服务与实时流处理系统实践分享
2501_94114403的博客
11-24 366
在大数据、金融风控、物联网和社交平台等场景中，系统需要处理海量实时事件，保证低延迟、高吞吐和高可靠性。本文结合实际工程经验，从系统架构设计、Actor 并发模型、消息与事件处理、状态管理、流处理优化、性能调优和工程化运维等方面，分享 Scala + Akka 在高并发分布式微服务场景下的实践经验与落地策略。通过模块化架构设计、Actor 并发优化、消息与状态管理、流处理策略及完善工程化运维体系，开发者能够实现稳定、高吞吐、低延迟的分布式系统，为金融、社交、物联网和大数据场景提供可靠技术支撑。
基于 Scala 与 Akka 构建高并发分布式微服务与实时数据处理系统实践分享
2501_94114477的博客
11-24 266
本文结合实际工程案例，从系统架构设计、Actor 并发模型、微服务拆分、消息与事件处理、数据库与缓存优化、网络与序列化、性能调优以及工程化运维等方面，分享 Scala + Akka 在高并发实时数据场景下的实践经验与落地策略。通过模块化架构设计、Actor 与异步优化、消息与状态管理、网络与序列化优化，以及完善工程化运维体系，开发者能够实现高性能、低延迟、稳定可靠的企业级分布式微服务系统，为金融、在线游戏、物联网和大数据实时分析场景提供可靠技术支撑。CI/CD 流程保证持续集成、自动化测试和快速发布。
W55MH32 单芯片以太网方案：破解分布式 IO 三大痛点
最新发布
2301_81684513的博客
11-25 640
摘要：工业4.0时代下，分布式I/O面临协议兼容难、实时性差、开发周期长等挑战。W55MH32芯片通过内置硬件TCP/IP引擎和Cortex-M3内核，以单芯片方案替代传统复杂组合，成为构建高可靠分布式I/O模块的核心。文章详细阐述了如何利用该芯片实现多协议通信、边缘智能控制和产品化设计，重点分析了其在工业自动化架构演进中的价值，包括稳定连接、本地算力支持以及成本优化等优势，为分布式I/O提供了性能、成本与开发效率的最佳平衡方案。
Spring Boot 配置文件高级实战指南 热更新/动态配置/安全加密/分布式同步/环境变量注入
Java、Python、AI、前沿技术等领域的技术总结和经验分享。
11-21 1656
Spring Boot 高级配置文件管理方法，从动态刷新、安全管理、分层加载、高级绑定到跨微服务统一管理，实现配置文件的可维护性与可扩展性。
基于 Scala 与 Akka 构建高并发分布式微服务与实时事件处理系统实践分享
2501_94114742的博客
11-24 364
本文结合实际工程经验，从系统架构设计、Actor 并发模型、微服务拆分、消息与事件驱动、数据库与缓存优化、网络与序列化、性能调优、监控与工程化运维等方面，分享 Scala + Akka 在高并发实时系统下的实践经验与优化策略。通过模块化架构设计、Actor 优化、消息与状态管理、网络与序列化优化，以及完善工程化运维体系，开发者能够实现高性能、低延迟、稳定可靠的企业级分布式微服务系统，为金融、在线游戏、物联网和社交等场景提供可靠技术支撑。高并发场景下结合限流、断路器、降级和灰度发布策略，保障系统稳定性。
HarmonyOS分布式安全
2509_93942579的博客
11-25 102
当两个设备首次建立连接时，会通过类似TLS握手的过程互相验证身份证书，确保你连接的是正儿八经的自家设备，而不是什么山寨货。系统会把权限细分为设备级和应用级，设备级权限控制能否发现和连接其他设备，应用级权限则管理具体的数据访问。作为开发者，我们在享受分布式能力便利的同时，一定要把安全考虑贯穿到应用设计的每个环节，这样才能真正让用户放心地使用我们的应用。举个例子，当某个设备检测到自身处于不安全环境时，它会通过分布式软总线通知关联设备群，整个设备群会自动提升安全防护等级或暂时限制敏感操作。
HarmonyOS分布式数据管理
2509_93946531的博客
11-25 304
它干了件挺牛的事：把分布在多个不同设备上的数据，给抽象成了一个虚拟的、统一的数据视图。它允许我创建一个“活”的对象，当这个对象在某个设备上的数据发生变化时，其他所有设备上持有同一个对象的实例，会自动收到变更通知，并更新为最新的值。未来，随着设备品类的进一步丰富，这种“一次开发，多端部署，数据随人而动”的能力，必将催生出更多我们现在想象不到的跨设备创新应用。同时，框架提供了灵活的分发策略，我可以根据业务需求，设定数据是“就近”访问（优先读本设备，本设备没有再去其他设备找），还是“跨设备”访问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

毕设王同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值