qq_14898613的博客

文章目录一、简介二、分区算法 一、简介 Dynamo是amazon开发的一个key-value系统，它强调高可用性，在cap理论中放弃强一致性选择了最终一致，并且在分区的情况下也能提供服务。 二、分区算法

文章目录paxos算法历史paxos算法介绍1.错误模型2. paxos名词3. basic paxos4. mutil paxos5. paxos有其它变种paxos算法实现1.引入库 paxos算法历史 paxos算法是lamport大佬在1998年第一次发布在ACM上的论文，期间经过了7年时间。然后因为原文大家觉得有点不太好理解，于是在2001年总结上一篇论文，以精简和计算机术语发布出来。 paxos算法介绍 Paxos常被误称为“一致性算法”。但是“一致性（consistency）”和“共识（con

论文地址：https://pdos.csail.mit.edu/6.824/papers/thekkath-frangipani.pdf 一、概述 理想的分布式文件系统应该是可以提供一致性的文件访问、存储可以按需扩容、性能可以横向扩展、最小化人工维护成本。Frangipani就是这样的一个分布式文件系统。 Frangipani提供以下几个特性： 所有用户都具有文件相同的一致性视图 运行时增加服务器，服务器数量变更不会打乱运行的服务 管理员增加新用户不需要担心存储的分配 一致行备份、在线备份、允许用户快速访

论文地址：https://pdos.csail.mit.edu/6.824/papers/aurora.pdf 一、Aurora概述 aurora是AWS提供的一个OLTP关系型数据库。设计者认为核心的限制已经从计算和存储转向网络，aurora通过将redo log的处理下推到存储层，来解决此问题。aurora不仅减少网络流量，也支持快速恢复，不丢失数据的故障转移，容错，自愈的存储，并且通过高效的异步模式解决跨多个节点的持久化问题，避免昂贵的故障恢复代价。 关键词：数据库、分布式系统、日志处理、quorum

事件先后次序的概念 事件先后定义 一、receiving和delibering的不同 sending a message是proccess主动做的事 receiving a message是process被动发生的事 delivering a message是在receiving a message后主动做的事 二、FIFO delivery（first-in first-out 投递） 如果一个process send a message M2 在M1之后，那么所有的process de

论文地址：https://pdos.csail.mit.edu/6.824/papers/zookeeper.pdf

Object Storage on CRAQHigh-throughput chain replication for read-mostly workloads 论文阅读笔记。

什么是分布式系统？ 协调多个节点共同完成对外提供数据的存储、计算等服务的系统 分布式系统解决的问题 解决问题：可扩展性、容错、高可用、灾备 分布式系统重要概念 复制，分区，事务，数据一致性 复制 1. 复制概念 在不同机器上保存数据的副本，目的可能有保持用户与数据在地理位置靠近，部分节点故障系统可以继续运行提高可用性，扩展可用处理请求的机器提高可扩展性 2. 复制算法分类 有主（单主、多主）、无主 有主：同步异步复制，同步容易造成系统不可用，异步复制容易造成主从不一致，处理节点宕机，从库失效，追赶恢复，主库

Google文件系统 GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 1、设计概览 设计想定 GFS与过去的分布式文件系统有很多相同的目标，但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动，这反映了它与早期的文件系统明显不同的设想。这就需要对传统的选择进行重...

介绍 MapReduce是处理和产生大数据集的编程模型。用户先使用map函数接受一个KV对，生成中间的KV对，再将相同key的值合并，送到reduce函数处理。 模型需要考虑的问题 并发处理 容错处理 数据分布处理 负载均衡 其它 编程模式 map函数：输入一对kv，输出中间kv。 reduce函数：接受map函数输出的中间kv，并且处理相同key的value集合，输出0个或者1个值。 实现 ...

Dkron 分布式定时任务系统分析 Dkron github address Dkron是一个分布式，启动迅速，容错的定时任务系统，支持cron表达式。 Dkron特点： 易用：易操作和漂亮的UI 可靠：支持容错 高可扩展性：能够处理大量的计划作业和数千个节点 Dkron是用Go编写的，它利用Raft协议和Serf的强大功能提供容错性、可靠性和可扩展性，同时保持简单易安装。 Dkron每个节点...

本文讨论的的raft一致性算法来自于论文In Search of An Understandable Consensus Algorithm

一、为什么需要Context 对goroutine需要有超时退出或控制退出的功能 goroutine需要方便的传递一些变量 二、Context的主体 context包主体就是context这个接口

什么是微服务？ 微服务就是把一些小的系统协同起来组合成一个完整的系统，并且这些小的系统是可以独立部署自治的一些系统。 微服务比起传统的单体架构有哪些优势？ 1. 各个系统之间相互独立，可以达到业务的解偶 2. 开发任务的拆分更方便，方便维护 3. 系统扩展比较容易 4. 技术栈选择不受限制 5. 重构系统相对较容易

本文转载自：https://www.infoq.cn/article/etcd-interpretation-application-scenario-implement-principle 随着 CoreOS 和 Kubernetes 等项目在开源社区日益火热，它们项目中都用到的 etcd 组件作为一个高可用强一致性的服务发现存储仓库，渐渐为开发人员所关注。在云计算时代，如何让服务快速透明地接入...