qq_14898613的博客

文章目录一、简介二、分区算法一、简介Dynamo是amazon开发的一个key-value系统，它强调高可用性，在cap理论中放弃强一致性选择了最终一致，并且在分区的情况下也能提供服务。二、分区算法

文章目录paxos算法历史paxos算法介绍1.错误模型2. paxos名词3. basic paxos4. mutil paxos5. paxos有其它变种paxos算法实现1.引入库paxos算法历史paxos算法是lamport大佬在1998年第一次发布在ACM上的论文，期间经过了7年时间。然后因为原文大家觉得有点不太好理解，于是在2001年总结上一篇论文，以精简和计算机术语发布出来。paxos算法介绍Paxos常被误称为“一致性算法”。但是“一致性（consistency）”和“共识（con

论文地址：https://pdos.csail.mit.edu/6.824/papers/thekkath-frangipani.pdf一、概述理想的分布式文件系统应该是可以提供一致性的文件访问、存储可以按需扩容、性能可以横向扩展、最小化人工维护成本。Frangipani就是这样的一个分布式文件系统。Frangipani提供以下几个特性：所有用户都具有文件相同的一致性视图运行时增加服务器，服务器数量变更不会打乱运行的服务管理员增加新用户不需要担心存储的分配一致行备份、在线备份、允许用户快速访

论文地址：https://pdos.csail.mit.edu/6.824/papers/aurora.pdf一、Aurora概述aurora是AWS提供的一个OLTP关系型数据库。设计者认为核心的限制已经从计算和存储转向网络，aurora通过将redo log的处理下推到存储层，来解决此问题。aurora不仅减少网络流量，也支持快速恢复，不丢失数据的故障转移，容错，自愈的存储，并且通过高效的异步模式解决跨多个节点的持久化问题，避免昂贵的故障恢复代价。关键词：数据库、分布式系统、日志处理、quorum

事件先后次序的概念事件先后定义一、receiving和delibering的不同sending a message是proccess主动做的事receiving a message是process被动发生的事delivering a message是在receiving a message后主动做的事二、FIFO delivery（first-in first-out 投递）如果一个process send a message M2 在M1之后，那么所有的process de

论文地址：https://pdos.csail.mit.edu/6.824/papers/zookeeper.pdf

Object Storage on CRAQHigh-throughput chain replication for read-mostly workloads 论文阅读笔记。

什么是分布式系统？协调多个节点共同完成对外提供数据的存储、计算等服务的系统分布式系统解决的问题解决问题：可扩展性、容错、高可用、灾备分布式系统重要概念复制，分区，事务，数据一致性复制1. 复制概念在不同机器上保存数据的副本，目的可能有保持用户与数据在地理位置靠近，部分节点故障系统可以继续运行提高可用性，扩展可用处理请求的机器提高可扩展性2. 复制算法分类有主（单主、多主）、无主有主：同步异步复制，同步容易造成系统不可用，异步复制容易造成主从不一致，处理节点宕机，从库失效，追赶恢复，主库

Google文件系统GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。1、设计概览设计想定GFS与过去的分布式文件系统有很多相同的目标，但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动，这反映了它与早期的文件系统明显不同的设想。这就需要对传统的选择进行重...

介绍MapReduce是处理和产生大数据集的编程模型。用户先使用map函数接受一个KV对，生成中间的KV对，再将相同key的值合并，送到reduce函数处理。模型需要考虑的问题并发处理容错处理数据分布处理负载均衡其它编程模式map函数：输入一对kv，输出中间kv。reduce函数：接受map函数输出的中间kv，并且处理相同key的value集合，输出0个或者1个值。实现...

Dkron 分布式定时任务系统分析Dkron github addressDkron是一个分布式，启动迅速，容错的定时任务系统，支持cron表达式。Dkron特点：易用：易操作和漂亮的UI可靠：支持容错高可扩展性：能够处理大量的计划作业和数千个节点Dkron是用Go编写的，它利用Raft协议和Serf的强大功能提供容错性、可靠性和可扩展性，同时保持简单易安装。Dkron每个节点...

本文讨论的的raft一致性算法来自于论文In Search of An Understandable Consensus Algorithm

一、为什么需要Context对goroutine需要有超时退出或控制退出的功能goroutine需要方便的传递一些变量二、Context的主体context包主体就是context这个接口

什么是微服务？ 微服务就是把一些小的系统协同起来组合成一个完整的系统，并且这些小的系统是可以独立部署自治的一些系统。微服务比起传统的单体架构有哪些优势？ 1. 各个系统之间相互独立，可以达到业务的解偶 2. 开发任务的拆分更方便，方便维护 3. 系统扩展比较容易 4. 技术栈选择不受限制 5. 重构系统相对较容易

本文转载自：https://www.infoq.cn/article/etcd-interpretation-application-scenario-implement-principle随着 CoreOS 和 Kubernetes 等项目在开源社区日益火热，它们项目中都用到的 etcd 组件作为一个高可用强一致性的服务发现存储仓库，渐渐为开发人员所关注。在云计算时代，如何让服务快速透明地接入...