ycx1225的专栏

背景： 前面章节介绍了分布式存储的数据如何完成分布式存储的，本章节就聚焦于完成分布式存储后如何保证数据的可靠性的。存储最重要的指标就是可靠性，如果数据会丢，那么一切可能就是免谈了。保证数据可靠一个常规的方式就是把数据存多份啊，理论上讲数据存的份数越多，那么可靠性越好，但是可用空间就越少啊。咱们举个100T的空间如果按2副本去存数据，那么只能存 50T的数据 （50T*2=100T），如果存5副本，那只能存20T的数据了。数据要想可靠不丢那就要保存多份，但是保存多份空间利用率又会很低，所以两者之间要做个权衡，

开篇引言 为什么会出现分布式系统 分布式系统的发展史 传统存储 分布式存储现状 云存储 分布式系统的现状 云存储 智能化 标准化 分布式系统的基石——分布式存储引擎 分布式键值系统 分布式文件系统 分布式表格系统 引言 随着互联网的不断发展，人类社会的数据量迅速激增，这些数据大部分都是图片、音视频这类大文件。而存放这些数据的存储可以说是很多系统中最核心、最重要、最关键的组成部分，没有之一。像loT物联网、AI人工智能，Edge边缘.

深入浅出全面解析RDMA：提升系统网络处理能力的新技术知乎上看到的，很全面，欢迎大家去原地址访问：围城欢迎大家follow：https://github.com/Tjcug 317 人赞同了该文章RDMA(RemoteDirect Memory Access)技术全称远程直接内存访问，就是为了解决网络传输中服务器端数据处理的延迟而产生的。它将数据直接从一台计算机的内存传输到另一台计算机...

作者：Qilan Yuan链接：https://www.zhihu.com/question/26028619/answer/32932317来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。这个问题要分情况讨论：在机械硬盘上写还是在固态硬盘上写。尽管结论都是顺序写比随机写快，但是原因却是不一样的。首先说机械硬盘，我先介绍一下它的存储原理。机械硬盘的结...

raft一致性算法详解原文链接：https://i6448038.github.io/2018/12/12/raft/算法在现实的分布式系统中，不能可能保证集群中的每一台机器都是100%可用可靠的，集群中的任何机器都可能发生宕机、网络连接等问题导致集群中的某个节点不可用，这样，那个节点的数据就有可能和集群不一致，所以需要有一种机制，来保证在大多数机器都存在的情况下向外提供可靠的数据服务...

分布式系统中，如何保证多个节点的状态一致？Raft 一致性算法与 Paxos 不同，号称简单易学，且已经广泛应用在生产中。例如 k8s 和 CoreOS 中使用的 etcd；tikv 中使用 Raft 完成分布式同步；Redis Cluster 中使用类似 Raft 的选主机制等等。今天我们来一探究竟吧。复制状态机/Replicated state machines复制状态机的想法是将服务...

Paxos算法在分布式领域具有非常重要的地位。但是Paxos算法有两个比较明显的缺点：1.难以理解 2.工程实现更难。网上有很多讲解Paxos算法的文章，但是质量参差不齐。看了很多关于Paxos的资料后发现，学习Paxos最好的资料是论文《Paxos Made Simple》，其次是中、英文版维基百科对Paxos的介绍。本文试图带大家一步步揭开Paxos神秘的面纱。Paxos是什么P...

维基百科定义：在计算机科学中，预写式日志（Write-ahead logging，缩写 WAL）是关系数据库系统中用于提供原子性和持久性（ACID属性中的两个）的一系列技术。在使用WAL的系统中，所有的修改在提交之前都要先写入log文件中。log文件中通常包括redo和undo信息。这样做的目的可以通过一个例子来说明。假设一个程序在执行某些操作的过程中机器掉电了。在重新启动时，程序可能需要...

一、 事务的ACID事务是保证数据库从一个一致性的状态永久地变成另外一个一致性状态的根本，其中，ACID是事务的基本特性。A是Atomicity，原子性。一个事务往往涉及到许多的子操作，原子性则保证这些子操作要么都做，要么都不做，而不至于出现事务的部分操作成功，而另外一部分操作没有成功。如果事务在执行的过程中发生错误，那么数据库将回滚到事务发生之前的状态。比如银行的转账服务，这个事务的最终...

IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，它就通知该进程。IO多路复用适用如下场合： 当客户处理多个描述符时（一般是交互式输入和网络套接口），必须使用I/O复用。 当一个客户同时处理多个套接口时，而这种情况是可能的，但很少出现。 如果一个TCP服务器既要处理监听套接口，又要处理已连接套接口，一般也要用到I/O复用。 如果一个服务器即要...

周日午后，刚刚放下手里的电话，正在给刚刚的面试者写评价。刚刚写到『对Linux的基本IO模型理解不深』这句的时候，女朋友突然出现。在Java中，主要有三种IO模型，分别是阻塞IO（BIO）、非阻塞IO（NIO）和 异步IO（AIO）。Java中提供的IO有关的API，在文件处理的时候，其实依赖操作系统层面的IO操作实现的。比如在Linux 2.6以后，...

一、写命中场景Write-through- Write is done synchronously both to the cache and to the backing store. （维基百科定义）翻译：Write-through（直写模式）在数据更新时，同时写入缓存Cache和后端存储。此模式的优点是操作简单；缺点是因为数据修改需要同时写入存储，数据写入速度较慢。试用场景，读多...

分布式系统为了保证一致性，有一个非常著名的算法PAXOS，这个也是目前经过证明的保证能够保证强一致性(strong consistency)的唯一算法。PAXOS算法也是唯一保证了在非拜占庭(参考拜占庭将军问题)情况下， 2F+1个副本节点中，有F个副本节点存在故障，仍然能够保证数据读写强一致性。PAXOS算法需要多轮副本节点间的交互才能达成一致读写，负载和延时比较大。多数分...

http://wenku.baidu.com/view/53b7505777232f60ddcca1e0

作者:陈日志 时间:2018-12-17 分类:默认分类 访问: 305 次之前在介绍 Linux 文件系统的文章中，有提过 ZFS、Btrfs文件系统中，有内置快照的功能，也有提到过其快照的由 CoW 机制实现的。那么这篇文章将带领大家了解快照的原理。快照技术分类常见快照的类别有两类：全拷贝快照 差分快照全拷贝快照拷贝快照是通过镜像技术来实现的...