D_Guco的专栏

一 一致性 一致性是指分布式系统中的多个服务节点，给定一系列操作，在特定协议的保障下，使这些节点对外呈现的状态是一致的，即保证集群中所有服务节点中的数据完全相同并且能够对某个提案达成一致，为什么需要一致性?1 数据不能存在单个节点（主机）上，否则可能出现单点故障。2 多个节点（主机）需要保证具有相同的数据。3 一致性算法就是为了解决上面两个问题。二 Raft算法 Raft是实现分布式共识的一种算法，主要用来管理日志复制的一致性。它和Paxos的功能是一样，但是相比于Pax...

一 首先我们来回顾下普通锁的种类。1 自旋锁       自旋锁如果已经被别的线程获取，调用者就一直循环在那里看是否该自旋锁的保持者已经释放了锁，”自旋”一词就是因此而得名。自旋锁是一种非阻塞锁，也就是说，如果某线程需要获取自旋锁，但该锁已经被其他线程占用时，该线程不会被挂起，而是在不断的消耗CPU的时间，不停的试图获取自旋锁。2 互斥锁 (Mutex Lock)      互斥锁是...

一 关于tidb的排序 1. 按照字节序的顺序扫描的效率是比较高的； 2. 连续的行大概率会存储在同一台机器的邻近位置，每次批量的读取和写入的效率会高； 3. 索引是有序的（主键也是一种索引），一行的每一列的索引都会占用一个 KV Pair，比如，某个表除了主键有 3 个索引，那么在这个表中插入一行，对应在底层存储就是 4 个 KV Pairs的写入：数据行以及 3 个索引行； 4. 一行的数据都是存在一个 KV Pair 中，不会被切分，这点和类 BigTable...

由于目前的项目把mysql换成了TiDb，所以特意来了解下tidb。其实也不能说换，由于tidb和mysql几乎完全兼容，所以我们的程序没有任何改动就完成了数据库从mysql到TiDb的转换。 一 TiDb简介 TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and ...

一 etcd的作用 etcd是一个高可用的键值存储系统，主要用于共享配置和服务发现。etcd是由CoreOS开发并维护的，灵感来自于 ZooKeeper 和 Doozer，它使用Go语言编写，并通过Raft一致性算法处理日志复制以保证强一致性。Raft是一个来自Stanford的新的一致性算法，适用于分布式系统的日志复制，Raft通过选举的方式来实现一致性，在Raft中，任何一个节点都...

一 缓存    当一个系统的数据io性能遇到瓶颈的时候，我们常用的手段是缓存，缓存的本质是一个内存hash表，数据缓存以一对key,value的形式存储在hash表中，其读写的时间复杂度为O(1)，但是我们也要合理的使用缓存，否则会适得其反。那么什么样的数据要做缓存？如何合理的使用缓存呢？1 频繁修改的数据不适合做缓存，如果一个数据频繁修改，会出现数据缓存写入后还未来得及读取缓存，数据已经

下载kafka下载地址:点击打开链接,不要下错了，src后缀的源码，我们需要的是另外一个，里面包含了kafka需要的.jar包，如果你对源码感兴趣可以下源码下来研究一下.安装kafka解压下载文件:tar xvfkafka_2.11-1.0.0.tar，进入解压目录cdkafka_2.11-1.0.0.tar启动zookeeper Kafka使用zookeeper

Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。 Kafka是一个消息系统，