AxtonSun的博客

Lambda 架构基本介绍Nathan Marz 根据他在 Backtype 和 Twitter 使用分布式数据处理系统的经验，提出了 Lambda 体系结构（LA）一词，用于通用、可扩展且容错的数据处理体系结构。LA旨在满足对健壮系统的需求，该系统具有容错能力，既能防止硬件故障，也能防止人为错误，能够服务于广泛的工作负载和用例，并且需要低延迟的读取和更新。最终的系统应该是线性可扩展的，并且应该向外扩展而不是向上扩展。Lambda 架构说白了就是公司的离线和实时处理技术走两条线，离线的专门做离线数据

存在分布式一致性的原因在分布式系统中，为了保证数据的可靠性与性能，我们不可避免的对数据进行复制与多节点存储，而数据一致性主要为了解决分布式多个存储节点情况下怎么保证逻辑上相同的副本能够返回相同的数据。由于采用多机器进行分布式部署的方式提供服务，必然存在着数据的复制。分布式系统的数据复制需求主要来源于以下两个原因：1.为了增加系统的可用性，以防止单点故障引起的系统不可用；2.提高系统的整体性能，通过负载均衡技术，能够让分布式在不同地方的数据副本都能够为用户提供服务。数据复制在可用性和性能方

ACID/CAP/Base理论传统关系数据库中事务的ACID特性分布式系统中的经典理论——CAP定理和BASE理论分布式实际上就是单一的本地一体解决方案，在硬件或者资源上不够业务需求，而采取的一种分散式多节点，可以扩容资源的一种解决思路。它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给多个计算机进行处理，最后把这些计算结果综合起来得到最终的结果。ACID理论事务事务(Transaction)是由一系列对系统中数据进行访问与更新的操作所组成的一个程序执