大数据基础理论——Lambda与Kappa架构的区别

Lambda 架构基本介绍

Nathan Marz 根据他在 Backtype 和 Twitter 使用分布式数据处理系统的经验，提出了 Lambda 体系结构（LA）一词，用于通用、可扩展且容错的数据处理体系结构。

LA旨在满足对健壮系统的需求，该系统具有容错能力，既能防止硬件故障，也能防止人为错误，能够服务于广泛的工作负载和用例，并且需要低延迟的读取和更新。最终的系统应该是线性可扩展的，并且应该向外扩展而不是向上扩展。

Lambda 架构说白了就是公司的离线和实时处理技术走两条线，离线的专门做离线数据处理（例如使用hive，impala，presto，sparkSQL等各种OLAP的技术框架），实时的就专门使用实时处理技术（例如storm，sparkStreaming，flink流处理程序等）。

数据从底层的数据源开始，经过各种各样的格式进入大数据平台，在大数据平台中经过Kafka、Flume等数据组件进行收集，然后分成两条线进行计算。一条线是进入流式计算平台（例如 Storm、Flink或者Spark Streaming），去计算实时的一些指标；另一条线进入批量数据处理离线计