22、Lambda架构：实时Hadoop应用的高效解决方案

Lambda架构：实时Hadoop应用的高效解决方案

1. Lambda架构简介

Lambda架构简化了众多任务。添加新特性变得轻而易举，因为这可能只需添加处理（查询），最多也就是增加新视图（对批处理层进行增强）。从人为错误中恢复也很容易，你可以根据需要从批处理层或速度层重建视图。性能优化同样轻松实现，可通过调整批处理层或对视图进行索引来达成。此外，该架构具有通用性，适用于任何数据处理环境。

Lambda架构的目标如下：
- 处理过程应保持（基础）数据不变，并构建一个访问层（针对用户查询进行优化），以便从人为错误中轻松恢复。
- 处理应提前异步进行，且采用批处理模式。
- 增量计算应减至最少（如有可能则消除）。

2. Lambda架构层的定义与使用

Lambda架构的各层属于逻辑层面或概念层面。在实现时，所使用的NoSQL数据库是物理的，单独使用时存在自身缺点。因此，在实现过程中，了解它们的优缺点至关重要。例如，像Cassandra这样的列式数据库，虽能提供高吞吐量，但数据模型相对有限（与关系型数据库管理系统RDBMS相比）。所以，将关系型模式适配到这种数据库需要做一些工作。

下面将详细探讨Lambda架构的各层，以及如何利用它构建出色的实时系统。首先从批处理层开始。

2.1 批处理层

在处理海量数据集时，延迟是常见问题。像MapReduce或YARN这样的分布式处理机制虽试图降低延迟，但考虑到这些海量数据集用于分析以及涉及的复杂处理，处理总时间往往难以接受。因此，要么将处理拆分为更小的单元（并非总能实现），要么限制用户查询的范围。

Lambd