Lambda架构

Lambda架构旨在解决大数据处理系统中可靠性和实时性的矛盾,通过BatchLayer、SpeedLayer和ServingLayer三层结构,实现数据处理的高可靠性与低延迟。BatchLayer确保数据处理准确性,SpeedLayer满足实时性需求,ServingLayer整合两层数据输出完整结果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.背景

Q : 大数据系统的关键问题:如何实时地在任意大数据集上进行查询

A : 最简单的方法是,直接在全体数据集上运行查询函数得到结果,但是这种方法的计算代码太大,所以不现实。

2.为什么要用 Lambda Architecture

在大数据处理系统中,数据处理的可靠性和实时性是一对矛盾,往往不可兼得。可靠性是指在任何异常出现的情况下,数据处理都能够做到不重不丢,并且最终得到准确的结果。实时性是指数据从输入到处理完毕输出的时间间隔。一般来说,对于像Hadoop MapReduce这样的批处理系统来说,可靠性很高,而实时性很差;对于Storm这样的流式处理系统来说,则情况正好相反。那么,有没有办法使得数据处理系统即可以做到高可靠,又可以做到低延迟呢?Lambda Architecture就是这个问题的答案。

Lambda Architecture是为了满足如下需求:

• 系统故障或人为错误不丢数据
• 数据分析低延迟
• 系统具备线性扩展能力
• 系统中很容易增加新特性

Lambda Architecture由 batch layerspeed layerserving layer组成。

在输入端集中接收数据,并拷贝数据,分别导入到batch layer和 speed layer。

3.组成

3.1 Batch Layer

• 这层的功能主要有两点:

1.存储数据集   
2.在数据集上预先计算查询函数,构建查询所对应的view

• Batch layer的职责是保证数据处理的准确性和可靠性。

• Batch layer首先把数据以其原始格式存储在HDFS上,以加强系统的可靠性。然后,利用Hadoop MapReduce作业对数据进行处理,并将结果保存起来(这种处理之后的数据称之为batch view)。Hadoop作业具有很好鲁棒性,在运行过程中出现各种异常时都不会损失数据。对于存储系统来说,这种批处理方式只需要随机读、追加写,不需要处理随机写、加锁、数据一致性等问题,因此大大简化了存储系统的设计。但是batch layer对数据处理的延迟是很大的,通常是几个小时到几天。

3.2 Speed Layer

• Speed layer的职责是满足所有实时性处理的需求。

• Speed layer通常基于Storm这样的流式计算平台,通过快速的增量式算法,以分钟级、秒级甚至毫秒级来读取、分析、保存数据。对于存储系统,由于需要支持持续的update操作,其设计要复杂的多。为了简化问题,通常使用划窗机制来保存一段时间的数据,划窗的时间一般和batch layer的数据处理一致。

• 流式处理往往使用内存计算,这意味着当出现异常(比如升级或工作节点异常)时,可能会导致数据的丢失或计算结果错误。然而,Lambda Architecture却不需要过多考虑这类问题,因为下一次batch layer的作业会再次处理所有数据并获得准确的结果。

3.3 Serving Layer

• Serving layer的职责是将speed layer输出数据merge到batch layer输出数据上,从而得到一份完整的输出数据,并保存到诸如HBASE这样的NoSQL数据库中,以服务于在线检索应用。在batch计算结果之上meger少量实时数据,其结果同完全使用batch计算相比,具有很好的近似性。

4.Lambda Architecture的收益

• 算法可以同时分析历史数据和短期实时数据,兼顾了准确性和实时性

• 向存储介质的随机写入大大减少了,提升了性能

• Batch Layer(在HDFS上)保存了原始数据,可以避免人为错误造成的数据损失

• 容错性。Speed Layer中处理的数据也不断写入Batch Layer,当Batch Layer中重新计算的数据集包含Speed Layer处理的数据集后,当前的Realtime View就可以丢弃,这意味着Speed Layer处理中引入的错误,在Batch Layer重新计算时都可以得到修正。

• 复杂性隔离。Batch Layer处理的是离线数据,可以很好的掌控。Speed Layer采用增量算法处理实时数据,复杂性比Batch Layer要高很多。通过分开Batch Layer和Speed Layer,把复杂性隔离到Speed Layer,可以很好的提高整个系统的鲁棒性和可靠性。

当然,获得这些收益也是有代价的。Batch layer和speed layer事实上做了重复的计算。从资源的角度看,Lambda architecture消耗了更多的资源。

### Anaconda 安装教程 #### 一、安装 Anaconda配置环境变量 为了确保 Anaconda 正常工作,在安装过程中需要注意勾选添加路径选项,这一步骤对于后续命令行工具的正常使用至关重要[^3]。 ```bash # 如果在安装时未选择添加路径,则可以通过手动设置环境变量来解决 export PATH="/path/to/anaconda/bin:$PATH" ``` #### 二、验证安装是否成功 完成安装后,可通过启动 Anaconda Navigator 或者在命令提示符中运行 `conda --version` 来确认安装情况。如果显示 Conda 的版本号则表示安装无误。 ```bash conda --version ``` ### 使用清华大学镜像加速软件包下载 #### 三、配置 Conda 使用清华大学镜像源 由于官方仓库可能速度较慢,建议修改默认的 Conda 源为清华大学开源软件镜像站提供的国内镜像地址,从而提高依赖项获取效率[^1]。 ```bash # 添加清华镜像作为优先级最高的渠道 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ # 显示完整的 URL 地址以便于调试 conda config --set show_channel_urls yes ``` #### 四、创建并激活 TensorFlow 所需虚拟环境 考虑到不同 Python 版本之间的兼容性差异,推荐专门为 TensorFlow 创建独立的工作空间,并指定合适的 Python 解释器版本[^2]。 ```bash # 基于特定Python版本建立新的Conda环境 conda create -n tensorflow python=3.6 anaconda # 切换至刚创建好的环境中去 conda activate tensorflow ``` #### 五、利用 Pip 和 Conda 结合方式高效部署 TensorFlow 及其他库 除了通过 Conda 管理基础设施外,还可以借助 PyPI 上丰富的第三方扩展资源进一步完善开发平台建设;同样地,这里也提倡采用本地化存储节点以加快网络传输速率[^4]。 ```bash # 运用Pip配合清华简易索引服务器快速加载目标模块 pip install tensorflow-gpu==2.x.y -i https://pypi.tuna.tsinghua.edu.cn/simple ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值