Lambda 架构详解-2

本文深入探讨了Lambda架构,一种用于大数据处理的架构模式,详细介绍了其三个关键层面:BatchLayer、SpeedLayer和服务层(ServingLayer)。文章列举了多种技术选项,如Hive、Spark、Storm等,并通过具体案例展示了如何在不同场景下应用Lambda架构,如实时分析数据堆栈、公共交通数据实时分析等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.架构简介

    Lambda架构是大数据架构的一种,其作用无非是存储-处理-展示数据。关于其介绍,网上多篇博客已珠玉在前,这里不再赘述。可参见:

 

2.架构之组成

2.1 batch layer

    如图可知,优选是Hive和Pig,次选是Spark、Hadoop;

2.2 speed layer

    如图可知,优选是Spark Streaming和Strom,次选是Spring XD;

2.3 serving layer

    如图可知,优选是HBase和Druid,次选是SploutSQL;

    由上可知,Lambda架构的组成可以有千百种方式,但其每一个layer的选择却是有限的;只需结合业务需求、然后在上述三幅图中选择即可。

 

3.Lambda架构的Demo

    (官网给定的5个demo,但目前一个都没看懂-2019年1月17日)    

3.1 Demo1. 推特标签数量实时分析

batch layer = HDFS;

speed layer = Trident(a high level Storm);

serving layer = Splout SQL;

 

3.2 Demo2. 实时分析数据堆栈

data resource = Kafka;

batch layer = Hadoop;

speed layer = Storm;

serving layer = Druid;

 

3.3 Demo3. 洛杉矶公共交通数据实时分析

data resource = Kafka;

batch layer = Spark;

speed layer = Cassandra;

serving layer = Akka;

 

3.4 Demo4. 基于微软云分析公共会议流程

github项目地址:https://github.com/ANierbeck/BusFloatingData

data resource = ;

batch layer = ;

speed layer = ;

serving layer = ;

 

3.5 Demo5. 推特实时详尽分析

data resource = Kafka/Twitter4j;

batch layer = Spark;

speed layer = Spark-streaming/Cassandra;

serving layer = Akka/Akka-http;

 

4.我的Demo

batch layer = Hive;

speed layer = Storm;

serving layer = HBase;搭建起一个local mode(本地集群)的demo

 

Storm集成HBase:

http://storm.apache.org/releases/2.0.0-SNAPSHOT/storm-hbase.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员学习圈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值