大数据学习（10）--流计算

最新推荐文章于 2024-07-13 10:06:08 发布

Zero-One-0101

最新推荐文章于 2024-07-13 10:06:08 发布

阅读量1.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： ML&DL-大数据学习文章标签：大数据学习流计算

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/wangzi11111111/article/details/89416327

ML&DL-大数据学习专栏收录该内容

16 篇文章

订阅专栏

本文深入探讨了流计算的概念，对比了批量计算与实时计算的区别，并详细介绍了流计算的处理流程。通过分析流计算在实时分析和实时交通等领域的应用，文章重点介绍了开源框架Storm的特性与设计思想，同时对比了Spark Streaming和Samza的不同，为读者提供了流计算领域的全面视角。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目录

1.流计算的概述

1.1 什么是流数据？

静态数据-数据仓库
在这里插入图片描述
流数据-物联网传感器数据

1.2 批量计算和实时计算

在这里插入图片描述

1.3 流计算的概念

在这里插入图片描述

1.4 流计算和Hadoop

在这里插入图片描述

1.5 流计算框架

在这里插入图片描述

2.流计算的处理流程

2.1 流计算处理基本概念

传统批处理
在这里插入图片描述
流计算

主要体现的就是数据的实时性！

2.2 数数据的实时获取

在这里插入图片描述

2.3 数据的实时计算

在这里插入图片描述

2.4 实时查询任务

在这里插入图片描述

3.流计算的应用和开源框架Strom

3.1 流计算应用

在这里插入图片描述

3.1.1 应用1：实时分析

在这里插入图片描述

3.1.1 应用2：实时交通

在这里插入图片描述

3.2 开源框架strom

3.2.1 strom简介

在这里插入图片描述

3.2.2 strom的特点

在这里插入图片描述

3.2.3 strom设计思想

在这里插入图片描述

3.2.4 strom框架设计

在这里插入图片描述

4.spark streaming

4.1 设计思想

在这里插入图片描述

4.2 spark streaming 和 strom的对比

在这里插入图片描述

5.Samza

5.1 基本概念

在这里插入图片描述

5.2 系统架构

在这里插入图片描述

6.strom,spark streaming 和samza的应用场景

在这里插入图片描述

7.Strom编程实践

7.1 编写strom程序

在这里插入图片描述

7.2 安装strom的基本过程

参考博客
在这里插入图片描述

7.3 运行strom程序

在这里插入图片描述

8.总结

在这里插入图片描述

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。