05大数据技术体系

最新推荐文章于 2021-10-30 20:00:55 发布

鑫火

最新推荐文章于 2021-10-30 20:00:55 发布

阅读量396

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据预科文章标签：大数据技术体系

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_43381828/article/details/95205265

大数据预科专栏收录该内容

6 篇文章

订阅专栏

博客围绕大数据技术体系中的分布式计算展开。分布式计算将应用分解，分配多台计算机处理，可提高效率。介绍了离线和流式两种分布式计算，离线计算数据量大、批量运算，技术有Mapreduce、SparkCore；流式计算实时处理流动数据，技术包括Spark Streamming、Storm。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大数据技术体系

在这里插入图片描述

大数据分布式计算

大数据分布式计算1
分布式计算
分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。
这样可以节约整体计算时间，大大提高计算效率。
离线分布式计算
在计算开始前已知所有输入数据，输入数据不会产生变化，并且计算之后直接产生结果。
特点：
数据量巨大且保存时间长
在大量数据上进行复杂的批量运算
数据在计算之前已经完全到位，不会发生变化
能够方便的查询批量计算的结果
主要技术：
Mapreduce
SparkCore
大数据分布式计算2
流式分布式计算
对大规模流动数据在不断变化的运动过程中实时地进行计算，来一条数据就计算一下。
主要技术：
Spark Streamming
Storm

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。